增量导出

增量导出

背景

增量导出允许在指定时间戳之后导出实体。由于这种方式使传输的数据负载更轻，因此可用于构建同步能力。

导出选项

新增了 fetchType 选项，用于表示增量导出。该选项可以与任意 matchType 搭配使用。当 fetchType 为 incremental 时，必须指定 changeMarker 选项，增量导出才能生效，否则将执行全量导出。

{
 "itemsToExport": [
 { "typeName": "hive_db", "uniqueAttributes": { "qualifiedName": "stocks@cl1" } }
 ],
"options": {
 "fetchType": "incremental",
 "changeMarker": 10000
 }
}

获取变更标记

首次以 fetchType 设为 incremental 进行导出时，应将 changeMarker 设为 0。这将执行一次全量导出。此时 AtlasExportResult 中的 changeMarker 会被设置为某个值，后续调用导出接口时应使用该值。

跳过血缘选项

导出时可以跳过血缘信息，这样导出文件中就不会包含任何血缘信息。

增量导出的优势

增量导出的真正优势体现在将 skipLineage 选项设为 true 时进行导出。当获取自上次导出以来发生变化的实体时，这种方式能大幅提升性能。