增量导出

增量导出

背景

增量导出允许在指定时间戳之后导出实体。由于它使载荷更轻量，因此可以据此构建同步能力。

导出选项

新增了 fetchType 用于表示增量导出。该选项可与任意 matchType 搭配使用。当 fetchType 为 incremental 时，必须指定 changeMarker 选项才能使增量导出生效，否则将执行全量导出。

{
 "itemsToExport": [
 { "typeName": "hive_db", "uniqueAttributes": { "qualifiedName": "stocks@cl1" } }
 ],
"options": {
 "fetchType": "incremental",
 "changeMarker": 10000
 }
}

获取变更标记

首次以 fetchType 设置为 incremental 的方式进行导出时，应将 changeMarker 设置为 0。这将执行一次全量导出。AtlasExportResult 中的 changeMarker 会被设置为一个值。后续调用导出时应使用这个值。

跳过血缘选项

导出时可以选择跳过血缘信息。这样可以避免所有血缘信息被写入导出文件。

增量导出的优势

增量导出的真正优势体现在将 skipLineage 选项设置为 true 进行导出时。在获取自上次导出以来发生变化的实体时，这能大幅提升性能。