HDFS 路径的导出与导入 API

简介

HDFS 路径的导入导出 API 的总体使用方式保持不变，只是由于 Atlas 处理 HDFS 路径的方式略有不同，会存在一些细微差别。

与 HIVE 实体不同，Atlas 中的 HDFS 实体是通过 Atlas Web UI 中的 Create Entity 链接手动创建的。

此外，HDFS 路径往往具有层级结构，用户通常会在 Atlas 中按照相同的 HDFS 存储结构来建模。

HDFS 示例配置

使用 matchType 的导出 API

要导出表示 HDFS 路径的实体，请使用带有 matchType 选项的导出 API。详情可参见此处。

CURL 调用示例

以下是对上述 HDFS 示例配置 执行导出操作的 CURL 调用示例。

curl -X POST -u adminuser:password -H "Content-Type: application/json" -H "Cache-Control: no-cache" -d '{
    "itemsToExport": [
            { "typeName": "hdfs_path", "uniqueAttributes": { "qualifiedName": "FinanceAll" } }
    ],
    "options": {
     "fetchType": "full",
     "matchType": "startsWith"
    }
}' "http://localhost:21000/api/atlas/admin/export" > financeAll.zip

HDFS 实体的自动创建

由于 HDFS 实体的创建是一个手动过程，Export API 提供了一种机制，用于创建所请求的 HDFS 实体。