Apache Atlas 用于 Apache Kafka 的钩子

Kafka 模型

Kafka 模型包含以下类型：

• 实体类型：

  • kafka_topic

    • 超类型：DataSet
    • 属性：qualifiedName、name、description、owner、topic、uri、partitionCount

Kafka 实体在 Atlas 中通过唯一属性 qualifiedName 创建并去重，其取值应按如下格式设定。请注意，qualifiedName 中的主题名称为小写。

topic.qualifiedName: <topic>@<clusterName>

安装

二进制文件包含在 apache-atlas--kafka-hook.tar.gz 中。

将 apache-atlas-kafka-hook-/hook/kafka 文件夹复制到 /hook/ 目录。

将 apache-atlas-kafka-hook-/hook-bin 文件夹复制到 /hook-bin 目录。

导入 Kafka 元数据

Apache Atlas 提供了一个命令行工具 import-kafka.sh，用于将 Apache Kafka 主题的元数据导入到 Apache Atlas 中。可以使用该工具将 Apache Kafka 中存在的主题初始化到 Apache Atlas。该工具支持导入特定主题的元数据，也支持导入所有主题的元数据。

sage 1: <atlas package>/hook-bin/import-kafka.sh
Usage 2: <atlas package>/hook-bin/import-kafka.sh [-t <topic prefix> OR --topic <topic prefix>]
Usage 3: <atlas package>/hook-bin/import-kafka.sh [-f <filename>]
         File Format:
            topic1
            topic2
            topic3