Debezium 特性

Debezium 是一组用于 Apache Kafka Connect 的源连接器。每个连接器都利用相应数据库的变更数据捕获（CDC）功能来摄取数据变更。与轮询或双写等其他方式不同，Debezium 所实现的基于日志的 CDC：

• 确保捕获所有数据变更。
• 能以极低的延迟产生变更事件，同时避免了频繁轮询所带来的 CPU 占用升高问题。例如，对于 MySQL 或 PostgreSQL，延迟在毫秒级别。
• 无需修改数据模型，例如添加"最后更新时间"列。
• 可以捕获删除操作。
• 根据数据库的能力和配置，可以捕获记录的旧状态及其他元数据，例如事务 ID 和引发变更的查询语句。

基于日志的变更数据捕获的五大优势 是一篇博文，提供了更多细节。

Debezium 连接器通过一系列相关的功能和选项来捕获数据变更：

• 快照： 可选地，如果连接器启动时并非所有日志仍然存在，则可以对数据库的当前状态进行初始快照。通常，当数据库已运行一段时间，并丢弃了不再用于事务恢复或复制的事务日志时，就会出现这种情况。执行快照有多种模式，包括支持可在连接器运行时触发的增量快照。更多详情请参阅你所使用连接器的文档。
• 过滤： 你可以通过包含/排除列表过滤器来配置要捕获的模式、表和列。
• 脱敏： 特定列的值可以被脱敏，例如当其中包含敏感数据时。
• 监控： 大多数连接器都可以通过 JMX 进行监控。
• 开箱即用的消息转换，可用于消息路由、过滤、事件展平等；有关 Debezium 提供的所有 SMT 的概述，请参阅转换。

请参阅连接器文档，了解所有受支持的数据库列表以及每个连接器的功能和配置选项的详细信息。

Debezium 还可以作为嵌入式库集成到你基于 JVM 的应用程序中；通过 Debezium Server，你可以将变更事件发布到 Amazon Kinesis、Google Cloud Pub/Sub、Apache Pulsar 等消息基础设施。