Flink 调优指南

全局配置

使用 Flink 时，可以在 $FLINK_HOME/conf/flink-conf.yaml 中设置一些全局配置。

并行度

内存

检查点

表选项（Table Options）

Flink SQL 作业可以通过 WITH 子句中的选项进行配置。实际的数据源级配置如下所列。

内存（Memory）

:::note 注意
在优化内存时，我们首先需要关注内存配置、TaskManager 的数量以及写入任务的并行度（write.tasks : 4）。在确认每个写入任务都能分配到足够的内存之后，我们再尝试设置这些内存选项。
:::

并行度

Compaction

note

以下选项仅适用于 online compaction（在线压缩）。

note

通过设置 compaction.async.enabled = false 可以关闭在线压缩，但我们仍然建议为写入作业开启 compaction.schedule.enable。之后你可以通过 offline compaction（离线压缩）来执行压缩计划。

内存优化

MOR

1. 将 Flink 状态后端设置为 rocksdb（默认的 in memory 状态后端非常消耗内存）。
2. 如果内存充足，可以将 compaction.max_memory 设置得更大（默认为 100MB，可调整为 1024MB）。
3. 注意 taskManager 分配给每个写入任务的内存，确保每个写入任务能够获得所需的内存大小 write.task.max.size。例如，taskManager 拥有 4GB 内存并运行两个 streamWriteFunction，则每个写入任务可分配 2GB 内存。请预留一定的缓冲空间，因为网络缓冲区以及 taskManager 上的其他类型任务（如 bucketAssignFunction）也会消耗内存。
4. 注意 compaction 的内存变化。compaction.max_memory 控制 compaction 任务读取日志时每个任务可使用的最大内存，compaction.tasks 控制 compaction 任务的并行度。

COW

1. 将 Flink 状态后端设置为 rocksdb（默认的 in memory 状态后端非常消耗内存）。
2. 同时增大 write.task.max.size 和 write.merge.max_memory（默认分别为 1024MB 和 100MB，可调整为 2014MB 和 1024MB）。
3. 注意 taskManager 分配给每个写入任务的内存，确保每个写入任务能够获得所需的内存大小 write.task.max.size。例如，taskManager 拥有 4GB 内存并运行两个写入任务，则每个写入任务可分配 2GB 内存。请预留一定的缓冲空间，因为网络缓冲区以及 taskManager 上的其他类型任务（如 BucketAssignFunction）也会消耗内存。

写入速率限制

在现有的数据同步方案中，快照数据 和 增量数据 会先发送到 Kafka，再由 Flink 以流式方式写入 Hudi。由于直接消费 快照数据 会导致吞吐量过高、乱序严重（随机写入分区）等问题，进而造成写入性能下降和吞吐量抖动。此时可以开启 write.rate.limit 选项，以保证写入过程平稳。

选项

受管理内存的写入缓冲区

默认情况下，Flink 写入缓冲区使用 JVM 堆内存（ON_HEAP）。在堆内存配额受限的容器化环境中，可以切换到 Flink 的受管理（堆外）内存池，以降低 GC 压力并避免 OOM 错误。

注意

使用 MANAGED 内存类型时，请确保在 flink-conf.yaml 中配置了足够的 taskmanager.memory.managed.size。

Disruptor 缓冲区调优

当表选项中设置 write.buffer.type=DISRUPTOR 时（参见 Append Write Buffer），以下调优选项用于控制 Disruptor 环形缓冲区：

基于时间线服务的 Marker

从 Hudi 1.2.0 起，Flink 写入器支持 TIMELINE_SERVER_BASED 类型的 marker（hoodie.write.markers.type=TIMELINE_SERVER_BASED）。在对象存储（S3、GCS、ADLS）上，推荐使用该方式而非 DIRECT marker，因为目录列表操作成本高昂，会使 DIRECT marker 变慢。

CREATE TABLE my_table (...)
WITH (
  'connector' = 'hudi',
  'path' = 's3a://my-bucket/my-table',
  'hoodie.write.markers.type' = 'TIMELINE_SERVER_BASED'
  -- other options
);

Source V2 读取延迟指标

当启用 Source V2（read.source-v2.enabled=true）时，系统会输出以下读取延迟指标，以便监控流式管道的健康状况：

这些指标通过 Flink 的标准指标系统暴露，可以转发到 Prometheus、JMX 或其他 reporter。