配置设置

DataFusion 的配置控制着 DataFusion 规划与执行的各个方面

设置配置选项

通过编程方式

你可以通过 ConfigOptions 对象以编程方式设置这些选项。例如，若要通过 API 配置 datafusion.execution.target_partitions：

use datafusion::common::config::ConfigOptions;
let mut config = ConfigOptions::new();
config.execution.target_partitions = 1;

通过环境变量配置

你还可以通过 ConfigOptions::from_env 使用环境变量来设置配置选项，例如

DATAFUSION_EXECUTION_TARGET_PARTITIONS=1 ./your_program

通过 SQL 配置

你也可以通过 SQL 使用 SET 命令来设置配置选项。例如，要配置 datafusion.execution.target_partitions：

SET datafusion.execution.target_partitions = '1';

以下配置项可供使用：

你也可以通过 SQL 中的 RESET 命令将配置项重置为默认设置。例如，设置并重置 datafusion.execution.batch_size：

SET datafusion.execution.batch_size = '10000';

SHOW datafusion.execution.batch_size;
datafusion.execution.batch_size 10000

RESET datafusion.execution.batch_size;

SHOW datafusion.execution.batch_size;
datafusion.execution.batch_size 8192

运行时配置设置

DataFusion 的运行时配置可以通过 SQL 使用 SET 命令进行设置。

例如，要配置 datafusion.runtime.memory_limit：

SET datafusion.runtime.memory_limit = '2G';

以下是可用的运行时配置设置：

调优指南

短查询

默认情况下，DataFusion 会尝试最大化并行度并使用所有核心——例如，如果你有 32 个核心，每个执行计划会将数据拆分为 32 个分区。但是，如果数据量很小，为启用并行而拆分数据的开销可能会超过实际计算本身。

你可以通过 EXPLAIN 命令查看执行计划中的分区数量，从而了解使用了多少个核心。

datafusion.optimizer.repartition_file_min_size 选项控制 ListingTable 数据源提供方尝试重新分区的最小文件大小。但是，该选项不适用于用户自定义的数据源，并且仅在 DataFusion 拥有准确的统计信息时才有效。

如果你知道数据量很小，可以将 datafusion.execution.target_partitions 选项设置为较小的值，以减少重新分区的开销。对于非常小的数据集（例如小于 1MB），我们建议将 target_partitions 设置为 1，以完全避免重新分区。

SET datafusion.execution.target_partitions = '1';

内存受限的查询

在严格的内存限制下执行内存消耗较大的查询时，DataFusion 会将中间结果溢写（spill）到磁盘。

当使用 FairSpillPool 时，内存会在各分区之间平均分配。datafusion.execution.target_partitions 的值越大，每个分区分到的内存就越少，out-of-core 执行路径可能更频繁地被触发，从而可能拖慢执行速度。

此外，在溢写过程中，数据会以 datafusion.execution.batch_size 指定的批大小读回。该值越大，能够合并的已排序溢写段（sorted run）就越少。调小此设置有助于减少后续所需的溢写次数。

总之，对于在非常严格的内存限制下运行的查询，建议将 target_partitions 和 batch_size 设置为较小的值。

-- Query still gets parallelized, but each partition will have more memory to use
SET datafusion.execution.target_partitions = 4;
-- Smaller than the default '8192', while still keep the benefit of vectorized execution
SET datafusion.execution.batch_size = 1024;

连接查询

目前 Apache DataFusion 支持以下连接算法：

• 嵌套循环连接（Nested Loop Join）
• 排序归并连接（Sort Merge Join）
• 哈希连接（Hash Join）
• 对称哈希连接（Symmetric Hash Join）
• 分段归并连接（Piecewise Merge Join，实验性）

物理计划器会根据两张表的统计数据和连接条件选择合适的算法。

连接算法优化器配置

你可以通过设置特定的配置项来修改查询中的连接优化行为。使用以下命令更新配置：

SET datafusion.optimizer.<configuration_name>;

示例

SET datafusion.optimizer.prefer_hash_join = false;

调整以下配置值会影响优化器选择用于执行 SQL 查询的连接算法：

连接优化器配置

调整以下配置值会影响优化器选择用于执行 SQL 查询的连接算法。

allow_symmetric_joins_without_pruning（bool，默认 = true）

控制在输入缺少排序或过滤的情况下，是否允许对无界数据源使用对称哈希连接。

• 如果禁用，SymmetricHashJoin 算子将无法对其内部缓冲区进行裁剪，从而只能在执行结束时产出结果。

prefer_hash_join（bool，默认 = true）

决定在物理计划选择阶段，优化器是优先选择哈希连接（Hash Join）还是归并排序连接（Sort Merge Join）。

• true：在内存充足时优先选择 HashJoin，以获得更快的执行速度。
• false：当需要更节省内存的执行方式时，允许选择 SortMergeJoin。

enable_piecewise_merge_join（bool，默认 = false）

启用实验性的分段归并连接（Piecewise Merge Join）算法。

• 启用后，如果连接条件中恰好只有一个范围过滤条件，物理规划器可能会选择 PiecewiseMergeJoin。
• 对于单个范围过滤条件，分段归并连接在性能上优于嵌套循环连接（Nested Loop Join），但当连接的两个大表（num_rows > 100,000）规模相近时除外。