Apache Gluten（Velox 后端）中的 Delta Lake 特性支持状态

本文档总结了 Delta Lake 表特性在与 **Apache Gluten（Velox 后端）**配合使用时的支持状态。

支持的 Spark / Delta 组合

Spark 3.5 与 Spark 4.0 两种配置均支持原生 Delta 写入。上面两行的区别在于 Spark/Delta 的兼容性目标（Spark 3.5 + Delta 3.3 与 Spark 4.0 + Delta 4.0），而非原生写入能力上的差异。

构建与运行说明

启用 -Pdelta，并结合 Velox 后端配置和 Spark 配置，即可构建支持 Delta 的 Gluten。

• Spark 3.5 构建示例：

  • mvn clean package -Pbackends-velox -Pdelta -Pspark-3.5 -DskipTests

• Spark 4.0 构建示例：

  • mvn clean package -Pbackends-velox -Pdelta -Pspark-4.0 -Pscala-2.13 -Pjava-17 -DskipTests

原生 Delta 写入由以下配置控制：

• spark.gluten.sql.columnar.backend.velox.delta.enableNativeWrite

  • 默认值：false
  • 类型：experimental（实验性）

原生变更数据流（Change Data Feed）扫描下推由以下配置控制：

• spark.gluten.sql.columnar.backend.velox.delta.enableChangeDataFeedScan

  • 默认值：true
  • 类型：experimental

原生 DELETE/UPDATE/MERGE 删除向量（deletion-vector）目标扫描由以下配置控制：

• spark.gluten.sql.columnar.backend.velox.delta.enableNativeDmlRowIndexScan

  • 默认值：true
  • 类型：experimental
  • 禁用时，为删除向量写入生成文件路径和行号的 DML 目标扫描仍保留在 Spark 上执行；其他扫描不受影响。