Gluten

Gluten 是由 Intel 开发的 Spark 插件，旨在利用原生库加速 Apache Spark。目前仅支持 CentOS 7/8 和 Ubuntu 20.04/22.04，以及 Spark 3.2/3.3/3.4。用户可以采用以下方式，配合 Velox 原生库使用 Gluten。

构建（使用 Velox 后端）

构建 gluten velox 后端包

使用 Git 克隆 gluten 项目，执行 gluten 构建脚本 buildbundle-veloxbe.sh，目标包位于 /path/to/gluten/package/target/。

git clone https://github.com/oap-project/gluten.git
cd /path/to/gluten

## The script builds two jars for spark 3.2.x, 3.3.x, and 3.4.x.
./dev/buildbundle-veloxbe.sh

使用方式

你可以按照以下步骤使用 Gluten 来加速 Spark。

安装

添加 Gluten 的 jar 包：copy /path/to/gluten/package/target/gluten-velox-bundle-spark3.x_2.12-*.jar $SPARK_HOME/jars/，或者通过 spark.jars 配置指定。

配置

将以下最小配置添加到 spark-defaults.conf 中：

spark.plugins=io.glutenproject.GlutenPlugin
spark.memory.offHeap.size=20g
spark.memory.offHeap.enabled=true
spark.shuffle.manager=org.apache.spark.shuffle.sort.ColumnarShuffleManager

更多配置项参见配置文档。