KnowForge/Apache Hudi 1.2.0 简体中文
存储配置

阿里云

师成师成· 更新于 2026-09-29· 阅读 3 分钟· 0 次阅读
登录后可跨设备保存划线和私人笔记登录

本页介绍如何让 Hudi Spark 作业将数据写入阿里云 OSS。

阿里云 OSS 配置

Hudi 与 OSS 兼容需要以下两项配置：

  • 为 Hudi 添加阿里云 OSS 凭证
  • 将所需的 Jar 包加入 classpath

阿里云 OSS 凭证

在 core-site.xml 中添加所需配置，Hudi 会从中读取这些配置。将 fs.defaultFS 替换为你的 OSS 存储桶名称，将 fs.oss.endpoint 替换为你的 OSS 端点，将 fs.oss.accessKeyId 替换为你的 OSS AccessKey，将 fs.oss.accessKeySecret 替换为你的 OSS AccessKey Secret。这样 Hudi 就应该能够对该存储桶进行读写操作。

<property>
  <name>fs.defaultFS</name>
  <value>oss://bucketname/</value>
</property>

<property>
  <name>fs.oss.endpoint</name>
  <value>oss-endpoint-address</value>
  <description>Aliyun OSS endpoint to connect to.</description>
</property>

<property>
  <name>fs.oss.accessKeyId</name>
  <value>oss_key</value>
  <description>Aliyun access key ID</description>
</property>

<property>
  <name>fs.oss.accessKeySecret</name>
  <value>oss-secret</value>
  <description>Aliyun access key secret</description>
</property>

<property>
  <name>fs.oss.impl</name>
  <value>org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem</value>
</property>

Aliyun OSS 库

需要添加到 pom.xml 中的 Aliyun Hadoop 库 jar 包。由于 hadoop-aliyun 依赖于 Hadoop 2.9.1+ 的版本，因此你需要使用 Hadoop 2.9.1 或更高版本。

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-aliyun</artifactId>
  <version>3.2.1</version>
</dependency>
<dependency>
  <groupId>com.aliyun.oss</groupId>
  <artifactId>aliyun-sdk-oss</artifactId>
  <version>3.8.1</version>
</dependency>
<dependency>
  <groupId>org.jdom</groupId>
  <artifactId>jdom</artifactId>
  <version>1.1</version>
</dependency>

评论

登录后参与评论

正在加载评论…