KnowForge/Apache Hudi 1.2.0 简体中文
存储配置

百度云

师成师成· 更新于 2026-09-29· 阅读 3 分钟· 0 次阅读
登录后可跨设备保存划线和私人笔记登录

本页介绍如何让 Hudi 作业将数据写入 Baidu BOS。

Baidu BOS 配置

Hudi 与 BOS 兼容需要两项配置：

  • 为 Hudi 添加 Baidu BOS 凭证
  • 将所需的 JAR 包加入 classpath

Baidu BOS 凭证

在 Hudi 读取配置的 core-site.xml 中添加所需配置。将 fs.defaultFS 替换为你的 BOS 存储桶名称，将 fs.bos.endpoint 替换为你的 BOS endpoint，将 fs.bos.access.key 替换为你的 BOS access key，将 fs.bos.secret.access.key 替换为你的 BOS secret key。配置完成后，Hudi 应能正常对该存储桶进行读写操作。

<property>
  <name>fs.defaultFS</name>
  <value>bos://bucketname/</value>
</property>

<property>
  <name>fs.bos.endpoint</name>
  <value>bos-endpoint-address</value>
  <description>Baidu bos endpoint to connect to,for example : http://bj.bcebos.com</description>
</property>

<property>
  <name>fs.bos.access.key</name>
  <value>bos-key</value>
  <description>Baidu access key</description>
</property>

<property>
  <name>fs.bos.secret.access.key</name>
  <value>bos-secret-key</value>
  <description>Baidu secret key.</description>
</property>

<property>
  <name>fs.bos.impl</name>
  <value>org.apache.hadoop.fs.bos.BaiduBosFileSystem</value>
</property>

百度 BOS 依赖库

需要添加到 classpath 中的百度 Hadoop 库 jar 包：

  • com.baidubce0.10.165
  • bos-hdfs-sdk-1.0.2-community.jar

您可以从此处下载 bos-hdfs-sdk jar 包，然后将其解压。

评论

登录后参与评论

正在加载评论…