KnowForge/Apache Hudi 1.2.0 简体中文
存储配置

IBM Cloud

师成师成· 更新于 2026-09-29· 阅读 4 分钟· 0 次阅读
登录后可跨设备保存划线和私人笔记登录

本页说明如何让你的 Hudi Spark 作业将数据写入 IBM Cloud Object Storage。

IBM COS 配置

Hudi 与 IBM Cloud Object Storage 兼容需要两项配置：

  • 为 Hudi 添加 IBM COS 凭证
  • 将所需的 Jar 包加入类路径

IBM Cloud Object Storage 凭证

使用 Hudi 与 IBM Cloud Object Storage 的最简单方式，是通过 Spark 的 Stocator 存储连接器，用 IBM Cloud Object Storage 凭证来配置你的 SparkSession 或 SparkContext。Hudi 会自动读取这些配置并与 IBM Cloud Object Storage 通信。

也可以在 core-site.xml 中添加所需的配置项，Hudi 会从中获取这些配置。将 fs.defaultFS 替换为你的 IBM Cloud Object Storage 桶名称，Hudi 就能从该桶中读写数据。

例如，使用 HMAC 密钥和服务名称 myCOS：

  <property>
      <name>fs.defaultFS</name>
      <value>cos://myBucket.myCOS</value>
  </property>

  <property>
      <name>fs.cos.flat.list</name>
      <value>true</value>
  </property>

  <property>
      <name>fs.stocator.scheme.list</name>
      <value>cos</value>
  </property>

  <property>
      <name>fs.cos.impl</name>
      <value>com.ibm.stocator.fs.ObjectStoreFileSystem</value>
  </property>

  <property>
      <name>fs.stocator.cos.impl</name>
      <value>com.ibm.stocator.fs.cos.COSAPIClient</value>
  </property>

  <property>
      <name>fs.stocator.cos.scheme</name>
      <value>cos</value>
  </property>

  <property>
      <name>fs.cos.myCos.access.key</name>
      <value>ACCESS KEY</value>
  </property>

  <property>
      <name>fs.cos.myCos.endpoint</name>
      <value>http://s3-api.us-geo.objectstorage.softlayer.net</value>
  </property>

  <property>
      <name>fs.cos.myCos.secret.key</name>
      <value>SECRET KEY</value>
  </property>

更多选项请参阅 Stocator 文档。

IBM Cloud Object Storage 库

需要添加到 classpath 的 IBM Cloud Object Storage hadoop 库

  • com.ibm.stocator1.1.3

评论

登录后参与评论

正在加载评论…