KnowForge/Apache Hudi 1.2.0 简体中文
存储配置

Google Cloud

师成师成· 更新于 2026-09-29· 阅读 3 分钟· 0 次阅读
登录后可跨设备保存划线和私人笔记登录

对于 GCS 上的 Hudi 存储，区域级存储桶提供具有强一致性的 DFS API。

GCS 配置

Hudi 与 GCS 兼容需要两项配置：

  • 为 Hudi 添加 GCS 凭据
  • 将所需的 jar 包添加到类路径中

GCS 凭据

在 Hudi 可以读取配置的 core-site.xml 中添加所需的配置项。将 fs.defaultFS 替换为你的 GCS 存储桶名称，Hudi 即可从该存储桶中读取/写入数据。

  <property>
    <name>fs.defaultFS</name>
    <value>gs://hudi-bucket</value>
  </property>

  <property>
    <name>fs.gs.impl</name>
    <value>com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem</value>
    <description>The FileSystem for gs: (GCS) uris.</description>
  </property>

  <property>
    <name>fs.AbstractFileSystem.gs.impl</name>
    <value>com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS</value>
    <description>The AbstractFileSystem for gs: (GCS) uris.</description>
  </property>

  <property>
    <name>fs.gs.project.id</name>
    <value>GCS_PROJECT_ID</value>
  </property>
  <property>
    <name>google.cloud.auth.service.account.enable</name>
    <value>true</value>
  </property>
  <property>
    <name>google.cloud.auth.service.account.email</name>
    <value>GCS_SERVICE_ACCOUNT_EMAIL</value>
  </property>
  <property>
    <name>google.cloud.auth.service.account.keyfile</name>
    <value>GCS_SERVICE_ACCOUNT_KEYFILE</value>
  </property>

GCS 库

需要添加到 classpath 中的 GCS Hadoop 库：

  • com.google.cloud.bigdataoss1.6.0-hadoop2

评论

登录后参与评论

正在加载评论…