概述

Kyuubi 与 HiveServer2 对比

师成师成· 更新于 2026-09-29· 阅读 3 分钟· 0 次阅读

登录后可跨设备保存划线和私人笔记登录

简介

HiveServer2 是一项服务,它使客户端能够在支持多客户端并发与身份认证的 Hive 上执行 Hive QL 查询。Kyuubi 则使客户端能够在支持多客户端并发与身份认证的 Spark 上直接执行 Spark SQL 查询。

两者的设计目的都是为了更好地支持 JDBC 和 ODBC 等开放 API 客户端,以便管理和分析大数据。

Hive on Spark

Hive on Spark 的目的是在 MR 和 Tez 之外,新增 Spark 作为第三种执行后端。与基于 MR 的 Hive 相比,使用 Spark 的 DAG 有助于提升 Hive 查询的性能,尤其是那些包含多个 reducer 阶段的查询。

Kyuubi 与 HiveServer2 的差异

KyuubiHiveServer2
语言Spark SQLHive QL
优化器Spark SQL CatalystHive Optimizer
引擎最高支持 Spark 3.xMapReduce/最高支持 Spark 2.3/Tez
性能高低
与 Spark 的兼容性好差(需要基于特定版本重新构建)
数据类型Spark 数据类型Hive 数据类型

性能

参考

  1. HiveServer2 概述

评论

登录后参与评论

正在加载评论…