概述
Kyuubi 与 HiveServer2 对比
登录后可跨设备保存划线和私人笔记登录
简介
HiveServer2 是一项服务,它使客户端能够在支持多客户端并发与身份认证的 Hive 上执行 Hive QL 查询。Kyuubi 则使客户端能够在支持多客户端并发与身份认证的 Spark 上直接执行 Spark SQL 查询。
两者的设计目的都是为了更好地支持 JDBC 和 ODBC 等开放 API 客户端,以便管理和分析大数据。
Hive on Spark
Hive on Spark 的目的是在 MR 和 Tez 之外,新增 Spark 作为第三种执行后端。与基于 MR 的 Hive 相比,使用 Spark 的 DAG 有助于提升 Hive 查询的性能,尤其是那些包含多个 reducer 阶段的查询。
Kyuubi 与 HiveServer2 的差异
| Kyuubi | HiveServer2 | |
|---|---|---|
| 语言 | Spark SQL | Hive QL |
| 优化器 | Spark SQL Catalyst | Hive Optimizer |
| 引擎 | 最高支持 Spark 3.x | MapReduce/最高支持 Spark 2.3/Tez |
| 性能 | 高 | 低 |
| 与 Spark 的兼容性 | 好 | 差(需要基于特定版本重新构建) |
| 数据类型 | Spark 数据类型 | Hive 数据类型 |
性能
参考
评论
登录后参与评论
正在加载评论…
KnowForge