Kyuubi 引擎的生存时间（TTL）

对于多租户集群而言，整体资源利用率是一项关键性能指标（KPI），用于衡量其资源相对于可用性或容量的利用效率。为了更好地提升集群的整体资源利用率：

• 在集群层面，我们充分利用资源调度管理服务（如 YARN 和 K8s）所提供的能力，例如 Capacity Scheduler。
• 在应用层面，我们最好能够根据实际工作负载来获取和释放资源。

资源浪费的主要来源

• 等待资源分配的时间，例如调度延迟、启动/停止开销。

  • 为已分配的资源设置较长的存活时间（TTL），可以显著减少应用内部的此类时间开销。

• 资源处于空闲状态的时间。

  • 为已分配的资源设置较短的存活时间，可以使所有资源在各个应用之间快速轮转。

Kyuubi 引擎中的 TTL 类型

• 引擎 TTL

  • 引擎的 TTL 描述在所有会话断开连接后，引擎将被缓存多长时间。

• Executor TTL

  • Executor 的 TTL 描述在没有任务到来时，executor 将被缓存多长时间。

配置

引擎 TTL

键 默认值 含义 类型 引入版本

kyuubi.session.engine
.check.interval

PT5M

引擎超时的检查间隔

duration

1.0.0

kyuubi.session.engine
.idle.timeout

PT30M

引擎超时时间，当引擎在该时间段内未被访问时将自我终止。0 或负值表示不自我终止。

duration

1.0.0

以上两个配置可以配合使用，用来设置引擎的 TTL。这些配置对用户可见，并可在 JDBC URL 中使用。注意，对于 connection 共享级别的引擎，当连接断开时引擎会立即被终止，这种情况下上述配置不一定生效。

Executor TTL

Executor TTL 是 Apache Spark 动态资源分配功能的一部分。