2. 监控 Kyuubi - 服务器指标

Kyuubi 基于 Dropwizard Metrics Library 提供了一套可配置的指标系统。这使得用户可以将 Kyuubi 指标上报到多种 kyuubi.metrics.reporters。这些指标用于对特定活动和 Kyuubi 服务器进行度量与观测。

2.1. 配置项

指标系统通过 $KYUUBI_HOME/conf/kyuubi-defaults.conf 进行配置。

配置项 默认值 含义 类型 引入版本

kyuubi.metrics.enabled

true

设置为 true 以启用 Kyuubi 指标系统

boolean

1.2.0

kyuubi.metrics.reporters

JSON

以逗号分隔的所有指标 reporter 列表

• CONSOLE - ConsoleReporter，定期将度量结果输出到控制台。
• JMX - JmxReporter，监听新的指标并将其暴露为 MBean。
• JSON - JsonReporter，定期将度量结果输出到 JSON 文件。
• PROMETHEUS - PrometheusReporter，以 Prometheus 格式暴露指标。
• SLF4J - Slf4jReporter，定期将度量结果输出到系统日志。

seq

1.2.0

kyuubi.metrics.console.interval

PT5S

向控制台汇报指标的时间间隔

duration

1.2.0

kyuubi.metrics.json.interval

PT5S

向 JSON 文件汇报指标的时间间隔

duration

1.2.0

kyuubi.metrics.json.location

metrics

JSON 指标文件的存放位置

string

1.2.0

kyuubi.metrics.prometheus.path

/metrics

Prometheus 指标 HTTP 服务的 URI 上下文路径

string

1.2.0

kyuubi.metrics.prometheus.port

10019

Prometheus 指标 HTTP 服务的端口

int

1.2.0

kyuubi.metrics.slf4j.interval

PT5S

向 SLF4J logger 汇报指标的时间间隔

duration

1.2.0

2.2. 指标

这些指标包括：

指标前缀 指标后缀 类型 引入版本 描述

kyuubi.exec.pool.threads.alive gauge 1.2.0

后端执行线程池中 keepAlive 状态的线程数

kyuubi.exec.pool.threads.active gauge 1.2.0

后端执行线程池中处于活跃状态的线程数

kyuubi.exec.pool.work_queue.size gauge 1.7.0

后端执行线程池的工作队列大小

kyuubi.connection.total counter 1.2.0

累计连接数

kyuubi.connection.total ${sessionType} counter 1.7.0

会话类型为 ${sessionType} 的累计连接数

kyuubi.connection.opened gauge 1.2.0

当前活跃连接数

kyuubi.connection.opened ${user} counter 1.2.0

由 ${user} 发起的当前活跃连接数

kyuubi.connection.opened ${user}
${sessionType} counter 1.7.0

由 ${user} 发起、会话类型为 ${sessionType} 的当前活跃连接数

kyuubi.connection.opened ${sessionType} counter 1.7.0

会话类型为 ${sessionType} 的当前活跃连接数

kyuubi.connection.failed counter 1.2.0

累计失败连接数

kyuubi.connection.failed ${user} counter 1.2.0

${user} 的累计失败连接数

kyuubi.connection.failed ${sessionType} counter 1.7.0

会话类型为 ${sessionType} 的累计失败连接数

kyuubi.operation.total counter 1.5.0

累计打开的操作数

kyuubi.operation.total ${operationType} counter 1.5.0

操作 ${operationType} 的累计开启数量

kyuubi.operation.opened gauge 1.5.0

当前已开启的操作数量

kyuubi.operation.opened ${operationType} counter 1.5.0

操作 ${operationType} 的当前开启数量

kyuubi.operation.failed ${operationType}
.${errorType} counter 1.5.0

操作 ${operationType} 在特定 ${errorType} 下的累计失败数量，例如 execute_statement.AnalysisException

kyuubi.operation.state ${operationState} meter 1.5.0

kyuubi 操作状态速率

kyuubi.operation.exec_time ${operationType} histogram 1.7.0

操作 ${operationType} 的执行时间直方图，目前仅启用了 ExecuteStatement。

kyuubi.engine.total counter 1.2.0

累计创建的引擎数量

kyuubi.engine.timeout counter 1.2.0

累计超时的引擎数量

kyuubi.engine.failed ${user} counter 1.2.0

${user} 显式失败的引擎累计数量

kyuubi.engine.failed ${errorType} counter 1.2.0

特定 ${errorType} 下显式失败的引擎累计数量，例如 ClassNotFoundException

kyuubi.backend_service.open_session timer 1.5.0

kyuubi 后端服务 openSession 方法的执行时间与速率

kyuubi.backend_service.close_session timer 1.5.0

kyuubi 后端服务 closeSession 方法的执行时间与速率

kyuubi.backend_service.get_info timer 1.5.0

kyuubi 后端服务 getInfo 方法的执行时间与速率

kyuubi.backend_service.execute_statement timer 1.5.0

kyuubi 后端服务 executeStatement 方法的执行时间与速率

kyuubi.backend_service.get_type_info timer 1.5.0

kyuubi 后端服务 getTypeInfo 方法的执行时间与速率

kyuubi.backend_service.get_catalogs timer 1.5.0

kyuubi 后端服务 getCatalogs 方法的执行时间与速率

kyuubi.backend_service.get_schemas timer 1.5.0

kyuubi 后端服务 getSchemas 方法的执行时间与速率

kyuubi.backend_service.get_tables timer 1.5.0

kyuubi 后端服务 getTables 方法的执行时间与速率

kyuubi.backend_service.get_table_types timer 1.5.0

kyuubi 后端服务 getTableTypes 方法的执行时间与速率

kyuubi.backend_service.get_columns timer 1.5.0

kyuubi 后端服务 getColumns 方法的执行时间与速率

kyuubi.backend_service.get_functions timer 1.5.0

kyuubi 后端服务 getFunctions 方法的执行时间与速率

kyuubi.backend_service.get_operation_status timer 1.5.0

kyuubi 后端服务 getOperationStatus 方法的执行时间与速率

kyuubi.backend_service.cancel_operation timer 1.5.0

kyuubi 后端服务 cancelOperation 方法的执行时间与速率

kyuubi.backend_service.close_operation timer 1.5.0

kyuubi 后端服务 closeOperation 方法的执行时间与速率

kyuubi.backend_service.get_result_set_metadata timer 1.5.0

kyuubi 后端服务 getResultSetMetadata 方法的执行时间与速率

kyuubi.backend_service.fetch_results timer 1.5.0

kyuubi 后端服务 fetchResults 方法的执行时间与速率

kyuubi.backend_service.fetch_log_rows_rate meter 1.5.0

kyuubi backend service 中 fetchResults 方法获取日志行的速率

kyuubi.backend_service.fetch_result_rows_rate meter 1.5.0

kyuubi backend service 中 fetchResults 方法获取结果行的速率

kyuubi.backend_service.get_primary_keys meter 1.6.0

kyuubi backend service 中 get_primary_keys 方法的执行时间和速率

kyuubi.backend_service.get_cross_reference meter 1.6.0

kyuubi backend service 中 get_cross_reference 方法的执行时间和速率

kyuubi.operation.state ${operationType}
.${state} meter 1.6.0

${operationType} 处于特定 ${state} 的速率，例如 BatchJobSubmission.pending、BatchJobSubmission.finished。请注意，终止状态是累计的，而中间状态不是。

kyuubi.metadata.request.opened counter 1.6.1

当前已打开的元数据请求数量

kyuubi.metadata.request.total meter 1.6.0

元数据请求的时间和速率

kyuubi.metadata.request.failed meter 1.6.0

元数据请求失败的时间和速率

kyuubi.metadata.request.retrying meter 1.6.0

正在重试的元数据请求的时间和速率，非累计值

在 v1.5.0 之前，如果你使用以下指标：

• kyuubi.statement.total
• kyuubi.statement.opened
• kyuubi.statement.failed.${errorType}

从 v1.5.0 起，你可以使用以下指标替代：

• kyuubi.operation.total.ExecuteStatement
• kyuubi.operation.opened.ExecuteStatement
• kyuubi.operation.failed.ExecuteStatement.${errorType}