标量函数支持状态

在 Spark 3.5 的 357 个标量函数中，Gluten 目前完整支持 247 个函数，部分支持 28 个函数。

Gluten 还完整支持 Spark 4.0 中新增的 2 个函数。

数组函数

位运算函数

集合函数

条件函数

转换函数

CSV 函数

日期与时间戳函数

Hash Functions

JSON Functions

Spark Functions Spark Expressions Status Restrictions

from_json JsonToStructs PS 在 Velox 中不支持 ‘spark.sql.caseSensitive = true’ 的 from_json
在 Velox 中不支持 ‘spark.sql.json.enablePartialResults = false’ 的 from_json
在 Velox 中不支持带 corrupt record 列的 from_json
在 Velox 中不支持带重复键的 from_json
在 Velox 中不支持带 options 的 from_json

get_json_object GetJsonObject S  

json_array_length LengthOfJsonArray S  

json_object_keys JsonObjectKeys S  

json_tuple JsonTuple S  

schema_of_json SchemaOfJson    

to_json StructsToJson PS 当 ‘spark.sql.caseSensitive = false’ 时，to_json 对字段名为大写的结构体会产生意外结果
在 Velox 中不支持带 options 的 to_json

Lambda Functions

Map Functions

数学函数

杂项函数

谓词函数

字符串函数

Spark 函数 Spark 表达式 状态 限制

ascii Ascii S

base64 Base64 PS 不支持禁用 chunkBase64String 的 base64

bit_length BitLength S

btrim StringTrimBoth S

char Chr S

char_length Length S

character_length Length S

chr Chr S

concat_ws ConcatWs S

contains ContainsExpressionBuilder PS 不支持 BinaryType

decode Decode

elt Elt

encode Encode

endswith EndsWithExpressionBuilder PS 不支持 BinaryType

find_in_set FindInSet S

format_number FormatNumber PS format_number 仅支持 tinyint、smallint、integer、bigint、float 和 double 类型输入；Velox 不支持 DecimalType 输入
Velox 不支持使用字符串格式参数（如 ‘#,###.##’）的 format_number；仅支持整数形式的小数位数

format_string FormatString

initcap InitCap S

instr StringInstr S

lcase Lower S

left Left S

len Length S

length Length S

levenshtein Levenshtein S

locate StringLocate S

lower Lower S

lpad LPadExpressionBuilder PS 不支持 BinaryType

ltrim StringTrimLeft S

luhn_check Luhncheck S

mask MaskExpressionBuilder S  

octet_length OctetLength    

overlay Overlay S  

position StringLocate S  

printf FormatString    

regexp_count RegExpCount    

regexp_extract RegExpExtract PS 不支持环视断言

regexp_extract_all RegExpExtractAll PS 不支持环视断言

regexp_instr RegExpInStr PS 不支持环视断言，忽略分组索引

regexp_replace RegExpReplace PS 不支持环视断言

regexp_substr RegExpSubStr    

repeat StringRepeat S  

replace StringReplace S  

right Right S  

rpad RPadExpressionBuilder PS 不支持 BinaryType

rtrim StringTrimRight S  

sentences Sentences    

soundex SoundEx S  

space StringSpace    

split StringSplit S  

split_part SplitPart S  

startswith StartsWithExpressionBuilder PS 不支持 BinaryType

substr Substring PS  

substring Substring PS  

substring_index SubstringIndex S  

to_binary ToBinary    

to_char ToCharacter    

to_number ToNumber    

to_varchar ToCharacter    

translate StringTranslate S  

trim StringTrim S  

try_to_binary TryToBinary    

try_to_number TryToNumber    

ucase Upper S  

unbase64 UnBase64 PS 不支持带 failOnError 的 unbase64

upper Upper S  

结构体函数

URL 函数

XML 函数