Release 3.0.5
亲爱的社区小伙伴们,Apache Doris 3.0.5 版本已于 2025 年 04 月 28 日正式发布。 该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。
新特性
Lakehouse
查询执行
- 新增 URL 处理函数:
top_level_domain
、first_significant_subdomain
、cut_to_first_significant_subdomain
(#42488) - 新增
year_of_week
函数,兼容 Trino 语法实现(#48870) percentile_array
函数支持 Float 和 Double 数据类型(#48094)
存算分离
- 支持重命名计算组(Rename Compute Group)(#46221)
改进
存储
- 优化主键表(MOW)高频导入场景的查询性能(#48968)
- 优化 Key Range 查询的 Profile 信息展示(#48191)
- Stream Load 支持 JSON 压缩文件导入(#49044)
- 优化多个导入场景的错误提示信息(#48436 #47721 #47804 #48638 #48344 #49287 #48009)
- 新增 Routine Load 多项监控指标(#49045 #48764)
- 优化 Routine Load 调度算法,避免单任务异常影响整体调度(#47847)
- 新增 Routine Load 系统表(#49284)
- 优化 Compaction 任务生成速度以提升性能(#49547)
存算分离
Lakehouse
- 优化 Trino Connector Catalog 的 BE 端 Scanner 关闭逻辑,加速内存释放(#47857)
- ClickHouse JDBC Catalog 自动兼容新旧版本驱动(#46026)
异步物化视图
- 优化透明改写(Transparent Rewrite)的规划性能(#48782)
- 优化
tvf mv_infos
性能(#47415) - 基于外部表的物化视图构建时取消 Catalog 元数据刷新,减少内存占用(#48767)
查询优化器
- 优化 Key 列与分区列的统计信息收集性能(#46534)
- 查询结果别名与用户输入保持严格一致(#47093)
- 优化聚合算子中公共子表达式抽取后的列裁剪逻辑(#46627)
- 增强函数绑定失败及子查询不支持的报错信息(#47919 #47985)
半结构化数据管理
json_object
函数支持复杂类型参数(#47779)- 支持将 UInt128 写入 IPv6 类型(#48802)
- 支持 VARIANT 类型中 ARRAY 字段的倒排索引(#47688 #48117)
权限
- 提升 Ranger 鉴权性能(#49352)
其他
- 优化 JVM Metrics 接口性能(#49380)
Bug 修复
存储
- 修复若干极端场景下的数据正确性问题(#48056 #48399 #48400 #48748 #48775 #48867 #49165 #49193 #49350 #49710 #49825)
- 修复已完成事务未及时清理的问题(#49564)
- 部分列更新时 JSONB 类型默认值改用
{}
(#49066) - 修复存算分离主键模型 Compaction 未释放 Delete Bitmap 锁导致导入卡顿的问题(#47766)
- 修复 ARM 架构下 Stream Load 数据丢失问题(#49666)
- 修复 Insert Into Select 遇到数据质量错误未返回错误 URL 的问题(#49687)
- 修复 Routine Load 多表导入时数据质量错误未返回错误 URL 的问题(#49130)
- 修复 Schema Change 期间 Insert Into Values 导入结果异常问题(#49338)
- 修复 Tablet Commit 信息上报导致的 Core Dump 问题(#48732)
- 修复 S3 Load 导入不支持 Azure 中国区域名的问题(#48642)
- 修复 K8s 环境下 FE 报 "get image failed" 错误(#49072)
- 优化动态分区调度的 CPU 消耗(#48577)
- 修复重命名物化视图(MV)导致列异常的问题(#48328)
- 修复 Schema Change 失败后未释放内存和 File Cache 的问题(#48426)
- 修复含空分区表的 Base Compaction 失败问题(#49062)
- 修复复杂类型变更导致的数据正确性问题(#49452)
- 修复 Cold Compaction 导致 Core Dump 的问题(#48329)
- 修复存在 Delete 操作时 Cumulative Point 未提升的问题(#47282)
- 修复大数据量 Full Compaction 内存不足问题(#48958)
存算分离
Lakehouse
Data Lakes
- 修复并发写入 Hive/Iceberg 表可能引发的 BE Core Dump(#49842)
- 修复 AWS S3 存储的 Hive/Iceberg 表写入失败问题(#47162)
- 修复 Iceberg Position Deletion 读取结果错误(#47977)
- 修复腾讯云 COS 无法创建 Iceberg 表的问题(#49885)
- 修复 Kerberos 认证 HDFS 访问 Paimon 数据失败问题(#47192)
- 修复 Hudi Jni Scanner 内存泄漏问题(#48955)
- 修复 MaxCompute Catalog 多分区列表读取错误(#48325)
JDBC
- 修复 JDBC Catalog 表行数查询空指针问题(#49442)
- 修复 OceanBase Oracle 模式连接测试失败(#49442)
- 修复 JDBC Catalog 并发场景下列类型长度错误(#48541)
- 修复 JDBC Catalog BE 端 Classloader 泄漏(#46912)
- 修复 PostgreSQL JDBC Catalog 连接线程泄漏(#49568)
Export
其他
- 修复 FE WebUI 执行 TVF 查询空指针问题(#49213)
- 修复 Hadoop Libhdfs Thread Local 空指针异常(#48280)
- 修复 FE 访问 Hadoop Filesystem 报 "Filesystem already closed"(#48351)
- 修复 Catalog Comment 未持久化问题(#46946)
- 修复 Parquet 复杂类型读取报错(#47734)
异步物化视图
查询优化器
- 修复函数常量折叠计算结果错误(#49225 #47966 #49416 #49087 #49033 #49061 #48895 #48957 #47288 #48641 #49413 #48783)
- 修复嵌套窗口函数使用 ORDER BY 子句意外报错(#48492)
查询执行
- 修复 Pipeline 任务调度导致的卡死/性能问题(#49976 #49007)
- 修复 FE 连接失败时的内存越界问题(#48370 #48313)
- 修复 Lambda 函数与数组函数共用导致的内存越界(#49140)
- 修复 String 与 JSONB 类型转换空值导致 BE Core(#49810)
- 规范
parse_url
未定义行为(#49149) - 修复
array_overlap
函数空值结果异常(#49403) - 修复非 ASCII 字符大小写转换错误(#49763)
- 修复
percentile
函数部分场景 BE Core(#48563) - 修复多个内存越界问题(#48288 #49737 #48018 #47964)
- 修复 SET 算子结果错误(#48001)
- 降低 Arrow Flight 默认线程池大小以避免句柄耗尽(#48530)
- 修复窗口函数内存越界导致 BE Core(#48458)
半结构化数据管理
- 修复 Transfer-Encoding: chunked 的 Stream Load JSON 导入异常(#48474)
- 增强 JSONB 格式合法性校验(#48731)
- 修复 STRUCT 类型字段过多导致的 Crash(#49552)
- 支持复杂类型 VARCHAR 长度扩展(#48025)
- 修复
array_avg
函数在特定参数下的 Crash(#48691) - 修复 VARIANT 类型
ColumnObject::pop_back
Crash(#48935 #48978) - 禁用 VARIANT 类型的索引构建操作(#49844)
- 禁用 VARIANT 类型倒排索引 V1 格式(#49890)
- 修复 VARIANT 多层 CAST 结果错误(#47954)
- 优化 VARIANT 多子列倒排索引元数据查询性能(#48153)
- 优化存算分离模式下 VARIANT Schema 内存消耗(#47629 #48463)
- 修复 PreparedStatement ID 溢出问题(#48116)
- 修复行存与 Delete 操作结合问题(#49609)
倒排索引
- 修复 ARRAY 类型倒排索引 Null Bitmap 错误(#48052)
- 修复 Date/Datetimev1 类型 Bloomfilter 索引比较错误(#47005)
- 修复 UTF-8 四字节字符截断问题(#48792)
- 修复新增列后立即创建倒排索引导致丢失的问题(#48547)
- 修复 ARRAY 倒排索引空数据处理异常(#48264)
- 修复倒排索引 FE 元数据升级兼容性(#49283)
- 修复
match_phrase_prefix
缓存错误(#46517) - 修复 Compaction 后倒排索引 File Cache 未清理(#49738)
权限
- DELETE 操作不再检查 Select_Priv 权限(#49239)
- 禁止非 root 用户修改 root 权限(#48752)
- 修复 LDAP 偶发 Partial Result Exception(#47858)