跳到主要内容
跳到主要内容

Release 2.1.4

Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。 在 2.1.4 版本中，我们对数据湖分析场景进行了多项功能体验优化，重点修复了旧版本中异常内存占用的问题，同时提交了若干改进项以及问题修复，进一步提升了系统的性能、稳定性及易用性，欢迎大家下载使用。

官网下载： https://doris.apache.org/download/

GitHub 下载： https://github.com/apache/doris/releases

行为变更​

  • 通过 Catalog 查询外部表（如 Hive 数据表）时，系统将忽略不存在的文件： 当从元数据缓存中获取文件列表时，由于缓存更新并非实时，因此可能存在实际的文件列表已删除、而元数据缓存中仍存在该文件的情况。为了避免由于尝试访问不存在的文件而导致的查询错误，系统会忽略这些不存在的文件。 #35319

  • 默认情况下，创建 Bitmap Index 不再默认变更为 Inverted Index。该行为由 FE 配置项 enable_create_bitmap_index_as_inverted_index 控制，默认为 FALSE。#35521

  • 当使用 --console 启动 FE、BE 进程时，所有日志将输出到标准输出，并通过前缀区分不同类型的日志。#35679

    关于更多信息，请参考文档：

  • 如果建表时没有填写表注释，默认注释为空，不再使用表类型作为默认表注释。 #36025

  • DECIMALV3 的默认精度从 (9, 0) 调整为 (38,9) ，以和最初发布此功能的版本保持兼容。 #36316

新增功能​

查询优化器​

  • 支持 FE 火焰图工具：在 FE 部署目录 ${DORIS_FE_HOME}/bin 中会增加profile_fe.sh 脚本，可以利用 async-profiler 工具生成 FE 的火焰图，用以发现性能瓶颈点。

    关于更多信息，请参考文档：使用 FE Profiler 生成火焰图

  • 支持 SELECT DISTINCT 与聚合函数同时使用：支持 SELECT DISTINCT 与聚合函数同时使用，在一个查询中同时去重和进行聚合操作，如 SUM、MIN/MAX 等。

  • 支持无 GROUP BY 的单表查询重写：无 GROUP BY 的单表查询重写功能允许数据库优化器在不需要分组的情况下，根据查询的复杂性和数据表的结构，自动选择最佳的执行计划来执行查询，这可以提高查询的性能，减少不必要的资源消耗，并简化查询逻辑。 #35242.

  • 查询优化器全面支持高并发点查询功能：在 2.1.4 版本之后，查询优化器全面支持高并发点查询功能，所有符合点查询条件的 SQL 语句会自动走短路径查询，无需用户在客户端额外设置 set experimental_enable_nereids_planner = false。 #36205.

湖仓一体​

  • 支持 Paimon 的原生读取器来处理 Deletion Vector： Deletion Vector 主要用于标记或追踪哪些数据已被删除或标记为删除，通常应用在需要保留历史数据的场景，基于本优化可以提升大量数据更新或删除时的处理效率。 #35241

    关于更多信息，请参考文档：数据湖分析 - Paimon

  • 支持在表值函数（TVF）中使用 Resource：TVF 功能为 Apache Doris 提供了直接将对象存储或 HDFS 上的文件作为 Table 进行查询分析的能力。通过在 TVF 中引用 Resource，可以避免重复填写连接信息，提升使用体验。 #35139

    关于更多信息，请参考文档：表函数 - HDFS

  • 支持通过 Ranger 插件实现数据脱敏：开启 Ranger 鉴权功能后，支持使用 Ranger 中的 Data Mask 功能进行数据脱敏。

    关于更多信息，请参考文档：基于 Apache Ranger 的鉴权管理

异步物化视图​

  • 构建支持内表触发式更新，如果物化视图使用的是内表，如果内表数据发生变化，可以触发物化视图刷新，需要在创建物化视图时指定 REFRESH ON COMMIT。

  • 支持单表透明改写。

    关于更多信息，请参考文档：查询异步物化视图

  • 透明改写支持 agg_state, agg_union 类型的聚合上卷，物化视图可以定义为 agg_state 或者 agg_union，查询使用具体的聚合函数，或者使用 agg_merge

    关于更多信息，请参考文档：AGG_STATE

其他​

  • 新增 replace_empty 函数：将字符串中的子字符串进行替换，当旧字符串为空时，会将新字符串插入到原有字符串的每个字符前以及最后。

    关于更多信息，请参考文档：字符串函数 - REPLACE_EMPTY

  • 支持 show storage policy using 语句：支持查看所有或指定存储策略关联的表和分区。

    关于更多信息，请参考文档：SQL 语句 - SHOW

  • 支持 BE 侧的 JVM 指标： 通过在 be.conf 配置文件中设置enable_jvm_monitor=true，可以启用对 BE 节点 JVM 的监控和指标收集，有助于了解 BE JVM 的资源使用情况，以便进行故障排除和性能优化。

改进优化​

  • 支持为中文列名创建倒排索引。#36321

  • 优化 Segment Cache 所消耗内存的估算准确度，以便能够更快地释放未使用的内存。#35751

  • 在使用 Export 功能导出数据时，提前过滤空分区以提升导出效率。#35542

  • 优化 Routine Load 任务分配算法以平衡 BE 节点之间的负载压力。#34778

  • 在设置错误的会话变量名时，自动识别近似变量值并给出更详细的错误提示。#35775

  • 支持将 Java UDF Jar 文件放到 FE 的 custom_lib 目录中并默认加载。#35984

  • 为审计日志导入作业添加超时的全局变量audit_plugin_load_timeout ，以控制在加载审计插件或处理审计日志时允许的最大执行时间。

  • 优化了异步物化视图透明改写规划的性能。

  • 当 INSERT 源数据为空时，BE 将不会执行任何操作。#34418

  • 支持分批获取 Hudi 和 Hive 文件列表，当存在大量数据文件时可以提升数据扫描性能。 #35107

    • 120 万文件场景中，获取文件列表的时间由 390 秒缩减到 46 秒。

  • 创建异步物化试图时，禁止使用动态分区。

  • 支持检测 Hive 外表分区数据是否和异步物化试图同步。

  • 允许异步物化试图创建索引。

缺陷修复​

查询优化器​

  • 修复 SQL Cache 在 truncate paritition 后依然返回旧结果的问题。#34698

  • 修复从 JSON Cast 到其他类型 Nullable 属性不对的问题。#34707

  • 修复偶现的 DATETIMEV2 Literal 化简错误。 #35153

  • 修复窗口函数中不能使用 COUNT(*) 的问题。#35220

  • 修复 UNION ALL 下全部是无 FROM 的 SELECT` 时，Nullable 属性可能错误的问题。 #35074

  • 修复 bitmap in join 和子查询解嵌套无法同时使用的问题。#35435

  • 修复在特定情况下过滤条件不能下推到 CTE Producer 导致的性能问题。#35463

  • 修复聚合 Combinator 为大写时，无法找到函数的问题。#35540

  • 修复窗口函数没有被列裁剪正确裁剪导致的性能问题。#35504

  • 修复多个同名不同库的表同时出现在查询中时，可能解析错误导致结果错误的问题。#35571

  • 修复对于 Schema 表扫描时，由于生成了 Runtime Filter 导致查询报错的问题。#35655

  • 修复关联子查询解嵌套，关联条件被折叠为 Null Literal 导致无法执行的问题。#35811

  • 修复规划时，偶现的 Decimal Literal 被错误设置精度的问题。 #36055

  • 修复偶现的多层聚合被合并后规划错误的问题。#36145

  • 修复偶现的聚合扩展规划报错输入输出不匹配的问题。#36207

  • 修复偶现的 <=> 被错误转换为 = 的问题。#36521

查询执行​

  • 修复 Pipeline 引擎上达到限定的行数且内存没有释放时查询被挂起的问题。 #35746

  • 修复当设置 enable_decimal256 =true 且查询优化器回退到旧版本时 BE 发生 Core 的问题。#35731

物化视图​

  • 修复构建异步物化试图指定 store_row_column 属性，be core 的问题。

  • 修复构建异步物化视图指定 storage_medium 不生效的问题。

  • 修复基表删除后，异步物化视图 show partitions 报错的问题。

  • 修复异步物化视图引起备份恢复异常的问题。

  • 修复分区改写可能导致错误结果的问题。

半结构化数据分析​

  • 修复带有空 Key 的 VARIANT 类型发生 Core 的问题。#35671

  • Bitmap 索引和 BloomFilter 索引不应支持轻量级索引变更。#35225

主键模型​

  • 修复在有部分列更新导入的情况下发生异常重启，可能会产生重复 Key 的问题。#35678

  • 修复在内存紧张时发生 Clone 时 BE 可能会发生 Core 的问题。#34702

湖仓一体​

  • 修复创建 Hive 表时无法使用完全限定名（如 ctl.db.tbl）的问题。 #34984

  • 修复 Refresh 操作时 Hive Metastore 连接未关闭的问题。#35426

  • 修复从 2.0.x 升级到 2.1.x 时可能的元数据回放问题。 #35532

  • 修复 TVF 表函数无法读取空 Snappy 压缩文件的问题。#34926

  • 修复无法读取具有无效最小/最大列统计信息的 Parquet 文件的问题。#35041

  • 修复 Parquet/ORC Reader 中无法处理带有 null-aware 函数下推谓词的问题。#35335

  • 修复创建 Hive 表时分区列顺序的问题。 #35347

  • 修复当分区值包含空格时无法将 Hive 表写入 S3 的问题。 #35645

  • 修复 Doris 写入 Parquet 格式 Hive 表无法被 Hive 读取的问题。 #34981

  • 修复 Hive 表 Schema 变更后无法读取 ORC 文件的问题。#35583

  • 修复了部分情况下，启用 Hive Metastore Listener 后 FE 无法启动的问题。#36533

  • 修复由 Hadoop FS 缓存引起的 FE OOM 问题。#36403

  • 修复写出 Parquet 格式文件写出 Row Group 过小的问题。#36042 #36143

  • 修复 Paimon 表 Schema 变更后无法通过 JNI 读取 Paimon 表的问题。#35309

  • 修复 Paimon 表 Schema 变更后由于表字段长度判断错误导致无法读取的问题。 #36049

  • 修复了读取 Iceberg 中的时间戳列类型时的时区问题。 #36435

  • 修复了 Iceberg 表上的日期时间转换错误和数据路径错误的问题。#35708

  • 修复阿里云 OSS Endpoint 不正确的问题。#34907

  • 修复了大量文件导致的查询性能下降问题。#36431

  • 允许用户定义的属性通过表函数传递给 S3 SDK。#35515

数据导入​

  • 修复 CANCEL LOAD 命令不生效的问题。#35352

  • 修复导入事务 Publish 阶段空指针错误导致导入事务无法完成的问题。#35977

  • 修复 bRPC 通过 HTTP 发送大数据文件序列化的问题。 #36169

数据管控​

  • 修复了在将 DDL 或 DML 转发到主 FE 后，ConnectionContext 中的资源标签未设置的问题。 #35618

  • 修复了在启用 lower_case_table_names 时，Restore 表名不正确的问题。 #35508

  • 修复了清理无用数据或文件的管理命令不生效的问题。 #35271

  • 修复了无法从分区中删除存储策略的问题。#35874

  • 修复了向多副本自动分区表导入数据时的数据丢失问题。#36586

  • 修复了使用旧优化器查询或插入自动分区表时，表的分区列发生变化的问题。 #36514

内存管理​

  • 修复日志中频繁报错 Cgroup meminfo 获取失败的问题。 #35425

  • 修复使用 BloomFilter 时 Segment 缓存大小不受控制导致进程内存异常增长的问题。#34871

权限​

  • 修复开启表名大小写不敏感后，权限设置无效的问题。#36557

  • 修复通过非 Master FE 节点设置 LDAP 密码不生效的问题。#36598

  • 修复了无法检查 SELECT COUNT(*) 语句授权的问题。#35465

其他​

  • 修复 MySQL 连接损坏情况下，客户端 JDBC 程序无法关闭连接的问题。 #36616

  • 修改 SHOW PROCEDURE STATUS 语句返回值与 MySQL 协议不兼容的问题。#35350

  • libevent 库强制开启 Keepalive 以解决部分情况下连接泄露的问题。 #36088

致谢​

@133tosakarin、@924060929、@airborne12、@amorynan、@AshinGau、@BePPPower、@BiteTheDDDDt、@ByteYue、@caiconghui、@CalvinKirs、@cambyzju、@catpineapple、@cjj2010、@csun5285、@DarvenDuan、@dataroaring、@deardeng、@Doris-Extras、@eldenmoon、@englefly、@feiniaofeiafei、@felixwluo、@freemandealer、@Gabriel39、@gavinchou、@GoGoWen、@HappenLee、@hello-stephen、@hubgeter、@hust-hhb、@jacktengg、@jackwener、@jeffreys-cat、@Jibing-Li、@kaijchen、@kaka11chen、@Lchangliang、@liaoxin01、@LiBinfeng-01、@lide-reed、@luennng、@luwei16、@mongo360、@morningman、@morrySnow、@mrhhsg、@Mryange、@mymeiyi、@nextdreamblue、@platoneko、@qidaye、@qzsee、@seawinde、@shuke987、@sollhui、@starocean999、@suxiaogang223、@TangSiyang2001、@Thearas、@Vallishp、@w41ter、@wangbo、@whutpencil、@wsjz、@wuwenchi、@xiaokang、@xiedeyantu、@XieJiann、@xinyiZzz、@XuPengfei-1020、@xy720、@xzj7019、@yiguolei、@yongjinhou、@yujun777、@Yukang-Lian、@Yulei-Yang、@zclllyybb、@zddr、@zfr9527、@zgxme、@zhangbutao、@zhangstar333、@zhannngchen、@zhiqiang-hhhh、@zy-kkk、@zzzxl1993

问答论坛本页导航
ASF
Resources
Community
Join the community
Copyright © 2024 The Apache Software Foundation,Licensed under the Apache License, Version 2.0. Apache, Doris, Apache Doris, the Apache feather logo and the Apache Doris logo are trademarks of The Apache Software Foundation.