page contents

Apache Doris(incubating)1.0 Release 版本正式发布

Apache Doris 是由百度自主研发并开源的一套 MPP 分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。凭借其分布式架构,可支持高达 10PB 级别的数据集,并且操作简单。

attachments-2022-04-sNYjMMUA6262025933562.png

Apache Doris 是由百度自主研发并开源的一套 MPP 分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。凭借其分布式架构,可支持高达 10PB 级别的数据集,并且操作简单。

4 月 18 日,Apache Doris 1.0 Release 版本的正式发布。 这是 Apache Doris 在进入 Apache 基金会孵化以来的第一个 1 位版本,也是迄今为止对 Apache Doris 核心代码重构幅度最大的一个版本 !

下面我们来看一下 1.0.0 版本更新了那些内容:

新功能

  1. 支持向量化执行引擎[Experimental]: 启用 set enable_vectorized_engine=true 配置,可以显著提高查询性能。
  2. 支持 Lateral View 语法[Experimental]: 使用这种语法,可以使用 explod_bitmap 、explode_split、explode_jaon_array 等表函数将 bitmap、String 或 Json Array 由一列展开成多行。
  3. 支持 Hive 外表 [Experimental]: 用户可以创建 Hive 外部表来执行查询,通过 insert into select 可以直接访问和分析存储再 Hive 中的数据,也可以将 Hive 数据导入 Doris。
  4. 支持 Apache SeaTunnel (incubating) 插件: Apache SeaTunnel 是一个高性能的分布式数据集成框架,1.0.0 版本中,Doris 增加了 SeaTunnel 插件,用户可以借助该插件实现多个数据源之间的同步和 ETL。
  5. 支持 Z-Order 数据排序格式: 1.0 版本添加了 Z-Order 数据排序格式,可加速对非前缀列条件的过滤性能
  6. 新增函数:

支持更多 bitmap 函数,详情可查看函数手册:

  • bitmap_max
  • bitmap_and_not
  • bitmap_and_not_count
  • bitmap_has_all
  • bitmap_and_count
  • bitmap_or_count
  • bitmap_xor_count
  • bitmap_subset_limit
  • sub_bitmap
  1. 支持SM3/SM4国安算法

错误修复

  1. 修复若干查询错误问题
  2. 修复 Broker Load 调度逻辑问题
  3. 修复因 STREAM 关键词导致元数据无法加载的问题
  4. 修复 Decommission 无法正确执行的问题
  5. 修复若干内存问题

优化

  1. 减少批量导入时生成的 Segment 文件数量,以降低 Compaction 压力。
  2. 通过 BRPC 的 attachment 功能传输数据,减少查询过程中的序列化和反序列化开销
  3. 支持直接返回 HLL/BITMAP 类型的二进制数据
  4. 优化并降低 BRPC 中出现 OVERCROWDED 和 NOT_CONNECTED 错误的概率,增强系统稳定性。
  5. 加强导入的容错性。
  6. 支持通过 Flink CDC 同步更新和删除数据
  7. 支持自适应的 Runtime Filter

易用性改进

  1. Routine Load 支持显示当前 offset 延迟数量等状态
  2. FE audit log 中增加峰值内存的使用量统计
  3. Compaction URL 结果中增加版本缺失信息以方便问题排查
  4. 支持将 BE 标记为不可查询或不可导入状态,以快速屏蔽问题节点

其他

增加 Minidump 功能

更多相关技术内容咨询欢迎前往并持续关注六星社区了解详情。

想高效系统的学习Python编程语言,推荐大家关注一个微信公众号:Python编程学习圈。每天分享行业资讯、技术干货供大家阅读,关注即可免费领取整套Python入门到进阶的学习资料以及教程,感兴趣的小伙伴赶紧行动起来吧。

attachments-2022-06-L4GofVX9629da97b6555b.jpeg

  • 发表于 2022-04-22 09:18
  • 阅读 ( 369 )
  • 分类:行业资讯

你可能感兴趣的文章

相关问题

0 条评论

请先 登录 后评论
轩辕小不懂
轩辕小不懂

2403 篇文章

作家榜 »

  1. 轩辕小不懂 2403 文章
  2. 小柒 1476 文章
  3. Pack 1135 文章
  4. Nen 576 文章
  5. 王昭君 209 文章
  6. 文双 71 文章
  7. 小威 64 文章
  8. Cara 36 文章