加入收藏 | 设为首页 | 会员中心 | 我要投稿 张家口站长网 (https://www.0313zz.com.cn/)- 办公协同、操作系统、混合云网络、数据湖、视觉智能!
当前位置: 首页 > 站长资讯 > 外闻 > 正文

大数据模块化查询优化器体系架构

发布时间:2021-03-31 14:35:46 所属栏目:外闻 来源:互联网
导读:查询优化器在架构设计上需要考虑以下的几个方面: 模块化。使用元数据和系统描述的高度可扩展的抽象,不再局限于特定的主机系统,如传统的优化器。相反,可以通过数据支持的插件将其快速移植到其他数据管理系统。 可扩展性。通过将查询及其优化的所有元素表

查询优化器在架构设计上需要考虑以下的几个方面:

  • 模块化。使用元数据和系统描述的高度可扩展的抽象,不再局限于特定的主机系统,如传统的优化器。相反,可以通过数据支持的插件将其快速移植到其他数据管理系统。
  • 可扩展性。通过将查询及其优化的所有元素表示为具有同等地位的一等公民,避免多阶段优化的陷阱,在此阶段,某些优化将在事后进行处理。众所周知,多阶段优化器难以扩展,因为新的优化或查询构造通常与先前设置的阶段边界不匹配。
  • 支持多核架构。 系统需要部署一个高效的多核感知调度程序,该调度程序可在多个内核之间分配各个细粒度的优化子任务,以加快优化过程。
  • 可验证性。有确定的特殊规定内置机制级别来保证正确性和性能。除了改善工程实践之外,这些工具还使人们能够高度自信地进行快速开发,并缩短了新功能和错误修复的周转时间。
  • 性能。 查询的性能是我们最希望等到的结果

一、MPP架构

Orca是Pivatol开发的大数据模块化查询优化器,被用于Gr

(编辑:张家口站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读