7c7f516127238ef14abeb9490c6e1337.png

前言

关注OLAP领域1年多了,目前还是处于混战阶段,各类工具、技术层出不穷。之前做过clickhouse、tidb、palo的测试,从九个角度对比了这三款经典的OLAP工具:

  1. 数据导入
  2. sql查询性能
  3. QPS
  4. 资源使用
  5. 安装部署
  6. 社区活跃度
  7. SQL 功能对比
  8. 更新机制
  9. 其他

一一说来,TiDB具有很多优势,但是考虑到其对标MySQL(当然,也对标其他的分布式关系数据库),在OLAP领域借助了spark的能力,就没有将其用在线上。

Palo,本质上是impala+mesa。因为是百度这几年才开源,还不够成熟,在上线之后,又因为几次事故而被下线。运维Palo,还是比较考验运维人员的能力。

Clickhouse是一个很牛的工具,追求毫秒级响应,这也和Yandex(俄罗斯最大的搜索公司,ck的开源者)的应用场景有关。当然,CK的问题就是受限于单机的物理内存,一旦query的mem消耗过大,将被kill。此外,当有需要分布式join的场景时,join的子集数据量超过千万条后,通常会是秒级之上的响应效果。

以上,是一些使用上的经验。

如果,想对这几个工具有更多了解的同学,可以点击这个传送门,有测评资料:

https://h5.luezhi.com/app/index.php?i=2&c=entry&id=75880&do=yd_detail&saas_code=825611007YBD&m=saas_luezhi​h5.luezhi.com

请在微信客户端中打开,有需要的自取。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐