前言

这是一个企业级的大数据血缘可视化项目,目前支持功能如下。目前版本 V1.0.2。

  1. 支持解析 Hive sql 生成血缘图,性能高速稳定
  2. 支持字段级血缘与表级血缘切换展示
  3. 支持完整血缘与不完整血缘链路切换展示
  4. 支持血缘高亮显示
  5. 支持设置血缘高亮颜色
  6. 支持画布水印
  7. 支持画布拖拽、放大、缩小、自适应、视图居中显示
  8. 支持血缘图图片下载
  9. 支持小地图拖拽
  10. 编辑器支持编写 Sql
  11. 编辑器支持切换主题色
  12. 编辑器支持语法高亮
  13. 支持仅编辑区,仅预览区切换功能
  14. 支持血缘图全屏和退出全屏功能
  15. 支持显示节点数量

项目官网

在线体验

什么是数据血缘

大数据数据血缘是指数据产生的链路,直白点说,就是我们这个数据是怎么来的,经过了哪些过程和阶段。而我们要做的就是将这个过程通过可视化技术展现出来。

技术选型

通过调研得知目前市面上对于数据血缘可视化的实现方案其实比较多,例如使用 Canvas,或使用 D3.js 库,但是这些开发成本都非常高,因此最后我们选择了阿里开源的 Antv 数据可视化工具进行开发,它提供了多种数据可视化工具,最终我们在它里面找到了和我们本次需求场景较为匹配的两种可视化工具,Antv X6Antv G6,通过综合对比,我们最终选择了 G6,因为 G6 底层是基于 Canvas 实现的,而 X6 底层是基于 SVG 实现的,因此 G6 更符合我们有大量图元对性能的要求。在后面的几个小节我将介绍该项目涉及到的几个核心的技术实现,

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐