“ 导读： 本文将介绍 Jiron 数据开发平台的功能及基于平台的一站式实时数仓实践案例。”

Jiron GitHub 地址

https://github.com/642933588/jiron-cloud

https://gitee.com/642933588/jiron-cloud

公众号：Jiron开源

欢迎大家送上小星星～

介绍

       演示环境基于电商系统，围绕电商业务指标统计需求构建了一个实时数仓（数据湖）项目。平台集成 Kafka 和 MySQL 分别作为用户行为日志数据和业务数据源，通过调度任务定时产生模拟数据，之后通过实时开发模块构建 ODS、DWD、DWS、DIM、ADS 各层进行数据采集入湖及逻辑计算。最后，通过配置元数据采集任务，实现数据资产的全方位管理。

数据模拟

        演示环境模拟了电商系统中最常见的两类数据：客户端埋点数据和后端系统业务数据。通过工作流模块配置`datagen` 工作流调度`uselog`任务生成埋点数据，实时插入至Kafka主题 “ODS_BASE_LOG”，调度`business` 任务生成业务数据并插入MySQL数据库，每天凌晨自动生成当天的数据。

数据开发

         由于资源有限，当前演示环境仅运行了集成 Kafka 数据的任务：`logInc` 实时同步Kafka主题“ODS_BASE_LOG”至`iceberg_ods.ods_log_inc`。其他数据层的开发可以参考实时计算开发的任务详情。

数据资产管理

       通过工作流模块配置元数据采集任务，包括库表结构、样例数据、数据血缘分析，以及平台支持的数据洞察指标等，全面提升数据资产管理能力。

最后

演示环境地址

http://117.72.91.43:9299

账号：test 密码：test@2024

       鉴于平台对资源有着较高的需求标准，而当前演示环境的资源配置相对紧凑，我们已实施了一系列权限管理措施以确保系统稳定运行。此外，用户在体验前端界面时，可能会短暂遭遇几秒的页面空白加载期，这是资源加载过程中的正常现象，请您耐心等候片刻。

       在此，我们衷心感谢知识星球平台上每一位同学的积极贡献与宝贵支持，正是有了你们的热情参与，我们才能不断进步。关于访问平台的详细地址及专属账户信息，我们将第一时间在知识星球上公布，敬请留意。再次感谢大家的支持与厚爱！