Hello 我是方才，15人研发leader、5年团队管理&架构经验。

方才的系分架构必过营，致力于帮助有需要的伙伴尽可能一次性拿下软考！

如果本文对你有所帮助，记得在评论区告诉方才，你的关注就是方才不断更新的动力。

本文主线：

1. 先基于5W2H拆解大数据架构，让你轻松理解并掌握大数据架构的核心；

2. 分别讲解Lambda架构、kappa架构、湖仓一体架构、数据湖架构的实际落地应用（附架构图+核心流程），将知识应用于实践，加深理解。

1. 5W2H拆解

大数据架构的5W2H拆解，重点掌握【Why：解决的问题 + How ：基于核心技术，理解经典架构】。

3. 落地架构图

3.1. Lambda架构

大数据 Lambda 架构由三大核心部分组成：批处理层、加速层和服务层。通过“批处理（离线）+ 流处理（实时）”的混合模式，兼顾了物联网数据的离线批量分析与实时低延迟处理需求；同时通过分层存储（TiDB+ClickHouse）和统一服务接口，灵活支撑业务系统的多样化查询与分析场景。

1） 数据源层

作为数据入口，由各类物联网设备（如传感器、智能终端）产生两类核心数据：设备日志数据和设备检测数据，并通过以下路径流转：

• • 数据经EdgeX Foundry预处理后，分为两条支线：

• • • 支线1：数据归档至Minio（格式为Parquet，按日归档），用于后续离线批处理；

  • • 支线2：数据实时上报至加速层的消息队列，用于实时流处理。

• • 同时，TiDB存储业务/设备历史数据，通过Sqoop定时抽取支撑批处理，或通过TiCDC增量同步支撑实时流处理。

2） 批处理层（离线数据处理）

负责离线批量数据的存储、计算与调度，核心组件及流程：

• • 存储与计算：

• • • Minio的归档数据通过“定时加载+Hive映射”接入Hive（数据仓库工具）；

  • • 基于Hive，由MapReduce或Spark执行离线批处理计算，结果存储至HDFS（分布式文件系统）。

• • 管理与调度：

• • • CDH集群管理：负责批处理集群的运维管理；

  • • DolphinScheduler：调度批处理任务的执行流程；

  • • Yarn：统一管理集群资源（如CPU、内存）的分配。

3） 加速层（实时数据处理）

负责实时流数据的采集、计算与融合，支撑低延迟分析：

• • 数据采集：实时数据通过Kafka的多个Topic（压力传感器数据Topic、监控事件数据Topic）区分不同的业务数据，进行异步缓冲与分发。

• • 流计算：由Spark Streaming或Flink（流处理引擎）消费Kafka数据，执行实时计算；计算结果可“合并至批处理视图”（与离线数据融合），或直接流向服务层。

4） 服务层（数据服务封装）

对处理后的数据进行统一存储与服务化封装，支撑业务系统：

• • 存储层：

• • • TiDB业务数据库：存储业务类数据，支撑高并发、事务性查询（如实时业务状态查询）；

  • • ClickHouse列式数据库：存储分析类数据，支撑复杂分析、低频查询（如多维度报表）。

• • 服务封装：通过统一数据服务对TiDB、ClickHouse的数据源进行封装，对外提供标准化数据访问接口。

5） 业务系统层（应用落地）

基于服务层接口，满足多样化业务需求：

• • 业务接口：承接“简单、高并发”的查询场景（如设备状态实时查询）；

• • QuickBI展示：承接“复杂/二次分析、低频”的场景（如数据可视化报表、深度业务分析）。

3.2. Kappa架构

和上图类似，方才就不重复讲解了。

3.3. 湖仓一体架构

上图展示了“湖仓一体”的数据存储与计算架构，可从数据类型、湖仓一体平台、统一计算与访问层、应用场景四个维度进行理解：

1） 数据源层

这是数据的“入口”，包含多种类型的原始数据：

• • 库表数据：传统数据库中的结构化表数据；

• • 对象数据：以对象形式存储的非结构化数据（如图片、小文件等）；

• • 文件数据：各类文档、日志等文件；

• • 时序数据：带时间戳的序列数据（如传感器、监控数据）；

• • 事件数据：记录事件发生的相关数据；

• • 图数据：用于描述实体关系的图谱类数据（如社交网络、知识图谱）。

2） 湖仓一体平台层

这是架构的核心，分为“湖”和“仓”两部分，实现了“存储灵活+计算高效”的融合：

（1）“湖”：多样化存储池

负责原始数据的汇聚与初步处理，分为结构化存储池和非结构化存储池：

• • 结构化存储池

• • • 原始池：与源系统结构一致，以文本类型为主，保留数据原始形态；

  • • 标化池：对原始数据进行初步标准化，支持行列混合、事务型、拓扑型等数据结构；

  • • 归档池：用于历史数据归档，采用压缩存储以节省空间。

• • 非结构化存储池

• • • 影像区：存储图像数据，基于文件系统、NoSQL存储；

  • • 文档区：存储word/text/pdf等文档，支持全文检索；

  • • 视音频区：存储视频、音频等，基于文件系统或对象存储。

（2）“仓”：主题化数据集市

基于“湖”中经过数据质控（清洗、去重、格式转换等）后的标准化数据，按业务主题分类存储，如项目管理主题、经营管理主题、财务主题、设备运行主题、投资管理主题、产业服务主题、人力资源主题等，方便业务侧按需快速调用。

3） 统一计算与存储管理层

• • 统一分布式存储管理：对“湖”和“仓”的所有数据进行分布式存储调度，实现存储资源的统一管理与弹性扩展；

• • 统一计算引擎：为上层应用提供统一的计算能力，支撑各类数据分析场景；

• • 统一访问接口：向上层应用提供标准化的数据访问入口，屏蔽底层存储与计算的复杂度。

4） 应用场景层

这是架构的“价值出口”，数据最终通过以下应用形式产生业务价值：

• • 交互式分析：支持用户实时、交互式的数据分析操作；

• • 精确查询：快速定位精准数据；

• • 全文检索：对文本类数据进行关键词检索；

• • 自助分析：业务人员自主开展数据分析；

• • 报表分析：传统的统计报表生成；

• • 图谱分析：基于图数据的关系型分析（如供应链图谱、社交关系分析）；

• • 数据探索：对数据进行挖掘式的探索分析；

• • 视频/文本分析：对非结构化的视频、文本数据进行智能分析（如视频内容识别、文本情感分析）。

3.4. 数据湖架构

此架构图来自网络，内容是非常完整的，可以作为大数据架构的建设参考，包括前面的所有的架构，公共部分都可以应用到。

ps：如果大家有认真阅读上面的内容，我相信到这里，大家已经能理解方才所说的：不同的架构本质就是基于核心技术的实际应用，在不同的环节，选择了具有不同的特征的技术栈，以应对特定的场景。

这部分我们只需要理解 数据湖架构和湖仓一体架构的区别点，结合前面的内容，方才相信各位伙伴都是可以理解数据湖架构的：

特性	数据湖	湖仓一体
核心哲学	“先存储，后处理”	“存算分离，统一治理”
数据类型	所有原始数据（结构化、半结构化、非结构化）	所有数据，但在内部进行分层和标准化
数据质量	“数据沼泽”风险高 ：存储原始数据，质量无保证	强数据治理与质量 ：通过流程确保从“湖”到“仓”的数据可信度
Schema	读时模式 ：写入时无需定义结构，查询时再应用	写时模式与读时模式结合 ：“湖”层支持读时模式，“仓”层采用写时模式以保证性能
性能	适用于大规模数据处理和探索性分析，但交互式查询性能差	高性能 ：为BI和SQL查询优化，提供数据仓库级的性能
成本	存储成本低	通过分层存储（如归档池）和优化计算，实现总体拥有成本优化
主要用户	数据科学家、数据工程师（进行数据探索和高级分析）	所有数据使用者 （包括数据分析师、业务人员 through BI工具）

软考交流群

2025最新的系分/架构备考资料和备考交流群，扫码即可领取加入：

高效备考，找方才：2025-方才的系分&架构VIP服务，助你一次性拿下软考

你的点赞、推荐、转发和评论，就是方才不断更新的功力！给点鼓励可好

还没关注方才的伙伴，记得点个关注，方才每周至少更新一篇干货知识