大数据计算技术-数据计算处理系统-计算模式（计算模型）

1计算模式（计算模型）

在这里插入图片描述

1.1批处理计算模式：数据计算处理系统例子：MapReduce计算模型

具体的大数据计算模型：MapReduce计算模型（主要是对海量数据一种分布式并行处理，用的基本的算法是分治法）
​​在这里插入图片描述
在这里插入图片描述

具体的程序（算例）：

在这里插入图片描述
在这里插入图片描述

1.2流计算模式

“只能以事先规定好的顺序被读取一次的数据的一个序列”
“描述数据的变量是一个时间相关的函数”

1.2.1定义

在这里插入图片描述

1.2.2流计算模式详细描述

在这里插入图片描述

1.2.3基于流计算系统模式中的两种主要处理模式

在这里插入图片描述

在这里插入图片描述

1.2.4流计算性能参数-衡量计算系统的性能的主要指标

1.2.4.1系统吞吐率

在这里插入图片描述

1.2.4.2系统响应时延

在这里插入图片描述

1.2.5流计算的平台

1.2.5.1Storm（采用了原生态处理模式的一个流计算平台）
1.2.5.2Spark的Dsteam
1.2.5.3Samza的Partitioned的Stream
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

cover

双喜临门｜腾视科技杭州总部及深圳子公司乔迁新址，以全新姿态奔赴新征程！

avatar DAMO开发者矩阵

AI前沿 | 2026年9月15日：OpenAI 收购 Glass Imaging + AI 相机与边缘成像 + 终端硬件棋局

镜头是手机、可穿戴、无人机、机器人共用的视觉传感器入口。能看 ≠ 看得清：今天模型的「看」依赖摄像头采集到的好图，采集质量决定后续理解、检索、操控的天花板——GlassAI 是「把进水口做干净」；端侧隐私：在设备端完成成像修复，意味着画面可以「先修复、后上传」，为端侧 AI + 隐私合规留出空间；具身与硬件的交叉点：无人机、可穿戴、机器人都需要「又小又锐」的成像方案，Glass 官宣的平台路线恰好

avatar DAMO开发者矩阵
cover

PyTorch强化学习实战（25）——深度确定性策略梯度（DDPG）

avatar DAMO开发者矩阵