DAMO开发者矩阵

DAMO开发者矩阵

博客活动直播论文具身工坊

去全站搜索看看？

登录社区云

登录社区云，与社区用户共同成长

DAMO开发者矩阵

邀请您加入社区

欢迎加入社区

欢迎加入社区

hadoop

计算机毕业设计hadoop+spark+hive高考志愿填报推荐推荐系统高考数据分析可视化大屏高考爬虫高考分数线预测数据仓库大数据毕业设计

摘要：本研究基于Hadoop+Spark+Hive技术栈构建高考志愿推荐系统，针对传统志愿填报方式效率低、精准性差的问题，提出分布式架构与智能算法相结合的解决方案。系统实现10TB级数据处理能力，批处理效率提升62%，响应时间缩短至98ms，长尾专业推荐准确率提高40%。研究创新性地采用"成绩-兴趣-政策"三模态特征表示方法，结合图神经网络与实时流处理技术，构建了覆盖数据采集、

haochengxu2022
2025-11-01 09:55:41

 875

 18

#hadoop #数据仓库 #大数据 +3
计算机毕业设计之基于Django和Vue的汽车销售数据分析系统的设计与实现

本文设计并实现了一个基于Django和Vue的汽车销量数据分析系统。系统采用四层架构：数据抓取模块采集网络销售数据；数据处理模块进行数据清洗；数据分析模块运用Hadoop、Spark等技术实现销量排名、价格对比等深度分析；可视化模块通过Echarts展示分析结果。系统整合了大数据处理框架与机器学习算法，实现了从数据采集到预测分析的全流程管理，为汽车行业市场分析提供了有效工具。研究验证了大数据技术在

 我的微信bishe69
2025-09-16 14:54:03

 319

 3

#spark #python #django +2
选错毕设题目延毕一年？基于Hadoop+Spark的金融数据分析系统让你稳妥毕业

基于大数据的金融数据分析与可视化系统是一套融合Hadoop分布式存储、Spark大数据计算引擎和现代Web开发技术的综合性金融分析平台。该系统采用Hadoop+Spark大数据技术架构作为核心处理引擎，利用HDFS分布式文件系统存储海量金融数据，通过Spark SQL进行高效的数据查询和分析计算。

计算机毕设-小月哥
2025-09-04 15:32:28

 966

 29

#hadoop #spark #大数据 +2
【Hadoop+Spark+机器学习】基于Python爬虫的言情网络小说热度分析 |中文起点网络top500小说数据分析

本文介绍了一个基于Python爬虫技术的言情网络小说数据热度可视化分析系统。该系统通过爬取书旗中文网的Top500小说数据，结合大数据技术（Hadoop+Spark+Hive）进行存储和处理，并利用随机森林算法预测小说阅读热度。系统采用Django+Vue框架开发，实现了用户登录、小说管理、数据可视化大屏展示（包括词云图、类型统计、点击分析等）和阅读预测功能。管理员可通过后台管理用户和小说数据，前

 qq_1445749146
2025-09-02 14:00:00

 819

 12

#hadoop #spark #机器学习 +3
大数据毕业设计选题推荐：基于北京市医保药品数据分析系统，Hadoop+Spark技术详解

大数据毕业设计选题推荐：基于北京市医保药品数据分析系统，Hadoop+Spark技术详解

 计算机毕设匠心工作室
2025-08-29 10:50:46

 1012

 21

#大数据 #hadoop
Hive企业级应用案例：大数据分析实战

在当今数据驱动的商业环境中，企业面临着海量数据的存储、处理与分析挑战。Apache Hive作为构建在Hadoop之上的数据仓库工具，凭借其类SQL查询语言(HQL)、可扩展性和与Hadoop生态系统的无缝集成，已成为企业级大数据分析的首选解决方案。本文深入剖析Hive的核心架构与工作原理，通过三个不同行业的真实企业案例（电商销售分析平台、金融风险控制系统和物流路径优化系统），详细展示Hive在实

 Java技术栈实战
2025-08-30 21:37:45

 879

 14

#hive #数据分析 #hadoop
Python大数据毕设指导：基于Django+Spark的烟酒成瘾个体数据分析与可视系统毕业设计/选题推荐/深度学习/数据分析/数据挖掘/机器学习/随机森林/数据可视化/大屏

Hadoop+Spark计算机毕设选题：烟酒成瘾数据分析系统的大数据技术栈完整实现方案毕业设计/选题推荐/深度学习/数据分析/数据挖掘/机器学习/随机森林/数据可视化/大屏/预测/爬虫/推荐算法

 计算机毕业编程指导师
2025-08-19 23:36:53

 894

 5

#python #大数据 #数据挖掘 +1
计算机毕业设计之基于大数据的高速公路经营数据分析系统的设计和实现

本研究开发了一套基于大数据的高速公路经营数据分析系统，整合多源交通数据，运用机器学习算法实现车流量预测与可视化分析。系统采用分层架构，包含数据采集、处理、模型训练、可视化管理等功能模块，通过Hadoop、Spark等技术处理海量数据，并利用Echarts实现多维数据展示。系统能有效分析车流时空特征，预测短期流量变化，为交通管理决策提供支持，具有较高的实用价值和推广前景。

2501_92338134
2025-08-22 16:11:05

 370

 5

#大数据 #django #python +3
【2026大数据毕设必过选题】Hadoop+Spark+机器学习，50个高通过率项目详细解析

【2026大数据毕设必过选题】Hadoop+Spark+机器学习，50个高通过率项目详细解析

 IT跃迁谷毕设展
2025-08-08 15:18:27

 1178

 15

#大数据 #hadoop #数据挖掘 +1
【医疗神器】基于Hadoop的心脏病风险预测系统的设计与实现【多种机器学习对比、海量数据、大屏展示、在线交互预测】

基于Hadoop的心脏病风险预测系统设计与实现的主要研究内容分为以下几个内容。本研究设计并实现了一个基于Hadoop平台的心脏病风险智能预测系统。研究数据采用美国CDC行为风险因素监测系统（BRFSS）发布的公开数据集，包含40万份健康调查记录，涉及生理指标、行为习惯和人口特征三大类数据特征。数据预处理：包括异常值清洗、缺失值填补和特征标准化分布式存储：基于HDFS构建数据仓库自动化管道：采用Fl

王小王-123
2025-07-07 09:20:57

 1583

 41

#hadoop #机器学习 #大数据
计算机毕业设计之基于python的人脸识别系统的设计与实现

系统根据现有的管理模块进行开发和扩展，采用面向对象的开发的思想和结构化的开发方法对人脸识别管理的现状进行系统调查。采用结构化的分析设计，该方法要求结合一定的图表，在模块化的基础上进行系统的开发工作。在设计中采用“自下而上”的思想，在人脸识别系统实现了学生、教师、班级信息、课程信息、学生选课、学生签到等的功能性。管理员点击学生管理；在学生管理页面对学号、姓名、年龄、性别、手机、班级、头像等信息，进行

 2501_92338131
2025-06-23 13:52:43

 230

 2

#hadoop #美食 #微信小程序 +3
多节串联锂电池升降压充电管理芯片支持多种快充协议输入

随着科技的发展，锂离子电池在各种电子产品中的应用越来越广泛。为了满足不同设备的充电需求，充电管理IC也得到了迅速的发展。其中，升降压型充电芯片支持双节串联8.4V/12.6V充电管理IC成为了一种备受关注的新型充电解决方案。

Msshu123
2025-06-23 11:12:35

 666

 5

#mysql #hadoop #flume +2
hadoop+spark+python共享单车数据分析系统+可视化 Flask框架单车数据骑行数据出行大数据

🍅1、项目介绍项目技术栈： Python语言、Flask框架、sqlite数据库、Echarts可视化、HTML共享单车数据分析可视化系统是一个集成了数据分析与可视化技术的平台，旨在通过直观的图表和界面，为共享单车运营方提供深入的运营洞察和用户行为分析。该系统采用Python语言开发，基于Flask框架构建，利用sqlite数据库进行数据存储，同时结合Echarts进行数据可视化，以及HTML构

 QQ79120063
2025-04-07 14:14:20

 405

 3

#python #大数据 #hadoop
基于Python的黑龙江旅游景点数据分析系统的实现计算机毕设选题推荐计算机毕设选题讲解毕设带做适合作为毕业设计课程设计项目实战附源码+部署+文档

基于Python的黑龙江旅游景点数据分析系统的实现计算机毕设选题推荐计算机毕设选题讲解毕设带做适合作为毕业设计课程设计项目实战附源码+部署+文档

 脉冲编程者
2025-04-09 15:28:45

 775

 30

#python #hadoop #大数据 +3
hadoop+Spark+django基于python的重庆旅游景点数据分析系统(源码+文档+调试+可视化大屏)

然而，面对海量的旅游数据，如何有效地提取有价值的信息，为游客提供个性化的旅游体验，为旅游管理部门提供科学的决策支持，成为了旅游业发展的关键问题。Django重庆旅游景点数据分析系统的开发，正是为了解决这一问题，通过大数据技术和数据分析算法，对重庆旅游景点的相关数据进行深入分析，为游客和旅游管理部门提供有力的数据支持。系统利用Python网络爬虫技术，从各大旅游网站、社交媒体、在线评论等多渠道收集关

 weixin-80213251
2025-02-24 23:21:02

 944

 23

#python #hadoop #spark
计算机毕业设计Springboot基于hadoop的空气质量数据分析及可视化系统基于Spring Boot与Hadoop的大气环境质量监测与可视化平台利用Spring Boot结合Hadoop实现

登录流程是该系统的第一个流程，登录的第一步是输入账号、密码登录，系统会验证账号与密码是否正确，正确时系统会判断账号类型再进入不同的后台；E-R图即实体-联系图，主要作用是提供了解显示数据类型存在的联系的途径，是藐视现实世界的概念模型，其关键要素是实体型、属性、联系。具备有：系统首页、个人中心、用户管理、员工管理、空气质量管理、改善建议管理、质量报告管理、反馈建议管理、系统管理功能。可以查看系统首页

 世迁科技
2025-02-21 09:20:49

 975

 25

#spring boot #hadoop
大数据毕业设计：Hadoop基于python旅游景点评论数据分析系统可视化 LDA主题分析 NLP情感分析 Bayes评论分类计算机毕业设计源码+文档✅

大数据毕业设计：Hadoop基于python旅游景点评论数据分析系统可视化 LDA主题分析 NLP情感分析 Bayes评论分类计算机毕业设计源码+文档✅

vx_biyesheji0002
2025-03-02 12:00:00

 1263

 24

#大数据 #hadoop #机器学习 +3
Python毕业设计选题：基于Hadoop 的国产电影数据分析与可视化_django+spider

国产电影数据分析与可视化是对我国电影产业进行深入研究的过程。通过收集和分析电影的票房、评分、观众评价等数据，可以揭示电影市场的发展趋势、观众喜好以及影响电影成功的关键因素。利用数据可视化技术，将这些复杂数字信息转化为直观的图表和图形，有助于电影制作方、发行方和政策制定者更好地理解市场动态，优化决策，推动我国电影产业的繁荣发展。本文介绍了一个基于Django框架和Spark技术的国产电影数据分析与可

 shmp54
2024-12-08 00:30:00

 3311

 64

#python #hadoop #django +1
Hadoop的汽车销量数据分析系统

随着大数据技术的快速发展，基于大数据的分析应用日益普及。本论文针对汽车行业，本论文设计并实现了一个基于Hadoop的汽车销量数据分析系统，旨在提供汽车行业的决策支持和市场洞察。系统首先通过网络爬虫和API等方式采集汽车销量数据，然后利用Hadoop生态系统中的HDFS组件进行数据清洗、存储和处理。在数据处理过程中，系统运用了机器学习算法和数据挖掘技术，包括聚类分析、关联规则挖掘和时间序列预测等方法

 兰娃儿
2024-11-17 23:54:03

 2134

 10

#hadoop #大数据 #分布式
大数据项目实战-基于招聘网职位数据的可视化实验教程（六、数据分析Hive处理数据）

7.对t_ods_tmp_salary表的每一条数据进行泛化处理，将处理结果储存到中间表t_ods_tmp_salary_dist中，命令如下。3.分析大数据职位全国薪资分布情况，将分析结果储存在维度表t_ods_salary中，命令如下。11.创建维度表t_ods_company，用于储存福利标签的统计结果，命令如下。12.创建维度表t_ods_salary，用于储存薪资分布的统计结果，命令如下

 你听邂逅像风
2024-11-16 14:40:41

 1688

 30

#大数据 #hive #hadoop +1
2023 年“泰迪杯”数据分析技能赛A 题档案数字化加工流程数据分析

链接: https://pan.baidu.com/s/1P37Sl6FLDH6sh6t2WAOqjA。通过网盘分享的文件：A题-档案数字化加工流程数据分析.pdf。

2201_75620196
2024-11-01 10:47:21

 440

 2

#hadoop #python #spark
计算机毕业设计之“海洋生态环境保护宣传”网站设计与实现

海洋生态环境保护宣传”网站的主要使用者分为管理员和用户，实现功能包括用户、海洋知识、知识分类、视频专区、活动报名、报名信息等功能。管理员登录进入“海洋生态环境保护宣传”网站页面可以查看个人中心、用户管理、海洋知识管理、知识分类管理、视频专区管理、活动报名管理、报名信息管理、论坛管理、小游戏管理、题目管理、系统管理等模块，进行相对应的操作，如图。本系统的使用可以实现本“海洋生态环境保护宣传”网站管理

 2401_85546142
2024-09-27 15:18:08

 369

 2

#大数据 #汽车 #爬虫 +2
基于分布式计算的电商系统设计与实现【系统设计、大屏设计、海量数据、Hadoop集群】

本研究以开源的淘宝用户行为数据为基础，展开分布式集群的大数据分析，旨在通过高效的数据处理和分析提高电商系统的决策支持能力。所用数据覆盖了从11月18日至12月18日的一个月时间，共计约100万条用户行为记录，每条记录详细记录了用户的每一次行为。研究首先涉及将这些大规模数据上传到Hadoop的HDFS（分布式文件系统）中，利用Hadoop的Flume组件自动加载数据至Hive数据库，为后续的大规模数

 王小王-123
2024-08-28 15:49:50

 1789

 13

#hadoop #大数据 #分布式
基于Hadoop的绵阳市租房价格以及行情的数据分析与应用毕业设计源码67687

爬虫技术作为一种自动化的数据抓取工具，可以从各大租房网站、论坛等互联网上抓取租房信息，包括价格、户型、地理位置等重要数据。而Hadoop作为一个分布式的大数据处理平台，可以高效地处理和分析海量的租房数据。通过结合爬虫和Hadoop技术，我们可以实现对绵阳市租房价格及行情的全面、深入的数据分析。在数据清洗方面，由于从互联网上抓取的数据可能存在格式不统一、信息缺失等问题，因此需要进行数据清洗，以确保数

 weixin_ZYKJ985
2024-11-12 11:24:40

 597

 8

#hadoop #大数据 #数据分析 +4
计算机毕业设计之基于Hadoop的B站视频数据分析系统

系统是一款基于B/S架构的web应用，其它技术还包括python，hadoop，spark，vue，Echarts，pandas等。总的来说，对于广告商来说，系统可以提供准确的用户画像和视频推荐，提高广告的精准度和效果；该网站成立于2009年，经过多年的发展，已经成为了一个涵盖动画、番剧、音乐、舞蹈、游戏、科技、生活等多个领域的综合性视频网站。站的相关数据信息的，通过使用。

2401_85505850
2024-07-02 11:13:43

 532

 8

#hadoop #大数据 #分布式
计算机毕业设计之基于 hadoop 的电影数据分析系统的设计与实现

本研究致力于构建一个基于 hadoop 的电影数据分析系统，利用Python编程语言、MySQL数据库以及Hadoop和Spark等大数据技术，实现高效的数据处理和分析。该平台的核心功能包括数据爬取、处理、分析和可视化。首先，利用Scrapy框架从豆瓣电影网站爬取了大量电影和电影评论等数据。这些数据涵盖了电影信息、评分、评论数等多个维度。通过Scrapy框架，能够自动化地获取数据，提高了数据获取的

 2401_85505850
2024-07-01 19:13:55

 556

 2

#hadoop #大数据 #分布式
计算机毕业设计之基于hadoop的外卖数据分析系统设计与实现

随着大数据时代的来临，外卖行业作为现代服务业的重要组成部分，其数据量的激增和复杂性的提升对数据处理和分析技术提出了更高的要求。本文旨在探讨基于Hadoop的外卖数据分析系统的设计与实现，结合Django和Spark技术，为外卖行业提供一套高效、稳定且可扩展的数据分析解决方案。系统采用Hadoop作为大数据处理平台，利用其分布式存储和计算的能力，实现对海量外卖数据的快速处理和高效分析。Hadoop的

 2401_85506100
2024-06-18 09:50:34

 832

 6

#hadoop #大数据 #分布式
大数据的实时计算和离线计算你理解吗？

那么实时计算就是用一根水管接在水龙头的出水处另一端连接的就是生产纯净水的机器，特点是可以源源不断的生产纯净水速度很快但是每次只能生产一瓶。而离线计算就是在水龙头下方，先用个水桶来接水，只有当水桶接满了水之后才对其进行纯净水的生产，特点是隔一段时间才能生产一次，每次生产的时间比较长但是每次能生产一桶水。而离线计算的计算逻辑则相对复杂，虽然每次产生的业务价值较大但是效率低不够及时。不管是实时计算还是离

 2301_79551573
2024-03-22 20:20:53

 910

 7

#hadoop #flink #spark +1
鸿鹄（深圳）创新技术有限公司 ERP 软件，引领企业数字化转型新征程！

鸿鹄 ERP 软件，让您的企业如虎添翼，翱翔于数字化时代的天空！立即联系我们，开启智能管理之旅。

az335836az
2024-03-24 16:30:35

 180

 2

#hbase #oracle #json +4
基于Hive和FineBI数据分析可视化案例--泰坦尼克号乘客数据集

生成的图表包含柱状图，折线图，饼状图，词云图，雷达图，文本框图。图2-7 添加乘客生存人数文本框内容，调整颜色字体大小。图2-8 添加乘客死亡人数文本框内容，调整颜色字体大小。图2-6 添加乘客总人数文本框内容，调整颜色字体大小。图2-13 确定与饼状图相关的数据集。图2-15 确定与词云图相关的数据集图。图2-17 确定与折线图相关的数据集。图2-18 确定与横轴，纵轴，颜色。图2-9 选择与雷

 Levi287
2024-01-18 14:24:22

 1476

 10

#finebi #数据分析 #数据可视化 +2
Hadoop分布式计算框架（MapReduce）——MapReduce运行机制

它首先为Map任务发出请求，该请求优先级要高于Reduce任务的请求，这是因为所有的Map任务必须在Reduce的排序阶段能够启动前完成，直到有5%的Map任务已经完成时，为Roduce任务的请求才会发出。在Map任务和Reduce任务运行时，子进程和自己的父Application Master通过接口进行通信，默认每隔3s，任务通过这个接口向自己的Application Master报告进度和状

 Z_Data
2023-12-21 16:37:12

 5062

#hadoop #mapreduce #前端
【本科论文】基于Hadoop的电商数据分析系统设计与实现

本文基于Hadoop的电商数据分析系统设计与实现。随着电商行业的快速发展，海量的电商数据成为了企业决策的重要资源。如何高效地处理和分析这些数据成为了一个紧迫的问题。本文从需求分析开始，对电商数据分析系统的功能和性能进行了详细的研究和设计。在系统设计中，采用了Hadoop作为底层的分布式计算框架，结合MapReduce的思想，实现了数据的分布式存储和处理。同时，为了提供更加灵活和高效的数据分析功能，

桃宝护卫队
2023-11-14 17:31:41

 1676

 11

#hadoop #大数据 #分布式
【免费赠送源码】基于Hadoop的豆瓣电影数据分析及推荐系统

随着互联网技术的发展，现在已经进入了数据爆炸的时代，网络上各种信息爆炸式增长，并且信息的质量鱼龙混杂，人们从十几年前信息闭塞的年代来，到了现在信息爆炸的时代。意义：在现在商业竞争如此激烈的情况下，对于企业来说，想要分析自己的数据还是很容易的，但是对于某数据感兴趣人群或者是竞争对手公司想要研究对方公司的数据，可能就需要采取一些方法和手段了，如果手动获取采集数据，效率低下，而且互联网时代，数据产生和数

 奶糖小果冻
2023-08-22 14:18:21

 1166

#大数据 #hadoop
倾斜摄影三维模型数据的几何坐标变换与点云重建并行计算技术探讨

三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，处理速度快，超大模型支持；优秀数据处理和转换工具，支持将OSGB格式三维模型转换为3DTiles等格

 3D探路人
2023-06-06 09:37:32

 446

#大数据 #spark #hadoop
基于hadoop豆瓣电影数据分析

代码:load data local inpath "/home/liuxuanting/douban_movie-1686527723744.txt" into table lxt_2021900406；代码：hdfs dfs -copyFromLocal /home/liuxuanting/liuxuanting1 /log/代码：put ‘lxt_2021900406’,’1’,’info:

左岸2420
2023-07-19 11:21:10

 2351

 5

#hadoop #大数据
头歌大数据——MapReduce 基础实战答案无解析

头歌大数据——MapReduce 基础实战答案无解析

 蓝莓奶油饺子·
2023-05-18 16:30:51

 2.3w

 49

#mapreduce #大数据 #hadoop
云计算与大数据入门实验四 —— MapReduce 初级编程实践

云计算与大数据入门实验四 —— MapReduce 初级编程实践实验目的通过实验掌握基本的 MapReduce 编程方法掌握用 MapReduce 解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等实验内容(一)编程实现文件合并和去重操作对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出...

m0_59161987
2023-04-28 10:29:00

 3582

#mapreduce #大数据 #云计算 +2
Sqoop数据导出第1关：Sqoop数据导出语法学习

Sqoop数据导出第1关：Sqoop数据导出语法学习

 是草莓熊吖
2022-12-07 09:37:01

 2655

#sqoop #hadoop #大数据
Hive 表 DML 操作——Hive 表 DML 操作——第1关：将文件中的数据导入（Load）到 Hive 表中

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Spu92Lls-1666382974341)(https://data.educoder.net/api/attachments/297553)]关键字，目标表或分区中的原始数据会被删除，替换成新数据；为了完成本关任务，你需要掌握：1.导入命令语法，2.如何将本地。中的任何一个文件同名，则表或分区中的同名文件会被。本关任

 真题OK撒
2022-10-22 04:11:12

 3910

 1

#hive #hadoop #大数据
2 .项目构建（实时计算框架和监控kafka,flink的工具）

2 .项目构建(实时计算框架和监控kafka,flink的工具)注意：因为我的是分布式，有些配置和伪分布式稍微有以写不同(千万注意)在我们一个一个启动下面的进程的时候，我们应该时刻关注内存使用情况 top2.1、框架版本hadoop 2.7.6hive 1.2.1zookeeper 3.4.6hbase 1.4.6kafka 1.0.0Flink 1.1...

阿涛必须奥利给
2022-08-11 23:41:00

 543

#kafka #flink #大数据 +2
kafka stream实现实时流式计算以及springboot集成kafka stream

kafka stream实现实时流式计算以及springboot集成kafka stream

TheChainsmoker
2022-08-18 16:05:34

 3658

 4

#kafka #spring boot #hadoop
使用 Amazon EMR 构建您的数据分析平台

Amazon EMR是云上的数据分析平台，通过 Amazon EMR 的图形化或命令行接口，用户可以快速搭建和部署基于 Amazon EC2 实例的数据分析系统，并能动态扩展集群。Amazon EMR 也可以读写其他 AWS 数据存储服务，例如 Amazon S3 和 Amazon DynamoDB。用户也可以在该平台上使用开源分析框架（如 Apache Spark、 Presto 等）运行大规模

 kikokingzz
2022-05-23 15:54:39

 8851

 117

#big data #hadoop #数据分析 +1
MapReduce项目案例4——乘用车辆和商用车辆销售数据分析

需求分析👇👇

ChenJieYaYa
2022-06-27 16:41:05

 6561

 6

#mapreduce #数据分析 #hadoop
离线计算与实时计算的比较、Presto与Kylin区别、实时需求种类

离线计算：就是在计算开始前已知所有输入数据，输入数据不会产生变化，一般计算量级较大，计算时间也较长。例如今天早上一点，把昨天累积的日志，计算出所需结果。最经典的就是 Hadoop 的 MapReduce 方式；一般是根据前一日的数据生成报表，虽然统计指标、报表繁多，但是对时效性不敏感。从技术操作的角度，这部分属于批处理的操作。即根据确定范围的数据一次性计算。实时计算：输入数据是可以以序列化的方式一

 养不起心爱的猫该如何是好
2022-01-02 16:20:28

 1750

 1

#kylin #big data #hadoop
Hadoop学习之MapReduce分布式计算框架

Hadoop学习之MapReduce分布式计算框架

 平平无奇秃头小天才
2022-01-24 11:19:44

 2029

#mapreduce #hadoop #big data
哈工大《大数据计算基础》期末考试2021

哈工大《大数据计算基础》期末考试2021

啥都不会-_-||
2021-12-20 17:54:05

 3622

 10

#big data #hadoop #mapreduce
共享单车之数据分析第1关：统计共享单车每天的平均使用时间

共享单车之数据分析第1关：统计共享单车每天的平均使用时间

 。重阳。
2021-11-25 09:05:05

 4141

 4

#hbase #hadoop #mapreduce
大数据期末考试题库 2021.12.22

3 ZooKeeper是什么？Zookeeper的应用场景主要有哪些？我的答案：Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby的一个开源的实现。它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步的合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。主要应用场景为：分布式协调、分布式锁、元数据、配置信息管理、H

刀起流年
2021-12-22 09:12:11

 3172

 2

#hadoop #hbase #zookeeper
共享单车之数据分析第2关：统计共享单车在指定地点的每天平均次数

packagecom.educoder.bigData.sharedbicycle;importjava.io.IOException;importjava.math.BigDecimal;importjava.math.RoundingMode;importjava.util.ArrayList;importjava.util.Collection;importjava.util.HashMap

。重阳。
2021-11-18 16:41:55

 5170

 5

#hbase #hadoop #mapreduce
数据中心为什么耗电那么多？（内附计算方法）

计算机房用电不用想都知道耗电率高，就按目前来说，我国大型数椐中心机房用电量比起先进国家差距比较大的，机房用电分配是：IT占44%，制冷占38%以上(有甚至的高达50%)，其余电源、照明占1...

数据中心运维管理
2021-12-11 22:04:38

 6661

 1

#人工智能 #算法 #大数据 +2

加载更多

回到
顶部

提供社区服务与技术支持

提供社区服务与技术支持

©1999-2023北京创新乐知网络技术有限公司京ICP备19004658号