DAMO开发者矩阵

DAMO开发者矩阵

博客活动直播论文具身工坊

去全站搜索看看？

登录社区云

登录社区云，与社区用户共同成长

DAMO开发者矩阵

邀请您加入社区

欢迎加入社区

欢迎加入社区

spark

IX7024 PCIe3.0 24 通道@ACP#工业级交换芯片

摘要：苹果WWDC2026发布工业级AI设备方案，工业场景中24通道PCIe3.0拓展成为刚需。针对ASM2824芯片在macOS工业设备中的四大痛点（带宽挤占、无优先级调度、温度适应性差、兼容性问题），国产IX7024芯片推出独立分布式架构，具备24通道独立交换、三级硬件调度、宽温支持(-40℃~85℃)及深度macOS优化等优势，性能全面超越ASM2824。该芯片已应用于产线质检、户外测绘等场

 ACP广源盛13924625673
2026-06-26 00:30:00

 975

 22

#人工智能 #嵌入式硬件 #分布式 +2
计算机毕业设计hadoop+spark+hive高考志愿填报推荐推荐系统高考数据分析可视化大屏高考爬虫高考分数线预测数据仓库大数据毕业设计

摘要：本研究基于Hadoop+Spark+Hive技术栈构建高考志愿推荐系统，针对传统志愿填报方式效率低、精准性差的问题，提出分布式架构与智能算法相结合的解决方案。系统实现10TB级数据处理能力，批处理效率提升62%，响应时间缩短至98ms，长尾专业推荐准确率提高40%。研究创新性地采用"成绩-兴趣-政策"三模态特征表示方法，结合图神经网络与实时流处理技术，构建了覆盖数据采集、

haochengxu2022
2025-11-01 09:55:41

 865

 18

#hadoop #数据仓库 #大数据 +3
基于Python的汽车销量数据分析与可视化——毕业设计源码21199

随着汽车产业的发展，二手车市场逐渐兴起。二手车交易信息不对称问题突出，买车者难以获取真实有效的二手车信息，卖车者也难以找到合适的买家。传统的二手车交易市场主要依赖线下交易和人工信息整理，效率低下且容易出现信息偏差。本系统采用 Vue.js 作为前端技术，Django 作为后端技术栈，并结合爬虫技术获取数据，使用 MySQL 数据库进行数据存储。系统功能包括用户端的首页浏览、汽车资讯搜索筛选排序、二

 全栈工程司
2025-09-14 15:53:16

 666

 24

#python #数据分析 #tornado +4
计算机毕业设计之基于Django和Vue的汽车销售数据分析系统的设计与实现

本文设计并实现了一个基于Django和Vue的汽车销量数据分析系统。系统采用四层架构：数据抓取模块采集网络销售数据；数据处理模块进行数据清洗；数据分析模块运用Hadoop、Spark等技术实现销量排名、价格对比等深度分析；可视化模块通过Echarts展示分析结果。系统整合了大数据处理框架与机器学习算法，实现了从数据采集到预测分析的全流程管理，为汽车行业市场分析提供了有效工具。研究验证了大数据技术在

 我的微信bishe69
2025-09-16 14:54:03

 310

 3

#spark #python #django +2
选错毕设题目延毕一年？基于Hadoop+Spark的金融数据分析系统让你稳妥毕业

基于大数据的金融数据分析与可视化系统是一套融合Hadoop分布式存储、Spark大数据计算引擎和现代Web开发技术的综合性金融分析平台。该系统采用Hadoop+Spark大数据技术架构作为核心处理引擎，利用HDFS分布式文件系统存储海量金融数据，通过Spark SQL进行高效的数据查询和分析计算。

计算机毕设-小月哥
2025-09-04 15:32:28

 959

 29

#hadoop #spark #大数据 +2
【Hadoop+Spark+机器学习】基于Python爬虫的言情网络小说热度分析 |中文起点网络top500小说数据分析

本文介绍了一个基于Python爬虫技术的言情网络小说数据热度可视化分析系统。该系统通过爬取书旗中文网的Top500小说数据，结合大数据技术（Hadoop+Spark+Hive）进行存储和处理，并利用随机森林算法预测小说阅读热度。系统采用Django+Vue框架开发，实现了用户登录、小说管理、数据可视化大屏展示（包括词云图、类型统计、点击分析等）和阅读预测功能。管理员可通过后台管理用户和小说数据，前

 qq_1445749146
2025-09-02 14:00:00

 803

 12

#hadoop #spark #机器学习 +3
计算机毕业设计之基于大数据的高速公路经营数据分析系统的设计和实现

本研究开发了一套基于大数据的高速公路经营数据分析系统，整合多源交通数据，运用机器学习算法实现车流量预测与可视化分析。系统采用分层架构，包含数据采集、处理、模型训练、可视化管理等功能模块，通过Hadoop、Spark等技术处理海量数据，并利用Echarts实现多维数据展示。系统能有效分析车流时空特征，预测短期流量变化，为交通管理决策提供支持，具有较高的实用价值和推广前景。

2501_92338134
2025-08-22 16:11:05

 363

 5

#大数据 #django #python +3
Tez、Spark、MR三大计算框架对比

Spark通常在现代大数据架构中更受欢迎，因为它提供了更好的性能和更广泛的功能集，而Tez主要用于优化Hadoop生态系统中的现有工作负载。

ITHomeZSL
2025-08-15 09:49:00

 550

 5

#spark #mr #大数据
基于JavaHadoop的汽车销量数据分析与可视化-毕业设计源码09557

随着大数据与人工智能技术发展，汽车销售行业传统运行模式面临挑战。行业传统运行模式主要依赖人工整理电子表格与基础统计软件，存在数据处理效率低、实时性差、可视化能力不足、多维度分析缺失等问题。该汽车销量分析系统在架构设计上，运用 Vue.js 框架打造前端交互界面，后端以 Python 语言为基础进行开发，借助 Django 框架来构建业务逻辑。同时，系统采用 Hadoop 实现分布式存储功能，利用

 全栈工程司
2025-08-10 15:55:17

 1611

 12

#python #tornado #flask +4
基于大数据分析的足球战术评分系统设计与实现（源码+定制+开发）基于Spark的足球比赛战术评分与可视化分析系统基于机器学习的足球战术评分系统设计与实现足球战术行为识别与评分

Java技术专家阿龙提供一站式毕业设计服务，涵盖SpringBoot、Vue等全栈技术开发，支持论文撰写与答辩辅导。作为CSDN特邀作者/博客专家，拥有10W+粉丝和50W+技术分享影响力，长期提供Python大数据分析（Pandas/Spark）、机器学习（XGBoost）等实战指导。特色服务包括：免费功能设计、源码获取、论文降重及腾讯会议模拟答辩，已助力上百名学生获优秀毕业成绩。附Hadoop

C++_刘斯淇
2025-07-31 20:28:52

 1250

 23

#数据分析 #spark #机器学习
Spark（开源的分布式计算框架）

Apache Spark 是一个高性能开源分布式计算框架，支持批处理、流处理、机器学习和图计算。它比Hadoop MapReduce快100倍，提供Java/Scala/Python/R等多种语言支持，并通过RDD实现容错。环境配置需安装Java、Spark及可选组件（Scala/Hadoop）。核心概念包括RDD、DataFrame、Spark SQL、Spark Streaming和MLlib

陈涛龙
2025-06-24 18:14:15

 1268

 17

#spark #开源 #大数据
Spark实战：美妆订单数据分析与可视化全流程解析

withColumn("od_quantity", regexp_replace('od_quantity','个','')) \。.add_yaxis("订购量", y, label_opts=opts.LabelOpts(position="right"))bar.set_global_opts(title_opts=opts.TitleOpts(title="每月商品订购情况"))：Spar

2401_83441297
2025-05-27 12:55:16

 1175

 25

#spark #数据分析 #信息可视化
Spark美妆订单数据分析与可视化实战指南

本实战项目通过Spark SQL对美妆商品订单数据进行全面分析，并使用pyecharts实现数据可视化。项目完整展示了从数据清洗、预处理到多维分析、客户价值挖掘的完整流程，最终生成直观的图表展示分析结果。python# 商品信息表# 订单销售表数据准备：将CSV数据加载到HDFS，定义明确的数据Schema数据清洗：处理缺失值、重复值、格式转换和异常值多维分析：从商品、时间、地域、客户等多个维度深

 www.brain
2025-05-27 13:02:02

 641

 16

#spark #数据分析 #信息可视化
hadoop+Spark+django基于python的重庆旅游景点数据分析系统(源码+文档+调试+可视化大屏)

然而，面对海量的旅游数据，如何有效地提取有价值的信息，为游客提供个性化的旅游体验，为旅游管理部门提供科学的决策支持，成为了旅游业发展的关键问题。Django重庆旅游景点数据分析系统的开发，正是为了解决这一问题，通过大数据技术和数据分析算法，对重庆旅游景点的相关数据进行深入分析，为游客和旅游管理部门提供有力的数据支持。系统利用Python网络爬虫技术，从各大旅游网站、社交媒体、在线评论等多渠道收集关

 weixin-80213251
2025-02-24 23:21:02

 937

 23

#python #hadoop #spark
【Spark+LSTM】基于Spark+LSTM美食数据分析预测系统大众点评数据 HIVE（完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程）✅

【Spark+LSTM】基于Spark+LSTM美食数据分析预测系统大众点评 HIVE（完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程）✅

___Edward
2024-11-21 17:02:33

 1902

 19

#分布式 #spark #lstm +4
基于Spark的温布尔登特色赛赛事数据分析预测及算法实现_718p9405

🎈1.项目内容温布尔登网球锦标赛作为网球界最具声望的赛事之一，其特色赛蕴含着丰富的竞技数据与复杂的比赛规律。

qq_1406299528
2024-12-14 23:01:01

 1018

 26

#spark #数据分析 #算法
Spark分布式计算中Shuffle Read 和 Shuffle Write的职责和区别

在 Spark 的分布式计算中，和是两个与数据重新分区和分发相关的重要阶段。通常只涉及本地磁盘写操作，不涉及网络传输。：当下游任务需要的数据分布在其他节点时，会涉及网络传输。Shuffle 主要由groupByKey。

PersistJiao
2024-11-18 22:33:47

 1233

 27

#spark #大数据
2023 年“泰迪杯”数据分析技能赛A 题档案数字化加工流程数据分析

链接: https://pan.baidu.com/s/1P37Sl6FLDH6sh6t2WAOqjA。通过网盘分享的文件：A题-档案数字化加工流程数据分析.pdf。

2201_75620196
2024-11-01 10:47:21

 427

 2

#hadoop #python #spark
基于Spark的温布尔登特色赛赛事数据分析预测及算法实现大数据分析系统(源码+lw+部署文档+讲解等)

本大数据分析系统融合了 Python 的 Django 框架与 Spark 技术，专门针对温布尔登特色赛事进行深入的数据分析、预测以及算法实现。系统借助 Spark 强大的分布式计算能力，高效处理海量的赛事相关数据。这些数据涵盖了比赛的历史记录、球员的各项技术统计数据、比赛场地条件、天气状况等多方面信息。通过对这些数据进行深入挖掘和分析，运用先进的机器学习和数据挖掘算法，系统能够发现赛事中的潜在规

 QQ_3359892174
2024-10-11 13:25:28

 1278

 31

#spark #数据分析 #算法
Spark中RDD练习-统计学生数据

Spark的RDD中API提供了丰富的转换操作,但是不直接支持SQL风格的like操作符.使用Scala 的startsWithendsWith或contains方法，或者使用 Python 的或方法。使用正则表达式:在filter转换中使用正则表达式来匹配模式。例如，使用 Scala 的或 Python 的。

weixin_58305115
2024-10-10 14:45:20

 775

 14

#spark #大数据 #分布式
基于Spark的TapTap游戏数据分析系统-毕业设计

基于 Spark 的 TapTap 游戏数据分析系统是一个综合性的数据分析平台，旨在为用户提供全面、深入的游戏数据洞察。该项目采用先进的技术栈，包括 Python、Django、Scrapy、Vue3、Spark、Element-Plus 和 ECharts，确保了系统的性能和用户体验。

毕设经验分享
2024-09-03 11:10:32

 616

 4

#spark #游戏
实时数据处理：使用Apache Spark进行流数据分析

Apache Spark是一个开源的分布式计算框架，能够处理大规模数据集。内存计算：通过在内存中进行数据处理，显著提高了计算速度。弹性分布式数据集（RDD）：提供了一个可并行处理的数据结构。数据流处理：支持批处理和流处理两种模式。丰富的库支持：包括Spark SQL、Spark Streaming、MLlib和GraphX。Spark Streaming是Apache Spark的一个组件，用于处

 勤劳兔码农
2024-08-07 20:28:18

 1555

 9

#apache #spark #数据分析
计算机毕业设计之基于Spark的微博热搜数据分析系统的设计与实现

从意义方面，系统主要处理大量信息数据，对这些数据进行分析，并按需求进行可视化，从中提取用户所需要的信息，给用户带来价值。这些数据中包含着丰富的用户行为信息，通过分析这些信息，可以挖掘出许多有价值的内容。本系统采用了Spark作为主要的数据处理框架，以Hadoop作为数据存储系统，通过Flume进行数据采集，Sqoop进行数据迁移，利用Python和Scala进行数据处理和分析。管理员点击用户模块可

 2401_85505850
2024-07-23 15:02:48

 709

 2

#spark #大数据 #分布式 +3
计算机毕业设计之基于Spark的信用卡逾期数据分析系统的设计与实现

然后，详细阐述了系统中的关键技术，包括使用Spark SQL进行数据查询和处理，利用Spark MLlib库构建机器学习模型，以及通过Spark Streaming实现实时数据分析和预警。接下来，通过实验验证了系统的有效性和准确性，实验结果表明，本文提出的系统在预测信用卡逾期方面具有较高的准确率和实时性。除此之外，本系统在用户交互方面做到了傻瓜式一键交互，按下按键，功能完成。从意义方面，系统主要处

 2401_85505954
2024-07-18 10:41:10

 472

 2

#spark #大数据 #分布式
头歌spark机器学习

第四关基于随机森林预测贷款风险。第五关基于多层感知器的短信分类。第三关基于ALS的推荐算法。第一关：基于物品推荐算法。第二关基于用户的推荐算法。

qq_65975926
2024-05-30 15:55:39

 1598

 4

#spark #机器学习 #大数据
Spark云计算平台Databricks使用，SQL

输入名字，Storage location选择workspace，数据都是保存在AWS S3云存储。选择test，Create -> Create table。点击browse，本地上传people.json文件。选择Calalog，点击Creae schema。点击Create table。

hhujjj2005
2024-05-05 23:48:36

 916

 4

#spark #云计算 #大数据
大数据的实时计算和离线计算你理解吗？

那么实时计算就是用一根水管接在水龙头的出水处另一端连接的就是生产纯净水的机器，特点是可以源源不断的生产纯净水速度很快但是每次只能生产一瓶。而离线计算就是在水龙头下方，先用个水桶来接水，只有当水桶接满了水之后才对其进行纯净水的生产，特点是隔一段时间才能生产一次，每次生产的时间比较长但是每次能生产一桶水。而离线计算的计算逻辑则相对复杂，虽然每次产生的业务价值较大但是效率低不够及时。不管是实时计算还是离

 2301_79551573
2024-03-22 20:20:53

 905

 7

#hadoop #flink #spark +1
基于spark的大数据分析预测地震受灾情况的系统设计

在本篇博客中，我们将介绍如何使用Apache Spark框架进行地震受灾情况的预测。我们将结合数据分析、特征工程、模型训练和评估等步骤，最终建立一个预测模型来预测地震造成的破坏程度，同时使用可视化大屏的方式展示数据的分布。我们使用了合并后的地震数据作为我们的数据集。

放学-别走
2024-03-25 17:00:45

 1979

 31

#spark #数据分析 #大数据 +1
基于Spark对消费者行为数据进行数据分析开发案例

基于Spark对消费者行为数据进行数据分析开发案例

 朱季谦
2023-12-03 08:48:00

 1572

 24

#spark #数据分析 #javascript
倾斜摄影三维模型数据的几何坐标变换与点云重建并行计算技术探讨

三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，处理速度快，超大模型支持；优秀数据处理和转换工具，支持将OSGB格式三维模型转换为3DTiles等格

 3D探路人
2023-06-06 09:37:32

 442

#大数据 #spark #hadoop
基于Spark+python django的招聘数据分析系统

基于Spark+python django的招聘数据分析系统是一个综合招聘平台，提供首页、数据分析可视化和薪资预测功能，同时支持用户登录和注册。用户可以通过输入正确的账号、密码和验证码来登录，成功登录后进入用户端，可以方便地修改账户信息和密码。整体上，该系统提供了全面的招聘信息和分析工具，帮助用户更好地了解就业市场，进行职业规划和决策。用户可以通过系统的功能进行交互和操作，获得个性化的招聘数据和薪

 往事随风beat
2023-05-23 14:29:05

 1370

 2

#python #spark #django
Spark Streaming实时计算实例

依赖需要根据自己的idea版本需求和电脑安装的插件来配置，配置完成会自己启动下载，如果没有下载，只需要点击idea右侧测定maevn就会自动下载了。3．编写程序，使用updateStateByKey()方法对nc客户端不断输入的内容进行实时的词频统计。2．创建一个Maven工程，在pom.xml文件中添加Spark Streaming依赖。1．运行nc，模拟数据源。nc -lk 9999启动服务端

 想吃蛋炒饭了
2023-05-01 21:01:12

 844

 1

#spark #scala #大数据
分布式计算技术（上）：经典计算框架MapReduce、Spark 解析

分布式计算技术按照其业务场景的不同可以分为离线计算和实时计算，本文介绍了两个具有代表性的离线计算技术MapReduce批处理引擎和Spark计算框架

 星环科技
2023-04-10 09:42:56

 2106

 1

#mapreduce #spark #大数据
Flink实时计算框架简介

flink实时计算机框架简介

 csm_81
2023-03-07 10:08:50

 2029

#flink #大数据 #spark
05-分布式计算框架

MR是面向离线批处理的分布式计算框架核心思想分而治之，并行计算。移动计算，非移动数据；适用场景数据统计，如网站的PV、UV统计搜索引擎构建索引海量数据查询复杂数据分析算法实现不适用场景OLAP要求毫秒或秒级返回结果流计算输入数据集是动态的，而MapReduce是静态的DAG计算－多个任务之间存在依赖关系，后一个的输入是前一个的输出，构成DAG有向无环图－MapReduce很难避免Suffle，造成

 &再见萤火虫&
2022-08-01 00:57:26

 1292

 1

#大数据 #mapreduce #spark
头歌平台，大数据实验五，spark安装

spark环境安装第一关mkdir /app//创建 app 目录cd /opttar -zxvfscala-2.12.7.tgz -C /appvi /etc/profile#set scalaSCALA_HOME=/app/scala-2.12.7export PATH=$PATH:$SCALA_HOME/binsource /etc/profilescala -version//scala不

 Closer9
2022-04-06 21:53:36

 1.8w

 22

#spark
Spark初探: 一步步用Scala写一个简易分布式计算程序

在学习Spark, 深入分布式计算之前, 我们有必要先体会一下分布式计算的特性和简单原理;那么我们基于Java去理解, 实现分布式的前提是什么呢?当然是各个主机之间的通信, 即Socket网络通信, 由于Scala引入了大量的Java类库, 自然的也就类似于Java实现Socket通信了;第一步, Scala实现服务器端 Excutor.scalapackage simpledistributed

菜菜的大数据开发之路
2022-02-28 23:26:09

 1955

 2

#scala #spark #java
PySpark数据分析

PySpark数据处理原理实验步骤步骤1：使用Python链接Spark环境import pandas as pdfrom pyspark.sql import SparkSessionspark = SparkSession \.builder \.appName('pyspark') \.getOrCreate()# 原始数据test = spark.createDataFrame([('00

行路者-慢慢来
2022-03-01 13:43:02

 3416

#数据分析 #spark #数据挖掘
Python读取已有文件，删除并更新数据进入指定sheet(File is not a zip file和文件损坏报错问题解决方法)

import pandas as pdimport numpy as npfrom openpyxl import load_workbookbook = load_workbook(r'C:\Users\zhimin.liu\Desktop\数据存储test.xlsx')try:ws = book["insert_test"]book.remove(ws)#删除需要替换的sheetexcept:

Moonset1995
2022-03-28 11:40:16

 3613

 7

#spark #sql #大数据
【Spark】Spark电商数据分析

Spark电商数据分析数据展示与分析需求：Top10 热门品类需求分析实现方法一实现方法二实现方法三实现方法四需求：Top10 热门品类中每个品类的 Top10 活跃 Session 统计需求：页面单跳统计什么是页面单跳统计页面单跳的意义数据展示与分析上面的数据图是从数据文件中截取的一部分内容，表示为电商网站的用户行为数据，主要包含用户的 4 种行为：搜索，点击，下单，支付。数据规则如下：➢ 数据

 飝鱻.
2022-01-04 07:42:57

 4139

 5

#数据分析 #spark #big data
分布式计算引擎 Flink/Spark on k8s 的实现对比以及实践

以 Flink 和 Spark 为代表的分布式流批计算框架的下层资源管理平台逐渐从 Hadoop 生态的 YARN 转向 Kubernetes 生态的 k8s 原生 scheduler 以及周边资源调度器，比如 Volcano 和 Yunikorn 等。这篇文章简单比较一下两种计算框架在 Native Kubernetes 的支持和实现上的异同，以及对于应用到生产环境我们还需要做些什么。1. 什么

 阿里云技术
2021-08-27 14:39:38

 1153

#spark #flink #big data
Spark项目实践--基于 TMDB 数据集的电影数据分析

基于 TMDB 数据集的电影数据分析一、环境搭建二、数据预处理三、使用 Spark 将数据转为 DataFrame四、使用 Spark 进行数据分析并可视化1.单独分析2.字段之间的关系分析五，结语一、环境搭建从假设裸机，环境搭建开始，具体环境搭建操作大体流程如下，具体详细流程点击查看另一篇博客：spark环境搭建大体流程：（1）安装Linux操作系统：比如可以安装Ubuntu 16.04（2）安

 卷了个积寂寞
2021-06-18 01:05:13

 6165

 6

#大数据 #spark #python
SparkStreaming项目实战，实时计算pv和uv（硬肝）

关注我，回复"资料"，获取大数据资料最近有个需求，实时统计pv,uv，结果按照date,hour,pv,uv来展示，按天统计，第二天重新统计，当然了实际还需要按照类型字段分...

大数据技术派
2021-06-03 08:20:00

 909

 1

#数据库 #redis #spark +2
Spark Streaming实时计算框架

Spark Streaming实时计算框架✎ 学习目标1.了解什么是实时计算2.掌握DStream的转换、窗口、输出操作3.理解Spark Streaming工作原理4.掌握Spark Streaming和Kafka整合概要近年来，在Web应用、网络监控、传感监测、电信金融、生产制造等领域，增强了对数据实时处理的需求，而Spark中的Spark Streaming实时计算框架就是为实现对数据实时处

 一米八多的瑞兹
2021-04-19 15:23:36

 1559

 1

#数据库 #大数据 #spark +2
基于spark的微博数据分析

文章目录主要数据介绍数据分析项目构建前端展示数据分析结果演示微博内容热词统计(房价话题）(Fangjia_hotwords.scala)统计数据中粉丝数量前20的微博用户（Fans_analysis.scala）微博中国各个省份人口分布统计（PopulationDistribution.scala）某一话题下微博发布时间分布情况 (Timedistribution.scala)统计微博发布设备（前

 ROJS
2021-03-18 09:22:09

 6060

 13

#spark #kafka #java +2
实时计算引擎Spark笔试题:Spark Streaming 反压机制(Back Pressure)

Spark Streaming 反压机制是1.5版本推出的特性，用来解决处理速度比摄入速度慢的情况，简单来讲就是做流量控制。当批处理时间(Batch Processing Time)大于批次间隔(Batch Interval，即BatchDuration)时,说明处理数据的速度小于数据摄入的速度，持续时间过⻓或源头数据暴增，容易造成数据在内存中堆积，最终导致Executor OOM。反压就是来解

 千锋教育官方博客
2020-12-17 16:51:20

 556

#spark #大数据 #kafka
【Spark】（十五）基于Spark GraphX的图形数据分析

为什么需要图计算许多大数据以大规模图或网络的形式呈现许多非图结构的大数据，常会被转换为图模型进行分析图数据结构很好地表达了数据之间的关联性图（Graph）的基本概念1、图是由顶点集合（Vertex）及顶点间的关系集合（边edge）组成的一种网状数据结构通常表示为二元组：Graph=(V,E)可以对事物之间的关系建模2、应用场景：在地图应用中寻找最短路径社交网络关系网页间超链接关系图的术语1、顶点（

屡傻不改
2020-11-26 10:22:03

 1013

 1

#spark
分布式计算引擎理解

分布式计算

 懒猫gg
2020-09-17 15:17:53

 1790

 1

#spark #大数据
2020年美国新冠肺炎疫情数据分析

US_2019COVID介绍2020年美国新冠肺炎疫情数据分析–截止2020年9月9日数据处理使用Spark对数据进行分析数据可视化一、数据处理1. 数据集分析数据包含以下字段，具体含义：date 日期; county 区县; state 州; cases 截止该日期确诊人数; deaths 截止该日期死亡人数将csv文件转为txt文件，方便spark读取生成RDD和DataFrame。转换代码见

 就要辣谢谢。
2020-09-16 22:01:26

 1w

 6

#python #大数据 #数据分析 +1
用Scala统计学生各门成绩

统计学生各门课程的平均成绩、最低成绩、最高成绩以及男同学、女同学分开测试样例grade1.txt：Id gender Math English Physics301610 male 80 64 78301611 female 65 87 58301612 female 44 71 77301613 female 66 71 91301614 female 70 71 100301615 male

阿布
2020-10-06 00:07:14

 1w

 13

#scala #spark

加载更多

回到
顶部

提供社区服务与技术支持

提供社区服务与技术支持

©1999-2023北京创新乐知网络技术有限公司京ICP备19004658号