哈工大《大数据计算基础》期末考试2021

去年学长的链接2020年大数据基础

判断

10道，基本都比较简单
比如：
大数据就是1T以上的数据
大数据技术框架是否都是并行计算的

简答：4 x 5分

  1. 阐述NoSql ，NewSql, 传统关系型数据库的关联联系和区别
  2. 分析亚线性空间算法，应该从哪几个方面入手
  3. 手撕矩阵乘法的Mapreduce
  4. 还有一个不记得了，呜呜

综合题：60分

Mapreduce并行的

  1. 在Hardoop框架里面，Job与Task的关联和联系
  2. 给你一个整数集合，设计并行算法，求平均数。

关于点查询

  1. 设计L1点查询算法
  2. 分析1里面的算法的空间复杂度，以及近似比
  3. 如果要有效合并AB两个数据流里面的结果，应该设计什么数据结构以及算法（很显然CountSketch呀）

关于系统

背景：要你对工业时序数据设计实时异常值检测以及存储管理系统
（笔者当时就往Storm以及HBASE上面靠了。）

  1. 实时计算系统的计算框架
  2. 实时计算系统的数据结构
  3. 数据存储系统应该面临哪些设计要求。
  4. 如果考虑到较新的数据读的较快的查询请求，以及查询主要是点查询以及范围查询，你会怎么去设计背后的数据存储系统 。

把火炬传下去！

在这里插入图片描述

# big data # hadoop # mapreduce
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

EVE‑NG模拟器暑假实验学习总结

暑假期间，我依托EVE-NG网络模拟器开展实践学习，系统掌握设备部署、拓扑搭建、命令配置及抓包分析等技能。通过循序渐进的实操，深入理解VLAN、路由等网络原理，提升故障排查与独立解决问题能力。克服镜像启动、连通性等问题，积累实验笔记，实现理论到实践的转化，显著增强网络工程动手能力。

avatar DAMO开发者矩阵

【具身智能】Ψ0论文阅读随笔

$\psi_0$是面向人形机器人的视觉语言动作模型，采用三系统架构：冻结的VLM（Qwen3-VL）负责理解指令，MM-DiT生成流式动作，独立RL模型控制下半身以提升稳定性。通过动作分块实现低延迟连续执行，结合第一视角灵巧任务数据采集与高效数据利用策略，在真实机器人上实现高精度操作。核心思想在于“用好数据”而非“堆数据”，显著提升训练效率与泛化能力。

avatar DAMO开发者矩阵

基于蚁群优化算法的直流电机模糊PID控制（Matlab实现）

直流电机因其调速性能优异、响应速度快等特点，在工业控制、电动汽车、机器人等领域有着广泛应用。然而，传统PID控制存在参数固定、难以应对非线性及环境扰动等问题。模糊PID控制虽通过引入模糊逻辑实现了参数自适应调整，但在复杂场景下仍面临规则库构建与参数优化的难题。本文将蚁群优化算法（Ant Colony Optimization, ACO）引入直流电机模糊PID控制系统中，利用其全局寻优能力对模糊PI

avatar DAMO开发者矩阵