nuScenes 数据集是自动驾驶领域最具影响力的开源多模态数据集之一，由安波福（Aptiv）旗下 nuTonomy 团队于 2019 年发布。其设计目标是推动复杂交通场景下的感知、预测与规划算法研究，尤其关注多传感器融合与3D感知任务。

---

🧭 基本信息

项目	内容
场景数量	1000 个（每个约 20 秒）
关键帧数量	40,000 帧（采样频率 2Hz）
图像数据	约 140 万张（6 摄像头，1600×900，12Hz）
激光雷达	40 万帧（1 台 32 线旋转式，20Hz）
毫米波雷达	39 万次扫描（5 个，13Hz）
3D 标注框	140 万个，涵盖 23 类目标（如车辆、行人、自行车）
轨迹 ID	每个目标都有唯一轨迹标识
地图信息	包含高精地图（车道线、交通灯等）
场景标签	天气（晴/雨）、时间（白天/夜晚）、地点（波士顿/新加坡）等

---

nuScenes 数据集中，用于 3D 目标检测的 3D 标注框（3D bounding box） 共涵盖 23 个类别，这些类别覆盖了城市道路上常见的交通参与者及静态障碍物。以下是完整的类别列表（按官方英文名称列出）：

✅ nuScenes 3D 标注框的 23 个类别：

类别名称（英文）	中文含义
human.pedestrian.adult	成年人
human.pedestrian.child	儿童
human.pedestrian.construction_worker	建筑工人
human.pedestrian.personal_mobility	个人移动设备（如电动滑板车）
human.pedestrian.police_officer	警察
animal	动物
vehicle.car	小汽车
vehicle.motorcycle	摩托车
vehicle.bicycle	自行车
vehicle.bus.bendy	铰接式公交车
vehicle.bus.rigid	刚性公交车
vehicle.truck	卡车
vehicle.construction	工程车辆
vehicle.emergency.ambulance	救护车
vehicle.emergency.police	警车
vehicle.trailer	拖车
movable_object.barrier	可移动障碍物（如栏杆）
movable_object.trafficcone	交通锥
movable_object.pushable_pullable	可推拉物体（如手推车）
movable_object.debris	碎片/障碍物
static_object.bicycle_rack	自行车架（静态）
vehicle.ego	自车（用于标注，但通常不参与训练）

---

📌 说明：

• 所有类别都标注了 3D 边界框（x, y, z, w, l, h, yaw）。
• 每个目标还附带属性信息，如：
  • 可见性（visibility）
  • 活动状态（activity）
  • 姿态（pose）
• 在实际评估中，通常只使用其中 10 类（如 car、pedestrian、bicycle、bus、truck、motorcycle、barrier、traffic cone、trailer、construction vehicle）。

---

🧪 传感器配置

• 6 个摄像头：360° 环视，覆盖全车视野
• 1 个 32 线激光雷达：顶部安装，提供高密度点云
• 5 个毫米波雷达：提供速度信息与远距离检测能力
• GPS + IMU：用于精确定位与运动估计

---

🧠 支持任务

nuScenes 支持以下自动驾驶核心任务：

• 3D 目标检测（3D Object Detection）
• 多目标跟踪（Multi-Object Tracking, MOT）
• 轨迹预测（Trajectory Prediction）
• 激光雷达分割（LiDAR Segmentation）
• 多模态融合（Camera + LiDAR + Radar）
• 行为预测与路径规划研究

---

📊 数据集划分

子集	场景数量	用途
训练集	700	模型训练
验证集	150	模型调参与验证
测试集	150	最终评估（不公开标签）

此外，还提供 mini 版本（10 个场景）用于快速原型验证。

---

🧰 工具链与生态

• nuScenes devkit：官方提供的 Python 工具包，支持数据加载、可视化、评估指标计算等
• 评估指标：如 mAP、NDS、AMOTA、AMOTP 等，用于检测与跟踪任务
• 扩展数据集：
  • nuScenes-lidarseg：点云分割标注
  • nuImages：额外图像级标注（2D 检测、语义分割）

---

📥 获取方式

• 官网注册并同意使用协议后可下载：https://www.nuscenes.org
• 遵循 CC BY-NC-SA 4.0 协议，限制商业用途
• 提供完整版与 mini 版，支持快速实验与验证

---

✅ 应用场景

• 多模态 3D 感知算法开发
• 自动驾驶系统仿真与验证
• 传感器融合与域适应研究
• 学术竞赛与基准测试（如 CVPR、NeurIPS workshops）

---

⚠️ 挑战与限制

• 数据规模大，处理与存储成本高
• 多传感器同步与标定复杂
• 场景多样性强，对算法泛化能力要求高
• 标注复杂，训练难度较大

---

📌 总结

nuScenes 是当前自动驾驶研究中最全面、最权威的多模态数据集之一，以其丰富的传感器数据、精细的3D标注和完善的工具链，成为3D感知、跟踪与预测任务的标准基准数据集。