CamVid、H3D、Vistas、Kitti、nuScense、Cityscape、Apolloscape、FordAV

KITTI 数据集（KITTI Vision Benchmark Suite）

• 发布机构：卡内基梅隆大学KIT和美国TTI-Chicago联合发布（Andreas Geiger等）。
• 支持任务：支持丰富的计算机视觉任务，包括立体视觉、光流估计、视觉里程计/SLAM、2D/3D目标检测、3D目标跟踪、道路分割、语义分割等。它是自动驾驶领域早期最具影响力的数据集之一。
• 传感器与标注：数据采集车配备双目摄像头（高分辨率彩色和灰度摄像机各一对）以及Velodyne HDL-64E激光雷达和GPS/IMU定位系统。图像分辨率约 $$1242\times 375$$，激光点云约每帧10万点。提供精确标注，包括图像上的2D边界框、3D边界框及物体3D轨迹、每像素语义标签等（不同子集任务各异）。例如，物体检测数据集有7481张训练图片和7518张测试图片，包含约80,000个标记目标（汽车、行人、自行车等）；跟踪数据有21段序列。
• 数据格式：KITTI采用自定义文件结构。图像以PNG格式存储，激光点云以每帧二进制.bin文件存储（每个激光点包含XYZ坐标和强度）。每帧图像都有对应的标注文本文件，每行描述一个目标的类别（如Car、Pedestrian等）、截断率、遮挡程度、观测角度α、2D边界框坐标，以及3D边框尺寸和在相机坐标系下的位置和朝向等。此外提供相机和雷达的标定文件（calib.txt）包含投影矩阵、激光雷达到相机的外参、IMU到激光的外参等。对于序列数据，轨迹标注以XML存储。官方还提供开发工具读取这些格式。
• 数据规模：KITTI整体包括约2小时驾驶数据的原始录制（21个训练序列，等于约44000帧）。2D/3D检测基准使用其中拍摄的约1.5万张图像；语义分割子集有200张带像素标签的图像等。场景涵盖城市街道、农村道路和高速公路，多至每张图像15辆车、30名行人。
• 工具支持：官方提供开发套件(devkit)（C++/Matlab代码）用于读取数据和评估算法。第三方也有将KITTI转换为COCO、ROS bag等格式的工具。众多开源库（如MMDetection3D等）均内置对KITTI格式的支持。
• 适用场景：白天晴朗条件下的德国城市 (Karlsruhe等) 及郊区、高速环境。由于数据来自真实驾驶，包含动态交通参与者和复杂背景，被广泛用于验证计算机视觉算法在真实世界中的性能。

Cityscapes 数据集

• 发布机构：由戴姆勒和Max Planck研究所等合作发布，旨在评估城市街景的语义理解。
• 支持任务：主要用于语义分割、实例分割和全景分割等像素级理解任务，也可用于评估目标检测（通过从分割掩膜生成边框）和车道检测等。Cityscapes定义了30类城市物体（19类用于评估，如道路、行人、车辆等）。
• 传感器与标注：使用安装在汽车上的立体相机拍摄，实际标注仅使用左侧摄像头图像。图像为 $$2048\times 1024$$ 分辨率的彩色JPEG/PNG。每张图像都提供逐像素人工语义分割标注，包括像素级类别ID和实例ID。标注以两种形式提供：彩色的标签图（每像素以预定义颜色编码类别）以及JSON格式的多边形标注（每个对象的分割轮廓、多边形坐标和类别标签）。也提供相机校准和原始未畸变的立体对，用于立体视觉研究。
• 数据规模：包含来自50个不同城市的多段驾车视频中选取的5000张高分辨率帧并进行了精细标注，其中训练集2975张、验证集500张、测试集1525张。此外还有约20,000张较粗标注(coarse annotations)的图像用于非严格评测。数据涵盖白天城市各种天气和季节，具有较高多样性。
• 工具支持：官方提供了用于评估分割性能的脚本和API。标签格式与COCO panoptic格式兼容，也有转换脚本。许多深度学习框架（如Detectron2、MMDetection等）能直接加载Cityscapes格式数据。
• 适用场景：城市街道场景（德国等欧洲城市），包含多种道路类型、建筑风格、交通密度和天气情况，但主要是白天影像。由于没有激光雷达等传感器数据，Cityscapes主要用于评测计算机视觉算法对复杂城市街景图像的理解能力。

BDD100K 数据集（Berkeley DeepDrive 100K）

• 发布机构：加州大学伯克利视觉中心与NextVision等合作发布，是目前规模最大的开放驾驶视频数据库之一。
• 支持任务：BDD100K提供10种任务的标注，用于异构多任务学习研究。主要包括：图像全局标签分类（天气、时间等条件）、车道线检测、可驾驶区域分割、道路目标2D检测、语义分割、实例分割、多目标跟踪（MOT）、多目标分割跟踪(MOTS)、域适应以及模仿学习（根据视频和轨迹学习驾驶策略）。这些丰富任务可以对算法的综合感知能力进行评估。
• 传感器与标注：数据主要来自装有前向摄像头的车辆（部分由手机记录）。视频分辨率 $$1280\times 720$$（720p），帧率30fps，单段约40秒。每段视频伴随粗略GPS/IMU轨迹（记录于手机）用于提供路径信息。标注方面，每个视频第10秒的帧被选为关键帧进行了详细标注：包括道路物体的2D边界框（一张图约有超过1百万个汽车实例遍及全集）、可驶区域以多边形/分割掩码标注（区分本车道直行区域和可并入的区域）、车道线（区分纵向/横向、实线/虚线等属性）、以及全图的精细实例分割标注（约1万张关键帧有像素级实例分割）。还有部分视频序列提供逐帧标注用于跟踪任务。标注文件采用JSON格式组织，每张图像的所有标签（边界框坐标、类别、实例ID等）存储在对应条目中，也提供COCO格式转换。
• 数据规模：BDD100K含100,000段约40秒的视频，总计约1200小时、超过1亿帧图像数据。关键帧精细标注的图片100k张（对应每段视频一张）。其中10k张有全像素实例分割。跟踪数据集中，提供了1400段视频的逐帧检测/分割标注用于MOT/MOTS挑战。数据覆盖美国不同地区，包含多样天气（晴天、阴雨等）和昼夜环境，场景多样（城区、郊区、高速等），旨在提高模型对长尾和复杂环境的鲁棒性。
• 工具支持：官方提供bdd100k工具包（Python）用于加载、可视化和评估各任务。其中包含将标注转换为常见格式（如COCO、YOLO）的脚本。评测平台（如EvalAI）也有BDD100K各任务的排行榜。
• 适用场景：美国各地的真实驾驶视频，涵盖城市街道、高速公路等，一定程度代表了北美驾驶环境的多样性。BDD100K适合研究多任务联合学习，以及在**复杂环境（不同天气、夜晚）**下的算法性能，是当前自动驾驶感知算法通用性测试的重要基准之一。

ApolloScape 数据集

• 发布机构：百度Apollo团队发布的开源数据集集合，包含真实数据和合成数据，聚焦自动驾驶的多种感知和定位任务。
• 支持任务：ApolloScape提供多子数据集，涵盖：逐像素语义分割（街景图像每像素类别标注）、实例分割、车道线检测、立体视觉(含双目图像和视差图)、自车定位（基于语义地图和传感器融合）以及3D目标检测与跟踪等。其中3D检测跟踪Benchmark提供带3D框标注的点云序列，用于评测多目标3D检测和轨迹跟踪。ApolloScape还发布了大规模合成数据集用于训练。
• 传感器与标注：ApolloScape的数据来源多样：主要包括车载摄像头视频（高分辨率RGB图像序列）以及部分激光雷达点云和高精地图。例如，分割数据集中，车辆搭载环视相机在北京等地收集了超过14万张高清街景图像，每张都有逐像素语义类别（共25类）和实例ID标注。此外ApolloScape提供激光雷达点云序列（双Velodyne激光雷达收集）：训练集约53分钟、测试集50分钟，激光点云频率10Hz、标签频率2Hz。每帧激光点云的3D标注采用PCD或二进制bin格式存储，标签以文本文件给出每帧中各目标的3D边界框中心位置（x,y,z）、尺寸、航向角以及目标ID和类别。类别涵盖车辆、行人、自行车/摩托等5大类。ApolloScape还提供了相机与IMU/GPS融合的车辆精确位姿，用于定位任务。
• 数据规模：ApolloScape语义分割数据在不同城市、天气下采集，规模比同类数据集大15倍以上。例如其像素级分割包含140,000+张图像（来自多地点、多时段视频）。3D激光雷达检测跟踪数据约100分钟驾驶（划分为若干1分钟序列），训练集中含约53段序列共数万帧点云，测试有50段序列。定位数据提供每帧高精位姿及完整的带语义标注3D环境点云地图。
• 工具支持：ApolloScape针对不同任务提供了单独的下载和评价脚本。例如有用于评测3D检测的评估代码（与KITTI评价标准类似）。同时Apollo开放平台提供Apollo仿真器等工具，可使用ApolloScape数据测试规划和控制算法。由于格式多样，一些第三方也提供数据解析代码（如ApolloScape转KITTI格式工具）。
• 适用场景：主要为中国城市道路，尤其是北京繁忙交通环境。包括白天与夜晚，不同光照和车流条件下的城区道路（车辆、行人密集）。ApolloScape在中国路况下提供了丰富训练数据，适合研究多传感器融合感知（摄像头+激光+IMU）以及多任务联合（如将定位和分割结合）的算法。

nuScenes 数据集

• 发布机构：由新加坡初创公司 nuTonomy（后并入Motional）发布（2019年），这是首个提供完整多传感器套件数据的大规模自动驾驶数据集。
• 支持任务：nuScenes支持3D目标检测、3D目标跟踪、姿态估计，并扩展有轨迹预测（nuScenes Prediction）和激光点云分割（nuScenes-lidarseg）等任务。官方提供检测和跟踪Benchmark，以及地图语义理解任务。
• 传感器与标注：采集车配备完整传感器套件：包括6个RGB摄像头（环视布局，12Hz采样，分辨率 $$1600\times 900$$）覆盖360°视野；1个32线激光雷达（Velodyne HDL-32E，20Hz，70m探测范围）；以及5个雷达（前后左右，共13Hz）；另有GPS/IMU用于精确定位。数据以场景为单位组织，每个场景约20秒。nuScenes提供每个场景内关键帧（每0.5秒）上的人工标注：包括车、行人等10类移动体的3D边界框（注：v1.0共23类，其中一些细分类整合评估时计为10类）及其跟踪ID。每个标注帧同时包含同步的6路图像、激光点云和雷达数据。另有高清矢量地图（车道、停止线等）供结合预测和规划使用。
• 数据格式：nuScenes采用数据库式JSON文件描述元数据。文件夹组织包括：samples/存关键帧各传感器数据（图像为JPEG，激光点云为二进制.bin或.pcd，雷达为.pcd），sweeps/存储非关键帧数据，maps/含地图图像。标注以多张JSON表格给出：如sample.json列出所有关键帧及所属场景，sample_data.json列出每个传感器数据文件及对应时间戳，sample_annotation.json列出每个关键帧中的3D框标注（位置、尺寸、类别、旋转等），instance.json包含每个实例的ID及类别等。通过官方Python SDK可以方便地查询数据关联，如从图像检索对应3D标注框、获取时间序列数据等。
• 数据规模：nuScenes v1.0包含1000个场景（新加坡、波士顿各一半），每场景20秒。总计140万张图像，39万帧激光雷达点云，140万帧雷达数据。标注在每个场景的关键帧（2Hz）上，总计40,000帧关键帧带有约110万个3D边界框。另外nuScenes-lidarseg对关键帧激光点云进行了逐点语义标注（32类，共14亿个点）。
• 工具支持：官方提供nuScenes-devkit（Python库），支持数据加载、可视化、评估等功能，并内置常用转换（如将3D框投影到摄像头图像）。官网还提供在线Leaderboard评测。许多开源框架（Detectron2、MMDetection3D等）支持直接读取nuScenes数据格式。
• 适用场景：繁忙都市交通环境，采集自新加坡和美国波士顿的城区道路，包含密集交通参与者、行人、自行车等以及复杂天气（雨后路面、水坑）和夜间场景。nuScenes在自动驾驶感知领域引入了多模态传感器数据，对于研究传感器融合（摄像头+激光雷达+雷达）以及长时间序列跟踪和预测具有重要价值。

Waymo Open Dataset

• 发布机构：Waymo（谷歌/Alphabet自动驾驶公司）于2019年发布，并持续更新扩展。Waymo Open Dataset由感知、运动（预测）和端到端驾驶三大子数据集构成。
• 支持任务：涵盖3D检测、2D检测（从3D框投影）、多目标跟踪、域适应，以及运动预测（轨迹预测）和主动规划等。具体包括：感知数据集提供3D带跟踪ID的边界框，可用于检测和跟踪挑战；运动数据集包含丰富的动态对象轨迹及地图，用于行为预测任务；端到端驾驶数据集则用于评估从感知到规划控制的全流程（有摄像头图像和高层次导航指令）。此外Waymo还发布了视频Panoptic分割、关键点姿态（行人、自行车关键点）等标注，支持多元感知任务。
• 传感器与标注：Waymo采用多传感器融合平台。感知数据包括5台摄像头（车顶环视，涵盖前、后、侧方，广角成像）和5个激光雷达（1个车顶中程激光雷达，4个车身周围短程激光雷达）。激光点云频率10Hz，摄像头帧率同步10Hz，时序对齐。还记录车辆的GPS/IMU信息和高清地图。感知数据集中，每段约20秒的场景被采样为帧序列并配有逐帧3D标注：包含车辆、行人、骑行者、交通标志共4类的3D框（总计约1260万标注框）及跟踪ID；还有2D边界框（投影后人工校正，约1180万个）、激光点云语义分割（23类，1150段序列）、图像全景分割（100k张图像，28类），以及行人关键点（14个关键点，2D和3D）等多种注释。运动数据集则自动提取并标注了动态物体轨迹（带跟踪ID的时空序列）、对应场景下的3D地图元素（车道、路沿、停牌等）和交通灯状态。
• 数据格式：Waymo数据通过二进制TFRecord文件发布，每个文件包含一段20秒场景的数据。内部使用Protobuf定义的数据结构，如帧消息包含该帧下所有相机图像（JPEG）和激光点云（以车体坐标系组织的激光点列表）、标注3D框、2D分割mask、车辆姿态、地图元素等。官方提供TensorFlow API和Open Dataset SDK来解析这些TFRecord。最新版本感知数据还引入模块化格式：预先裁剪的物体点云和图像patch，可选择下载。对于预测任务，数据采用JSON或Protobuf记录轨迹和地图信息。
• 数据规模：Waymo感知数据v1.4包含2030段20s场景（约39万帧，行驶里程数千公里），多样化地采集于美国6个城市（亚利桑那、加州等地，不同天气与环境）。运动预测数据集规模更大，提供103,354段场景（每段20秒，574小时驾驶数据，总计超2000万帧）。这些场景经过筛选，包含有意义的交互和稀少情况。端到端数据集有5000段场景，包含图像和高层指令。
• 工具支持：Waymo官方GitHub提供开放数据集开发包（Python）和示例教程，可用于转换数据、可视化和评估检测精度等。官方还举办挑战赛评测3D检测和预测任务。由于采用TFRecord格式，第三方也提供了将Waymo数据转为KITTI格式的脚本，方便使用流行框架。
• 适用场景：涵盖多种城市场景（市区、郊区、高速）和天气条件（晴天、雨天、日夜）。Waymo数据集规模空前，标注密集高质，被认为是具挑战性的真实分布数据。适合用来训练激光-视觉融合检测模型和轨迹预测模型，也是验证自动驾驶全栈算法（从感知到规划）的宝贵资源。

Lyft Level 5 数据集

• 发布机构：Lyft自动驾驶部门(Level 5，后属丰田Woven Planet)于2019年开放。该数据集被称为Level 5 Perception数据集，并在2019年NeurIPS举办了配套挑战赛。
• 支持任务：支持3D目标检测、3D目标跟踪、道路可行驶区域分割、场景语义理解等感知任务，以及运动预测（后续衍生的预测挑战）。研究者可用其进行多模态感知算法开发，如摄像头-激光雷达融合检测、利用HD地图进行感知等。Lyft也提供了车道级高清地图，可用于路径规划和行为决策研究。
• 传感器与标注：Lyft的数据采集车搭载7个摄像头（环视覆盖360°）以及最多3个激光雷达（车顶1个64线主雷达，车身四周最多另外2个补盲区雷达）。同时记录有GNSS/IMU用于车辆姿态。该数据采用并兼容nuScenes的格式：即有与nuScenes相同的6路摄像头和1路主激光雷达数据结构；Lyft额外的激光雷达数据也集成在格式中。每个场景约25秒，被标注关键帧上的3D边界框（55,000帧人工标注的点云）。共标注了超过55,000个3D框架（约涵盖1.3M个3D边界框实例）。类别包括车辆、行人、自行车等，与nuScenes类别体系相兼容。数据还提供高清语义地图，包含道路拓扑、可驾驶区域、车道线和人行横道等。
• 数据格式：Lyft使用nuScenes JSON数据库格式存储数据。下载后包含与nuScenes相似的文件结构（camera_images、lidar点云文件以及若干.json文件）。通过官方提供的Lyft SDK（改自nuScenes devkit）可以方便地加载数据、投影和可视化3D框。标注文件如sample_annotation.json中记录每个3D边界框的参数（位置、尺寸、旋转）和所属instance。还提供地图数据的接口用于结合感知。
• 数据规模：原始发布包含约366个场景（训练/验证集）共约55k帧关键帧标注数据。这些场景总计行驶里程约1700公里，采集自美国旧金山地区，路线涵盖城区和高速等。此外Lyft还发布了预测数据集（约170k个车辆轨迹片段，带地图），用于Kaggle运动预测竞赛。整体而言，Lyft数据集规模略小于nuScenes但标注密度高且有完备地图。
• 工具支持：Lyft提供了L5Kit开发包和示例，用于感知和预测任务的数据处理。L5Kit可以加载Lyft数据并提供如鸟瞰图渲染、采样训练数据等功能。nuScenes社区的许多工具也可直接用于Lyft数据（由于格式类似）。
• 适用场景：美国城市街道（主要是旧金山）的真实驾驶，在高密度城市交通下采集。环境包含繁忙的十字路口、坡道、拥堵路况等。数据特别适合用来研究自动驾驶在城市复杂路况下的多传感器感知，以及结合高精地图进行环境理解和运动预测。

Argoverse 数据集 (Argoverse 2)

• 发布机构：Argo AI公司发布（第一版2019，第二版2021）。Argoverse数据集突出高清地图和多传感器数据的开放共享。最新版Argoverse 2包含四个子数据集：

  • 传感器数据集（Sensor Dataset）：1000段带注释的多传感器驾驶序列，用于3D检测和跟踪。
  • 运动预测数据集（Motion Forecasting）：25万个带轨迹的场景片段，用于轨迹预测。
  • 激光雷达未标注数据集：20000段激光雷达序列，无标注，用于自监督或预训练。
  • 地图变化数据集：1000个场景，其中200个包含地图环境的变化，用于研究地图动态更新。

• 支持任务：Argoverse涵盖3D目标检测/跟踪（传感器数据集作为3D Tracking任务基准）和运动行为预测（轨迹预测基准），以及自行车车道变化检测等地图相关任务。常用的评测是3D检测/跟踪精度和多目标轨迹预测误差。

• 传感器与标注：数据由Argo AI的福特Fusion自动驾驶车队采集。车顶集成9台摄像头（7个环视摄像头，水平视场360°，外加前向立体对，共20Hz同步）和2台高分辨率激光雷达（车顶前后各一台Velodyne VLP-32C，总64束，10Hz）。相机分辨率高达 $$2048\times 1550$$，前视相机为纵向长宽比以扩展垂直视野。激光雷达在10Hz旋转下，每帧约10.7万点。传感器经过精确时间同步，相机曝光对齐激光扫描。每段序列约15秒，包含_{150帧激光雷达和}2700张图像。标注提供3D边界框轨迹（30类，包括车辆、行人、自行车、交通锥等）。每个目标以3D盒形式标注位置（以车辆坐标系）、尺寸和四元数表示的旋转。所有帧都给出自车的6自由度姿态（城市坐标系）用于运动补偿。高清地图以统一格式提供：包含车道多段线、边界、停车线、立交等丰富矢量信息。运动预测数据则基于真实驾驶轨迹提取：每个场景包含带时间戳的多智能体轨迹以及对应的局部地图环境。

• 数据格式：Argoverse 2采用Apache Parquet/Feather等列式存储格式提供标注和元数据。每个序列一个文件夹，包含annotations.feather（包含所有标注3D框的信息表）、poses.feather（自车轨迹姿态表）、以及每相机的图像序列和融合后的激光雷达点云（激光雷达两个传感器数据已对齐合并）。相机和激光雷达的标定参数亦提供为feather文件。运动预测数据使用CSV或JSON记录每个参与者的轨迹坐标序列及其类别。Argoverse提供Python API可方便加载数据和地图，并进行可视化。

• 数据规模：传感器数据集总计1000段日志，约4.2小时驾驶数据，文件总量1TB+。每段约15秒，行驶距离多在几十到上百米不等，覆盖6座美国城市（迈阿密、奥斯汀、匹兹堡、底特律、帕洛阿尔托、华盛顿特区）。预测数据集有25万个5秒场景（含350万+轨迹），分布于上述城市。地图涵盖城市数百平方公里路网。

• 工具支持：Argoverse官方提供argoverse-api Python库，支持载入3D框、轨迹和地图，并含示例代码（如投影点云到图像）。其评测KIT也实现了预测和检测任务的评估指标。Argoverse数据被广泛整合到学术工具中，例如trajectory-forecasting基准代码和Open3D的点云可视化等。

• 适用场景：美国典型城市街道，包含繁忙市中心、郊区干道等，多样化的道路类型（单行道、多车道、高架等）和交通要素。特别地，Argoverse的高精地图使其非常适合研究将地图信息融入感知和预测的问题；同时多城市数据也有利于研究模型的跨域泛化。对于需要利用地图的轨迹预测和有地图先验的3D检测任务，Argoverse是主流选择之一。

Audi A2D2 数据集

• 发布机构：德国奥迪公司于2019年开放的多传感器自动驾驶数据集，全称Audi Autonomous Driving Dataset (A2D2)。
• 支持任务：包含3D物体检测与跟踪标注以及语义分割标注，可用于研究图像和点云的检测、分割，以及多传感器融合感知。特别地，A2D2同时提供点云上的三维标注和对应相机图像的像素级标签，使其适合多模态语义理解（将图像与点云结合）。
• 传感器与标注：测试车配备6台摄像头（覆盖360°环视，其中前后各1个广角摄像头、左右各1个后视镜摄像头，以及两个侧视摄像头）和5个激光雷达（车顶4角和中部，总360°视野）。摄像头像素约 $$1920\times 1280$$。A2D2的数据按帧提供，对于每一帧，有同步的6张图像和5组激光点云以及车辆CAN总线信息（速度、转角等）。标注包括：图像的逐像素语义分割（38类，其中包括道路、车道人行道、车辆、行人等）和激光雷达点云的语义分类；以及部分帧提供3D边界框（立方体）注释。3D框标注了车辆、行人等14类对象的位置尺寸和朝向，用于检测评估。值得注意的是，A2D2的语义标注帧并非连续每帧都有，而是对41,280帧画面进行了语义标记，其中12,499帧同时具有对应的3D边界框标注（即不是每张有3D框）。
• 数据格式：A2D2数据按子任务分包提供。图像以PNG格式存储，每帧6张（按相机命名）。点云每帧5个，以二进制或ASCII格式(.pcd/.bin)提供。语义分割标签以图像形式提供：对于图像有同尺寸的PNG语义掩码（像素值表示类别）；对于点云有与每个点对应的语义类别ID文件或直接在扩展的PCD里附加类别字段。3D边界框标注提供JSON或CSV文件，每帧列出所有标注框的参数（位置、尺寸、类别）。还有一个车辆信息日志给出了每帧时间戳及车辆运动数据。官方提供了读取教程和将数据转换为OpenLabel格式的说明。
• 数据规模：原始数据约2.3TB，其中标注帧共约4万帧。数据采集自德国3座城市的不同道路，包括慕尼黑、英戈尔施塔特等（城市名未在引用中直接给出，但有提及3城市）。场景涵盖高速公路、郊区和市区，包含晴天和多云等天气条件（无恶劣天气）。
• 工具支持：A2D2官网提供了数据解析的示例代码和点云可视化工具。Amazon等也集成了A2D2用于自动标注服务的教程。研究者常将其转换为通用格式使用，例如KITTI格式以利用现有模型。
• 适用场景：德国本土道路，既有城市街景也包含高速场景。由于A2D2提供摄像头和激光雷达的同步标注，非常适合研究跨模态感知（例如利用图像分割增强点云检测）。其分割标注细致，适用于训练语义分割和构建高精地图等应用。但数据集中没有夜间或恶劣天气，主要用于白天晴好条件下的自动驾驶感知研究。

PandaSet 数据集

• 发布机构：由中国激光雷达厂商Hesai科技与Scale AI合作发布（2020年），是首个允许商业用途的开源自动驾驶数据集。名字PandaSet取自Hesai Pandar系列激光雷达。
• 支持任务：PandaSet提供3D目标检测/跟踪和点云分割等任务标注。涵盖车辆、行人、自行车、交通标志等共28类目标的3D框跟踪标注，以及地面、建筑、植被等共37类的激光点云语义分割标注。可用于研究多类别目标检测、语义地图构建等。
• 传感器与标注：数据车配备两台高性能激光雷达：一台Hesai Pandar64（64线机械式激光雷达），一台Hesai PandarGT（固态混合式激光，用于补充近距）；以及若干摄像头（前向和环视RGB相机，具体数量未在引用中，但通常约6个摄像头）。数据在硅谷实际道路采集，共选择了两条典型路线的100多个场景。每个场景约40秒，包含激光雷达点云序列和相机图像序列。标注在这些场景的关键帧上，以3D边界框格式给出所有28类动态物体的位置和大小（带跟踪ID），并对激光点云中每个点打上37类语义标签（区分道路、车道线、障碍物等）。相机图像用于辅助但未提供像素级标注。
• 数据格式：PandaSet提供**开发套件(devkit)**读取数据。原始数据以序列文件夹组织，包括激光雷达点云(.pcd文件，每帧)和相机图像（JPEG）以及标注JSON文件。标注JSON中包含每个激光帧的3D检测框列表（坐标、尺寸、类别）和点云分割类别结果。由于允许商业用途，PandaSet对数据使用CC BY 4.0协议。
• 数据规模：共107个场景，平均每个场景约40秒，总计约4.3万帧激光雷达点云和对应图像。地理范围涵盖美国硅谷城区的两条路线，一个为市区街道，一个为近郊道路。拍摄条件包括白天晴天和部分多云天气，没有恶劣条件。
• 工具支持：官方devkit提供Python API，可一键加载整个序列到内存进行处理。另外Hesai官方提供了一些解析代码。由于PandaSet格式与nuScenes相似，社区也开发了将PandaSet用于Open3D、ROS等环境的接口。
• 适用场景：美国加州城市道路，交通适中，包含正常驾驶情形。PandaSet的价值在于提供高质量点云（Hesai激光雷达精准度高）并标注了丰富静态和动态目标，用于研究点云理解特别是语义分割和目标检测。其商业友好的许可使其在工业界验证算法也具有吸引力。

nuPlan 数据集

• 发布机构：由Motional发布（2021年起），这是首个面向自动驾驶规划的大规模真实数据集和基准。nuPlan的目标是推动基于学习的决策与规划研究，它结合了大规模驾驶日志与闭环模拟评测框架。
• 支持任务：nuPlan聚焦于自动驾驶路径规划和决策任务。它提供开放环路(open-loop)评测，即给定场景历史轨迹预测未来规划，以及闭环模拟(closed-loop)评测，将学习规划器置于模拟环境与其他交通体交互，考察其安全性和鲁棒性。nuPlan也涵盖感知/预测子任务作为辅助（例如利用自动标注的轨迹训练预测模型），但核心是评估终端规划结果（路线、速度曲线）的质量。
• 传感器与标注：nuPlan的数据来自Motional在美国和新加坡的测试车队。每条驾驶记录包含与Motional先前数据（nuScenes）类似的多传感器数据：环视摄像头、激光雷达等。然而，为减小手动标注成本，nuPlan采用自动标注：借助强大的离线感知算法，将每段驾驶中的其他交通参与者轨迹和状态离线提取标注为高精度轨迹（“object tracks”）。同时结合高清地图，提供如车道拓扑、交通信号灯状态（亦通过感知自动推断）等信息。每个场景还贴上了语境标签（如“跟车”、“红灯右转”）以便细粒度评估不同情形下规划器表现。
• 数据格式：nuPlan包含128小时的原始传感器数据和1282小时的车辆轨迹数据。数据以片段（scenario）划分，每个scenario带有JSON文件描述：起始于某时刻自车及周围所有车辆、行人一段时间的轨迹（带时间戳和位置，可能5-20秒），以及对应的高精地图片段（车道几何、信号灯位置及相位随时间）。传感器原始数据则为图像序列和激光点云文件，与nuScenes格式类似但仅对128h子集提供。nuPlan还附带模拟器接口：用户的规划算法可以接入官方评测环境，在这些scenario中闭环模拟。官方提供nuPlan SDK，可加载数据并运行内置的评分脚本。
• 数据规模：nuPlan收集于美国拉斯维加斯、匹兹堡、波士顿和新加坡4座城市，共1282小时真实驾驶数据，约1000+公里道路覆盖。其中128小时公开了全传感器数据帧（摄像头+激光），其余部分只提供了自动标注的轨迹和地图（用于训练规划模型）。场景涵盖从稠密城市街区、高速公路到安静郊区道路的各种情况，包括常见和罕见驾驶 scenario（如施工、事故场景等）。
• 工具支持：官方发布了nuPlan库和模拟评测代码。研究者可以用它对比基于规则的规划器和学习规划器的性能差异。nuPlan还提供公共Leaderboard和年度挑战赛（如ICRA学习型规划挑战）。由于nuPlan和nuScenes有渊源，一些nuScenes工具也适用于nuPlan的数据读取。
• 适用场景：nuPlan的数据广泛覆盖城市驾驶复杂场景，尤其注重需要决策权衡的情况（如无保护转弯、避让行人等）。这是首个专门面向规划的大型数据集，适合用来训练和评估机器学习驱动的规划算法，并通过模拟测试其在封闭环路中与环境互动的安全性。对于希望从感知和预测直接学习驾驶策略的研究来说，nuPlan是当前最主要的开源基准之一。

为了便于比较，下面汇总上述主流开源数据集的关键属性：

参考文献： 以上内容综合了公开数据集官网、论文及综述的信息等，涵盖了当前主流的开源自动驾驶数据集及其特点。希望这些对比有助于根据具体研究任务选择合适的数据集。