前言:作为智能驾驶领域的感知测试人员目前只接触到了感知评测,方案是传统的感知-预测-规划-控制模式。现在随着AI大模型的发展,个人认为智驾未来的发展方向是端到端大模型,并且我对世界模型和VLA比较感兴趣,因此写这篇笔记去记录学习过程。

世界模型

1. 了解发展过程

世界模型 (World Models) 必读论文_世界模型论文-CSDN博客

1.1 阅读RNN规划的奠基性论文

Jürgen Schmidhuber在1990年发表的技术报告《Making the World Differentiable: On Using Self-Supervised Fully Recurrent Neural Networks for Dynamic Reinforcement Learning and Planning in Non-Stationary Environments》(简称FKI-126-90报告)

1.2 阅读Sutton (1990) - Dyna架构

论文笔记:Dyna, an Integrated Architecture for Learning, Planning, and Reacting_dyna论文详解-CSDN博客

1.3 阅读《World Models》 (Ha & Schmidhuber, 2018)

论文阅读_世界模型_world model论文-CSDN博客

1.4 阅读PlaNet (Hafner et al., 2018)

强化学习论文(5): Learning Latent Dynamics for Planning from Pixels-CSDN博客

【论文笔记】Learning Latent Dynamics for Planning from Pixels-CSDN博客

1.5 阅读Dreamer系列

Mastering diverse control tasks through world models(论文精读)-CSDN博客

1.6 阅读MuZero (DeepMind, 2020)

‌《Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model》

https://zhuanlan.zhihu.com/p/22069559018

1.7 阅读LeCun的白皮书 (2022)

A Path Towards Autonomous Machine Intelligence Version(文章精读)-CSDN博客

1.8 阅读V-JEPA (Meta, 2024)

JEPA-VLA:视频预测嵌入如何革新机器人视觉-语言-动作模型_vla-jepa模型论文-CSDN博客

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐