1  学习计划

1-1 全部学习计划：

https://datawhaler.feishu.cn/wiki/QIE7wsNI2iqb91k5kR8c3L1in6e

Task05：前沿具身智能项目复现

无人机多模态实践（优先完成作业）

every-embodied/13-机器人多模态大模型基础实践/无人机大模型+Groundingdino实践/无人机多模态大模型.md at main · datawhalechina/a

对应仿真器下载链接(windows)：

https://huggingface.co/datasets/Datawhale/house_win

1.课程07-机器人仿真工具和benchmark：该章节涵盖了 Isaac Sim、MuJoCo 等主流仿真器的配置与使用。

every-embodied/07-机器人仿真工具和benchmark/Isaac-GR00T at main · datawhalechina/every-embodied

2.课程09-其他前沿项目复现：该章节涵盖了“前沿具身智能项目复现”。

every-embodied/09-其他前沿项目复现 at main · datawhalechina/every-embodied

2  优先完成作业

无人机多模态实践（优先完成作业），由于教程有更新，正确的链接如下：

every-embodied/13-其他前沿项目复现/无人机大模型+Groundingdino实践/无人机多模态大模型.md at main · datawhalechina/every-embodied

不得不说，每次的环境配置真的很头疼，错误一大堆！下面说说这次的问题：

2-1 教程内容①：

4. GroundingDINO

安装参考链接：https://github.com/IDEA-Research/GroundingDINO?tab=readme-ov-file

从github中克隆GroundingDINO项目

git clone https://github.com/IDEA-Research/GroundingDINO.git

问题点：这个问题不大，主要是时间比较久。执行git clone时第一次会超时失败，再执行第二次时，秒成功。

2-2 教程内容②：

进入GroundingDINO文件夹

cd GroundingDINO/

在这个文件夹中安装所需要的依赖

pip install -e .

问题点：这里安装环境报错，将torch删除也没安装成功，放弃了！

2-3 教程内容③：

下载预训练模型权重

mkdir weights
cd weights
wget -q https://github.com/IDEA-Research/GroundingDINO/releases/download/v0.1.0-alpha/groundingdino_swint_ogc.pth
cd ..

问题点：wget无法运行，不清为什么。

但是有代替方法，就是将下面地址用浏览器打开，使用下载器下载很快就完成了。

https://github.com/IDEA-Research/GroundingDINO/releases/download/v0.1.0-alpha/groundingdino_swint_ogc.pth

2-4 教程内容④：

5. Airsim环境

Airsim环境直接可以运行env中的House.exe文件

下载路径https://huggingface.co/datasets/Datawhale/house_win

问题点：由于没有使用过这个页面，进入页面后不知道该如何下载！！教程中如有截图提示效率就更好了，琢磨下载方法花了些时间。

2-5 教程内容⑤：

6. Gradio安装

可以直接使用pip进行安装

pip install --upgrade gradio

问题点：安装报错“没有匹配的版本”，指定版本安装成功了。

pip install --upgrade gradio==4.44.1

2-6 教程内容⑥：

问题点：执行后显示的是一辆车，没有无人机模型加载进去，不知道是不是没安装成功环境导致的？

我运行house.exe后的画面，是这样的：

2-7 教程内容⑦：

问题点：没找到main_gradio.py这个文件。代码详解的代码文件是哪个一个也不清楚！

项目总结：

        这个项目的理论知识对于我来说还是太难了，模拟器的运行环境搭建也不容易。教程的内容很多，需要学习的时间也同样很多。这次项目没有完成的很好，希望后面有时间多学习几次，最终把项目完成的很好！不得不说，这次学习的收获也是很大的。算是入门了吧，为以后的学习奠定了基础。