图片

文末联系小编,获取项目源码

“芯片-算法-方案-应用”的全栈式技术供给,多场景 AI 视觉创新

你是否想象过,一个机器人能用自己的"眼睛"真正地看见你,并与你进行自然的眼神交流?对于机器人爱好者 Will Cogley 来说,这不仅是想象,更是一个他决心攻克的目标。

在 Will 早期的仿生眼球机制获得成功后,许多观众建议他加入摄像头来实现实时的人脸识别与追踪。然而,Will 却有着自己的坚持:"我不喜欢那种机器人装着一对眼球,但真正用来观察世界的设备却像是装在胸口或其他地方的摄像头。" 他的梦想,是打造一个能用自己的眼睛看世界的机器人。

01

方寸之间的精密集成

打造一个能用自己的眼睛看世界的机器人面临着双重挑战:

  • 硬件限制: 如何在极其紧凑的眼球机械结构中,塞入一个高清摄像头?不仅如此,摄像头前方还有瞳孔孔和眼皮等重重遮挡。

  • 软件复杂: 如何从摄像头视频流中实时识别、追踪人脸,并据此精准控制眼球的运动?这对于编程来说是巨大的考验。

好在经过一番搜寻,Will 在 AliExpress 上找到了突破口——一款尺寸极小、能直接嵌入他现有眼球模型的摄像头。只需对眼球进行微调,为摄像头留出空间,并利用瞳孔作为取景孔,再通过背部的卡扣固定,硬件难题便迎刃而解。

图片

图片

图片

图片

02

让眼睛学会思考与注视

Will 选择了谷歌的开源框架 MediaPipe 来快速实现人脸识别功能。MediaPipe是由Google开发的开源框架,支持跨平台部署AI模型,主要应用于实时媒体处理场景。MediaPipe Solutions提供了一套库和工具,可帮助您在应用中快速应用人工智能(AI)和机器学习(ML)技术。您可以立即将这些解决方案插入到应用中,根据自己的需求进行自定义,并在多个开发平台上使用它们。MediaPipe Solutions 是MediaPipe 开源项目的一部分,因此您可以进一步自定义解决方案代码,以满足您的应用需求。MediaPipe Solutions 套件包括以下内容:

图片

  • 摄像头捕捉实时画面。

  • 程序计算人脸与画面中心的 X、Y 轴偏移量。

  • 将这个"误差"信号发送给控制板。

  • 控制板驱动眼球运动,努力将误差减小到零,从而实现"注视"。

然而,让机械运动显得自然绝非易事。Will 经历了三个主要的调试阶段:

  • 速度失衡: PC 处理太快,微控制器跟不上指令流。解决方案: 限制指令发送频率,并让控制器只处理最新指令。

  • 眼球抖动: 微小的移动导致眼球在中心点附近高频震颤。解决方案: 设置"死区",中心点附近的小范围偏移不触发运动。

  • 过度摆动: 眼球在目标点附近来回振荡。解决方案: 加入"平滑处理",大误差时快速移动,小误差时缓慢移动,防止过冲。

从眼睛到全身:赋予机器人自然的互动行为

拥有了会看的眼睛后,Will 更进一步,为机器人设计了可动的脖颈和身体。但新的问题出现了:如果脖子总是带着眼睛直接对准人,那眼球的运动就失去了意义。

Will观察了人类的自然行为:通常是眼睛先快速瞥向感兴趣的事物,确认后头部才随之转动。据此,他设计了一套巧妙的逻辑:眼睛始终处于活跃状态,实时追踪人脸。头部和身体则不会立即跟随。只有当眼睛偏离中心位置并持续一段时间(如1500毫秒)后,身体才会运动,将眼睛"带回"居中位置。

这种延迟响应完美模拟了"先眼动,后头动"的人类习性,让机器人的凝视变得无比自然和逼真。

Will 还为这个精密机械穿上了一件"可爱"的外衣——一个颇具高达风格的机器人外壳。他坦言,自己的宏伟逼真机器人头部项目虽然受欢迎,但过于复杂和昂贵,难以普及。

他未来的方向很明确:创造同样具有个亲和力、诡异感,但更易于构建和优化的中小型机器人。 将这种嵌入式视觉系统融入他的超逼真眼睛,是他的下一个目标。

Will Cogley 的探索告诉我们,机器人的"灵魂"不仅来自于高度的拟真,更来自于那些模仿生命规律的、细腻的交互行为。真正的眼神交流,或许正是打开人机情感共鸣大门的第一把钥匙。


如有IoT 源码采购和项目交付需求,请扫码联系小编,微信号: beacon0418

图片

往期推荐

乐鑫ESP32+豆包智能AI聊天机器人

一周赚2万,搞定智慧农业项目交付

源码交付 IoT智慧水务、污水处理

这才是老板想要的IoT可视化大屏

上班摸鱼, 智能AI 监控老板行踪

图片

图片

免责声明:本公众号所发布的内容来源于互联网,我们会尊重并维护原作者的权益。由于信息来源众多,若文章内容出现版权问题,或文中使用的图片、资料、下载链接等,如涉及侵权,请告知我们,我们将尽快处理。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐