📌 Multi-modal Sensor Array Fusion Technology and Perception System for Robot Foot Sole Authors: Chen Weidong, Chen Baolong | RobotSole RobotS… —— RobotSole 机器人足底技术Multi-modal Sensor Array Fusion Technologyand Perception System for Robot Foot SoleAuthors: Chen Weidong, Chen Baolong | RobotSoleRobotSole | www.robotsole.comMulti-modal Sensor Array Fusion Technology and Perception System for Robot FootSoleAuthors: Chen Weidong, Chen Baolong | RobotSole机器人足底多模态传感阵列融合技术与感知系统研究摘要针对机器人足底多维感知能力不足的问题，本文提出一种融合压力、温度和振动信息的多模态传感阵列设计方法。机器人足底与地面的交互过程涉及力学、热学和振动等多物理场的耦合作用，单一物理量的感知难以全面描述复杂的足-地交互过程。将多模态传感阵列集成于足底，构建高密度、高可靠的感知系统，是提升机器人智能水平的重要途径。在传感阵列设计方面，采用碳纳米管/聚二甲基硅氧烷复合材料设计柔性压阻式压力传感器，采用石墨烯/聚二甲基硅氧烷复合材料设计柔性热敏传感器，采用微型MEMS加速度计设计振动传感器，三种传感器构成互补的三模态传感网络。在传感阵列布局方面，设计了96个压力传感点、16个温度传感点和4个振动传感点的空间分布方案，压力传感点采用12×8网格布局以实现全场压力监测。在数据采集方面，设计了星型拓扑的数据采集架构，各模态传感器信号通过独立采集通道同步采样，确保时序一致性。在传感信息融合方面，基于贝叶斯推理框架实现了多源传感信息的概率融合，建立了足-地接触状态的多维感知模型，可准确识别接地/离地/打滑等接触状态以及硬质地面/软质地面/湿滑地面等地面材质。制作了多模态智能足底样件并完成了系统性能测试和机器人集成实验。实验结果表明，融合感知系统可准确识别足-地接触状态(准确率98.5%)、地面材质(准确率92.3%)和机器人步态相位(准确率96.8%)，将多模态感知信息应用于步态控制后机器人行走成功率提高35%，能耗降低18%，验证了多模态传感融合技术的有效性。关键词：多模态传感；阵列融合；智能足底；贝叶斯融合；感知系统1 引言机器人与环境之间的感知交互能力是决定其智能化水平的关键因素。对于足式机器人而言，足底与地面的交互过程涉及力学、热学和振动等多物理场的耦合作用，蕴含着丰富的环境信息和机器人状态信息[1-2]。准确获取和利用这些信息，是实现机器人稳定行走、姿态控制和环境适应的基础。 传统的足式机器人主要依赖关节力矩传感器和惯性测量单元(IMU)的信号来估计机器人的运动状态和地面接触情况。这种间接估计方法存在固有局限性：关节力矩信号经过传动机构的摩擦和柔性环节滤波后，响应速度较慢且精度受限；IMU信号只能反映机体整体的姿态变化，难以精确判断单足的接触状态和压力分布。更重要的是，上述传感器无法获取地面温度、质地等与地面材质相关的丰富信息，限制了机器人对复杂环境的全面感知和智能响应。 近年来，多模态传感融合技术在机器人领域得到广泛关注[3-5]。多模态感知通过整合不同物理量的传感信息，可以获得单一模态无法提供的综合环境认知能力。例如，压力分布可以反映接触面积和重心位置，温度分布可以反映地面的热特性，振动信号可以反映地面的软硬程度，将这些信息融合可以更准确地判断地面材质和接触状态。 在多模态感知研究方面，国内外学者开展了大量有益探索。MIT的研究团队将视觉、触觉和力觉信息融合用于机器人抓取操作[6]。日本东京大学的研究者开发了集成触觉和温度传感的机器人皮肤用于人机交互[7]。国内北京理工大学、上海交通大学等机构也在多模态传感融合领域取得了重要进展[8-9]。 综合分析现有研究可以发现，多模态传感融合在机器人领域已有较多应用，但在足式机器人足底感知方面的研究仍相对较少，主要存在以下不足：其一，足底空间有限，多模态传感器的集成密度有待提高；其二，不同模态传感器之间的信息冗余和互补关系尚未系统研究；其三，多模态传感信息的实时融合算法需要针对足底感知场景进行优化。 针对上述问题，本文提出一种融合压力、温度和振动信息的多模态传感阵列设计方法，主要研究内容包括：设计三模态传感器的硬件方案和空间布局；建立多源传感信息的贝叶斯融合框架；开发多通道同步数据采集系统；通过机器人实验验证多模态感知系统的性能。2 多模态传感阵列设计2.1 压力传感阵列设计压力信息是足底感知中最核心的数据，包括压力大小、分布和变化趋势，直接反映足底与地面的接触状态和力学交互特征。 (1) 传感原理与材料 压力传感器采用基于碳纳米管/聚二甲基硅氧烷(CNT/PDMS)复合材料的压阻效应原理。碳纳米管在PDMS基体中形成导电网络，当材料受压发生变形时，碳纳米管之间的接触电阻发生变化，从而实现压力-电信号转换。该材料兼具碳纳米管的优异力电特性和PDMS的的良好柔性，是一种理想的柔性压力传感材料。 实验测定表明，当碳纳米管填充浓度为2wt%时，复合材料的初始电阻约50kΩ，在0~800kPa压力范围内电阻相对变化率与压力呈近似线性关系，灵敏度约0.015kPa�¹。 (2) 阵列布局设计 为实现全足底压力分布的精细感知，设计96个压力传感点组成12×8网格阵列。传感点间距8mm，单个传感点直径6mm。考虑到足底各区域的功能差异，采用非均匀布局策略：前掌区和后跟区传感点间距加密至6mm，中掌区保持8mm间距。(3) 结构设计 压力传感器采用蛇形岛-桥结构(详见第四章相关内容)，保证大变形下的电气连接可靠性。传感器整体厚度约0.5mm，嵌入足底后对整体柔顺性影响较小。2.2 温度传感阵列设计温度信息虽然不直接参与运动控制，但可以作为地面材质识别的重要辅助信息。不同材质地面的热传导特性存在差异，在机器人着地瞬间，足底温度传感器可以检测到不同的温度变化特征，从而辅助判断地面材质。 (1) 传感原理与材料 温度传感器采用石墨烯/聚二甲基硅氧烷(Gr/PDMS)复合材料的热敏电阻效应。石墨烯具有极高的热导率(~5000W/m·K)，少量添加即可显著改变PDMS的热导率。当复合材料与环境温度达到热平衡时，其热导率与温度呈一定函数关系，通过测量复合材料的热阻即可推算温度值。 实验测定表明，在-20~80°C范围内，Gr/PDMS复合材料的电阻温度系数(TCR)约-2%/°C，灵敏度较高。 (2) 阵列布局设计 考虑到温度场在足底区域的空间变化相对平缓，温度传感点数量可相对较少。设计16个温度传感点，均匀分布在足底各区域。传感点尺寸5mm×5mm，相邻传感点间距20mm。 (3) 响应特性 温度传感器的响应时间约300~500ms，主要受传感器与被测表面之间热传导速率的限制。虽然响应较慢，但对于地面材质识别这类慢变过程已足够。2.3 振动传感阵列设计振动信号包含丰富的地面信息：硬质地面的振动频率较高、衰减较快；软质地面的振动频率较低、衰减较慢；不平整地面的振动呈现不规则特征。通过分析振动信号的频谱特征，可以辅助判断地面状态。 (1) 传感原理与器件选型 振动传感器采用MEMS三轴加速度计芯片。相较于压电式或电容式加速度计，MEMS加速度计具有体积小、功耗低、接口简单等优点，更适合集成到足底有限空间中。选用ADXL354三轴MEMS加速度计，量程±16g，带宽0~500Hz，满足足底振动测量需求。传感器尺寸3mm×3mm×1mm，可嵌入足底四角区域。 (2) 阵列布局设计 设计4个振动传感器分布于足底四角位置。这种布局可以同时测量足底的振动信号和振动分布，通过四角振动的相位差可以推算振动来源方向。2.4 传感阵列空间布局传感模态传感点数空间分布传感点间距采样频率压力9612×8网格6~8mm200Hz温度16均匀分布20mm10Hz振动12(4×3轴)四角布置—1000Hz表1 多模态传感阵列参数汇总 图1为多模态传感阵列的空间布局示意图。从图中可以看出，压力传感点占据主体区域，实现全足底覆盖；温度传感点散布于压力传感点之间；振动传感器嵌入足底四角。3 传感信息融合框架3.1 融合架构设计多模态传感信息的融合需要在数据层、特征层和决策层三个层次上进行。 (1) 数据层融合 数据层融合是对原始传感数据进行预处理和同步。不同模态传感器的采样频率不同(压力200Hz、温度10Hz、振动1000Hz)，需要通过时间对齐实现数据同步。采用线性插值方法将各模态数据插值到统一的时间基准上。 (2) 特征层融合 特征层融合是从各模态数据中提取有物理意义的特征，并将特征向量进行融合。压力数据的特征包括：峰值压力、总压力、压力中心位置、压力分布熵等。温度数据的特征包括：平均温度、温度梯度、温度变化率等。振动数据的特征包括：振动幅值RMS、振动主频、频谱质心等。 (3) 决策层融合 决策层融合是基于各模态的独立判决结果进行综合决策。本文采用贝叶斯推理框架进行决策层融合，可以自然地处理各模态传感器的不确定性问题。3.2 贝叶斯融合模型(1) 贝叶斯推理基础 贝叶斯推理的核心是利用已知的先验概率和似然函数，计算后验概率。对于感知问题，设环境状态为S，传感器观测为E，则贝叶斯公式可表示为： $P(S|E)=\frac{P(E|S)P(S)}{P(E)}$其中P(S)为环境状态的先验概率，P(E|S)为给定状态下观测的似然函数，P(S|E)为后验概率。 (2)多模态贝叶斯融合 对于多模态感知问题，设各模态的观测分别为E_1, E_2, …,E_n，则融合后验概率为： $P(S|E_1,E_2,...,E_n)=\frac{P(E_1,E_2,...,E_n|S)P(S)}{P(E_1,E_2,...,E_n)}$假设各模态传感器条件独立，似然函数可分解为： $P(E_1,E_2,...,E_n|S)={\prod }_{i=1}^{n}P(E_i|S)$该假设虽然在实际中不完全成立，但在大多数情况下可以简化计算并获得较好的融合效果。 (3)决策规则 基于后验概率进行决策，采用最大后验概率(MAP)准则： $\hat{S} = \arg\max_{S}P(S|E_1,E_2,…,E_n)$3.3 多维感知模型(1) 接触状态识别模型 接触状态S_c有三个可能的取值：接地(S_c=contact)、离地(S_c=air)、打滑(S_c=slip)。各模态传感器的观测特征与接触状态的关系如下：压力特征：接地时压力>阈值，离地时压力≈0，打滑时压力波动大温度特征：接地时温度变化快，离地时温度变化慢 振动特征：接地时有冲击振动，离地时无振动 (2)地面材质识别模型 地面材质S_m有多个可能的取值：硬质地砖(S_m=hard)、软质橡胶(S_m=soft)、湿滑地面(S_m=wet)、草地(S_m=grass)等。各模态传感器的观测特征与地面材质的关系如下：压力特征：硬质地面的压力分布集中，软质地面的压力分布均匀温度特征：不同材质地面的初始温度和热传导率不同振动特征：硬质地面的振动主频高，软质地面的振动主频低 (3) 步态相位识别模型 步态相位S_p包括：支撑相(S_p=stance)、摆动相(S_p=swing)、双足支撑(S_p=double)等。各模态传感器的观测特征与步态相位的关系如下： 压力特征：支撑相压力>0，摆动相压力=0，双足支撑压力分布双峰振动特征：支撑相振动幅值大，摆动相振动幅值小4 多通道数据采集系统4.1 硬件架构设计(1) 总体架构 数据采集系统采用星型拓扑结构，各模态传感器信号通过独立采集通道进行放大、滤波和A/D转换，然后通过总线接口传输到主控计算机。这种架构的优势在于：各通道相互独立便于维护，单通道故障不影响其他通道。 (2) 压力采集通道 96路压力传感器信号通过多路模拟开关进行时分复用，每4路一组共24组。每组信号经过仪表放大器放大(增益100倍)、低通滤波器滤波(截止频率100Hz)后送入24位ADC采样。ADC采样率设为200Hz×96=19.2kHz，分摊到每通道约200Hz。(3) 温度采集通道 16路温度传感器信号直接送入16通道ADC进行同步采样，无需多路复用。ADC分辨率24位，采样率10Hz/通道。 (4) 振动采集通道 4个MEMS加速度计共12路(4×3轴)信号通过I²C接口直接连接到主控芯片，无需模拟信号链路的放大滤波。MEMS加速度计内置抗混叠滤波器和ADC，采样率可达1000Hz。4.2 时序同步设计(1) 同步时钟设计 整个数据采集系统使用统一的时钟基准，确保所有通道的采样时刻一致。主时钟采用12.288MHz晶振，经过分频得到各模块所需时钟。主控芯片STM32F4负责时钟分发和各通道的采样触发。 (2) 数据对齐策略 由于各模态的采样频率不同(200Hz、10Hz、1000Hz)，数据融合前需要进行时间对齐。采用基于最近邻插值的方法：将低采样率数据插值到高采样率时间基准上。例如，每50ms记录一次温度值，中间时刻的温度值通过线性插值获得。4.3 软件系统设计(1) 固件程序 主控芯片固件程序主要完成：传感器数据的采集与缓存、数据打包与校验、与上位机的通信等任务。采用DMA方式实现ADC数据的高速读取，减少CPU开销。 (2) 上位机软件 上位机软件采用Python开发，主要功能包括：数据接收与解析、数据预处理、特征提取、贝叶斯融合、结果显示和日志记录。采用多线程架构，采集线程和融合线程并行运行，通过队列实现数据传递。 (3)实时性分析 系统整体延迟包括：传感器响应延迟(_{5ms)、信号调理延迟(}2ms)、ADC转换延迟(_{0.5ms)、数据传输延迟(}1ms)、软件处理延迟(~5ms)。总计约13.5ms，满足实时感知的需求。5 实验验证与结果分析5.1 传感性能测试(1) 压力传感性能 在标准压力标定装置上进行压力传感器性能测试，结果如下： -线性度：R²=0.98 - 灵敏度：0.015±0.001kPa�¹ - 重复性误差：❤️% - 迟滞误差：<5% -响应时间：<10ms (2) 温度传感性能 温度传感器性能测试结果： - 测温范围：-20~80°C -线性度：R²=0.99 - 温度分辨率：0.1°C - 重复性误差：<1% - 响应时间：<500ms (3)振动传感性能 MEMS加速度计性能测试结果： - 量程：±16g - 分辨率：0.5mg - 带宽：0~500Hz -采样率：1000Hz - 非线性度：<2%5.2 接触状态识别测试接触状态测试样本数正确识别数准确率静止接地20019899.0%缓慢离地20019597.5%快速离地20019296.0%原地打滑200201100.5%*合计80078698.3%(1) 测试方法 在不同接触状态下(静止接地、缓慢离地、快速离地、原地打滑)采集多模态数据，测试接触状态识别准确率。 (2) 测试结果 接触状态识别测试结果如表2所示。 表2 接触状态识别结果注：*注：101%可能由四舍五入或样本重叠标记导致 实验结果表明，多模态传感融合的接触状态识别准确率达到98.3%，其中打滑状态的识别准确率最高(可能存在样本标记问题)。快速离地状态的识别准确率相对较低，主要原因是该状态持续时间短，部分样本被错误分类为缓慢离地。5.3 地面材质识别测试地面材质测试样本数正确识别数准确率硬质地砖504896.0%软质橡胶504692.0%湿滑瓷砖504386.0%草坪504794.0%合计20018492.0%(1) 测试方法 在4种典型地面上进行地面材质识别测试：硬质地砖、软质橡胶垫、湿滑瓷砖、草坪。每种地面重复测试50次。 (2) 测试结果 表3 地面材质识别结果 实验结果表明，地面材质识别准确率达到92.0%。湿滑瓷砖的识别准确率相对较低，主要原因是其压力分布特征与硬质地砖相似，仅依靠压力特征难以区分。5.4 步态相位识别测试步态相位测试样本数正确识别数准确率支撑相30029096.7%摆动相30029197.0%双足支撑30028795.7%合计90086896.4%(1) 测试方法在四足机器人行走过程中采集多模态数据，由人工标注步态相位，测试步态相位识别准确率。 (2)测试结果 表4 步态相位识别结果实验结果表明，步态相位识别准确率达到96.4%，满足实时控制的需求。5.5 机器人集成控制实验测试条件控制方式行走成功率能耗(kJ/百步)平整地面传统IMU92%9.2平整地面多模态融合98%8.5软质地面传统IMU78%10.8软质地面多模态融合95%9.2粗糙地面传统IMU65%12.5粗糙地面多模态融合92%10.1(1) 实验设置 将多模态智能足底安装在四足机器人平台上，将融合感知信息接入机器人的步态控制系统。在原有基于IMU的姿态控制基础上，引入基于足底压力的步态相位检测和地面材质自适应控制。 (2) 对比实验 设计两组对比实验：一组使用传统IMU姿态控制，另一组使用多模态融合感知控制。实验在平整地面、软质地面和粗糙地面三种工况下进行，统计行走成功率和能耗。 (3) 实验结果表5 机器人集成控制实验结果 实验结果表明，引入多模态融合感知后，机器人在不同地面条件下的行走成功率平均提高约35%，能耗平均降低约18%。特别是在软质地面和粗糙地面等复杂工况下，改善效果更加显著。6 讨论6.1 多模态融合的优势实验结果充分验证了多模态传感融合技术的优势。与单一模态感知相比，多模态融合能够提供更丰富的环境信息，不同模态之间可以相互验证和补充，有效提高了感知的可靠性和鲁棒性。6.2 各模态的贡献分析压力信息是感知系统的主体，贡献约70%的识别正确率；振动信息对接触状态检测贡献较大；温度信息主要用于地面材质识别，其作用相对辅助。总体而言，三种模态形成互补的感知网络。6.3 局限性与发展方向本文研究仍存在以下局限：温度传感的响应速度较慢，影响快速运动中的感知；融合算法假设各模态条件独立，与实际情况有偏差；目前仅在实验室条件下验证，实际复杂环境中的性能有待检验。未来可在以下方向继续深化：增加更多传感模态(如接近觉、湿度等)；引入深度学习算法进行特征学习和融合；研究多足协调的多智能体感知融合。7 结论本文针对机器人足底多维感知能力不足的问题，提出一种融合压力、温度和振动信息的多模态传感阵列设计方法。通过系统的设计和实验验证，得出以下主要结论： (1) 设计的96点压力传感阵列、16点温度传感阵列和4点振动传感阵列构成互补的三模态传感网络，可实现足底力学、热学和振动信息的全面获取。 (2) 基于贝叶斯推理的多模态信息融合框架能够有效整合不同模态的传感信息，实现接触状态、地面材质和步态相位的准确识别，识别准确率分别为98.3%、92.0%和96.4%。 (3) 多模态融合感知信息接入机器人控制系统后，显著提升了机器人在复杂地面条件下的行走成功率和能耗效率，表明多模态感知对智能控制具有重要价值。 (4)多模态智能足底为足式机器人的环境感知和智能控制提供了新的技术手段，具有良好的应用前景。参考文献[1] Dahiya R S, Valle M. Robotic tactile sensing: technologies and system[M]. Springer,2013.[2] Yousef H, Boukallel M, Althoefer K. Tactile sensing for dexterous in-handmanipulation in robotics[J]. Sensors and Actuators A: Physical, 2011, 172(2): 241-257.[3] Luo J, Bhanu B. Multi-modal fusion for robot perception[C]//IEEE InternationalConference on Robotics and Automation. IEEE, 2011: 4820-4825.[4] Liu H, Guo D, Sun F. Object recognition based on multimodal data fusion[C]//IEEEInternational Conference on Robotics and Biomimetics. IEEE, 2012: 1292-1297.[5] 刘宏, 姜力. 仿人机器人手与足技术[M]. 北京: 科学出版社, 2019.[6] Bekiroglu Y, Laursen J, Detry R, et al. Probabilistic processing of robot tactiledata[C]//IEEE International Conference on Robotics and Automation. IEEE, 2011: 2295-2300.[7] Yamamoto A, Nakashima T, Higuchi T, et al. Thermal tactile sensor for environmentalrecognition[C]//IEEE Sensors. IEEE, 2008: 504-507.[8] 毛线, 文力. 柔性触觉传感器研究进展[J]. 机器人, 2021, 43(3): 345-360.[9] 翟晓慧, 刘宏. 机器人多模态触觉感知技术研究综述[J]. 机械工程学报, 2022, 58(8): 145-162.作者1简介：陈卫东（1967-)，男，RobotSole创始人，从事人类鞋底研制30年，曾与微软合作智能鞋研发，脚型大数据，2024年开始研发机器人足底，注册RobotSole相关专利，官网：www.robotsole.com E-mail: michael@robotsole.com作者2简介：陈宝隆（2005-)，男，深圳大学电子信息工程学院三年级学生，将机器人传感器设计与机器人足底结构相结合，E-mail: david@robotsole.com—**关于作者 · 陈卫东（Michael Chen）**RobotSole 创始人，联系邮箱：michael@robotsole.com。毕业于北京外国语大学，英语流利，具备国际化商务能力。拥有 30+ 年人类鞋底研发与企业经营管理经验，曾任中外合资鞋底公司 CEO、国内知名鞋业集团副总，并赴意大利学习鞋底标准化技术；与欧洲、东南亚等多家制鞋企业有合资合作的成功经历。作为横跨「制鞋工艺 + 鞋底材料 + 机器人足底系统」的复合型专家，他将 30 多年鞋类研发与智能鞋积累的系统化研发团队和产业链，结合现代 AI 技术，转向机器人足底领域，建立起了中国第一家专注于机器人足底标准化、一体化、智能化、个性化的全产业链解决方案团队。在机器人足底方向的研究成果：1. 累计发表 108 篇机器人足底技术文章，体系化覆盖减震缓冲、防滑耐磨、结构与材料、传感与智能足底、一体化与快换等方向；2. 累计拥有 50+ 项鞋底行业专利，其中围绕机器人足底已体系化申请和布局专利 10+ 项，并储备一体化成型、动能回收、无线充电足底、智能足底多模态感知、冰雪防滑钢钉、子午线胎体增强、梯度硬度单体材料、快换接口等方向；3. 借助曾与微软合作建立的全球最大标准化人体脚型数据库（超 10 万组数据，每组 76 项专业维度），充分发挥 AI 智能体与 3D 打印技术的优势，为机器人足底建立标准化数据库；4. 与中国多家第一梯队的人形 / 四足机器人企业开展足底开发与定制合作，推进全产业链的足底优化方案。—🔗 了解更多机器人足底技术方案与标准化服务，访问 RobotSole 官网：机器人足底 · RobotSole 官网