文章主要内容
本文介绍了一种名为增强身体 communicator(ABC)的系统,该系统结合了机械臂、大语言模型(LLM)和摄像头,旨在帮助上肢运动受限人群(如 ALS、肌肉萎缩症患者)提升非语言沟通能力。具体内容包括:
- 系统设计:采用7自由度机械臂,通过“运动记忆”功能记录用户自定义动作,并通过网页应用实现多设备兼容控制。LLM通过图像识别分析对话对象的手势,推荐合适的机械臂动作(如挥手、握手)。
- 用户测试:对6名上肢功能障碍患者进行测试,结果显示系统显著提升了用户的自我表达能力(SUS评分90±2.6),并帮助他们参与日常社交互动(如打招呼、挠痒)。
- 挑战与展望:当前系统存在处理延迟(约5秒)、依赖对话对象主动发起互动等问题。未来计划整合运动匹配算法,支持功能性任务(如取物、开关控制),并探索与AAC设备的融合,形成更全面的沟通系统(ACC)。
文章创新点
- 技术融合:首次将机械臂的运