首页 关于我们

混合眼动与面部肌电控制系统助力高位脊髓损伤患者独立完成日常任务

作者:脑机接口社区 2024/12/03 10:16


高位脊髓损伤患者在日常生活中因运动功能受限,常面临完成基本生活任务的挑战。南方科技大学付成龙教授团队结合眼动跟踪和面部肌电图(FEMG)提出了一种混合眼动与面部肌电的控制系统,为高位脊髓损伤患者在进行日常生活活动,如进食、倒水等任务中提供有效帮助,相关成果近日发表在《IEEE Transactions on Neural Systems and Rehabilitation Engineering》上。

研究背景

高位脊髓损伤患者由于上肢功能的严重丧失,难以独立完成诸如抓握和进食等基本任务。为了解决这一问题,现有技术开发了各种人机界面(HCI),如脑机接口(BCI)、头部动作跟踪系统、语音识别技术等。然而,这些方法在稳定性和效率方面仍然存在局限性,难以满足高位脊髓损伤患者的实际需求。为此,本文提出了一种结合眼动跟踪和面部肌电图(FEMG)信号的混合控制系统,旨在提高高位脊髓损伤患者在日常生活任务中的独立性和生活质量。

研究概述

基于功能化导电聚合物的设计,研究团队设计了功能化聚苯胺基时序黏附水凝胶贴片。它可以实现心脏的同步机械生理监测和电耦合治疗,并牢固附着在心脏表面监测心脏的机械运动和电活动。

本研究开发了一种创新的混合控制系统,如图1所示,结合了视线跟踪和面部肌电信号(FEMG),用于辅助高位脊髓损伤患者执行日常任务。系统包括一个轻量化六自由度的机器人手臂(JACO),安装在轮椅的右侧,并通过混合控制策略进行操作。视线跟踪系统捕捉用户的三维视线坐标,并将其转换为机械臂坐标系下,从而实现精确的目标规划和抓取。同时,通过轻量级卷积神经网络(CNN)分析用户面部肌肉活动,识别出用户的意图,确保系统能够实时、准确地执行控制命令。

图1:融合眼动跟踪与FEMG的混合控制系统
(图片来自原文)

在任务执行过程中,用户通过混合接口快速定位目标,并有效地操作机器人手臂执行如进食和倒水等任务 (图2)。这些任务模拟了高位脊髓损伤患者在日常生活中面临的实际挑战,展示了该混合控制方法在提高患者独立性和生活质量方面的潜力。实验结果表明,用户可以稳定且高效地完成这些日常任务,系统在实际应用中的可行性得到了验证。

图2:混合控制系统在用户执行日常任务(如进食和倒水)时的表现
(图片来自原文)

为了评估混合控制方法的有效性,研究设计了经典的拾取和放置任务,通过与单一控制方法(FEMG控制和眼动控制)的对比实验,研究发现 (图3),混合控制方法在完成任务的平均时间上显著优于FEMG控制和眼动控制,分别提升了21.8%和28.8%。该结果表明,混合控制方法在任务执行的稳定性和效率上具有显著优势。

图3:混合控制方法与单一控制方法的性能对比
(图片来自原文)

研究进一步分析了混合控制方法在任务各阶段(接近、抓取、移动和放置)中的表现。如图8所示,在“接近”和“移动”阶段,混合控制方法表现出明显的优势,分别较FEMG控制提高了25.9%和37.2%,较眼动控制提高了35.8%和45.4%。这些结果表明,混合控制方法在需要连续位置控制的任务阶段具有更高的效率和稳定性,使其成为高位脊髓损伤患者日常任务的理想辅助工具。

图4:混合控制方法在任务不同阶段(接近、抓取、移动、放置)的表现
(图片来自原文)

研究意义

该混合控制系统有效地结合了视线跟踪和FEMG信号,提供了一种更加稳定和高效的人机交互界面。研究表明,该系统显著提高了任务完成效率,特别是在涉及连续位置控制的任务阶段,如物体抓取和移动。这一创新系统不仅在实验中表现出色,还显示出在实际应用中显著改善高位脊髓损伤患者生活质量的潜力。

参考文献:
C. Lin, X. Yan, Z. Fu, Y. Leng and C. Fu, "Empowering High-Level Spinal Cord Injury Patients in Daily Tasks with a Hybrid Gaze and FEMG-Controlled Assistive Robotic System," in IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 32, pp. 2983-2992, 2024, doi: 10.1109/TNSRE.2024.3443073

来源:BME康复工程分会

仅用于学术分享,若侵权请留言,即时删侵!

本文来自新知号自媒体,不代表商业新知观点和立场。
若有侵权嫌疑,请联系商业新知平台管理员。
联系方式:system@shangyexinzhi.com