医疗手势机器人应用查看源代码讨论查看历史

来自 搜狐网 的图片

医疗手势机器人应用基于图神经网络的人机协同智慧 医疗手势机器人应用,随着计算机技术的突飞猛进，人机交互与智能感知领域所受到的关注与日俱增，追求更为自然、便捷、舒适、高效的计算机人机交互的方式也成为该领域的研究热点。智慧交互环境与智能空间逐渐成为主流的研究，从智慧空间应用的角度来说，人机交互的环境越来越需要与教育、医疗、家庭等场景相互结合，同时，也需要借助智能传感器，物联网技术，将人机交互的智能感知环境与用户进行更友好的交流，更好地服务于用户。

人机智能协同的主要研究方向是以智能人机交互系统为目标，以信息技术和生物医学工程为支撑，围绕生物智能与人工智能协同的主题。重点研究多源感知与运动信息的获取及计算理论，生物智能与人工智能增强及协同，以及人机智能协同系统智能行为的实现三个关键问题。

多源感知与运动信息的获取及计算理论方案设计

基于注意力机制的图对抗神经网络（GAAN）整体模型

在多源感知与运动信息的获取及计算理论中，我们提出一种新的模型架构-基于注意力机制的图神经对抗网络模型（Graph Adversarial Attention Networks），在我们提出的多模态的智慧医疗应用中，主要涉及两大板块，分别是非接触式（机器视觉）的模型结构，以及接触式（机械设备）环境感知的模型结构。我们提出的GAAN 模型分别在这两个研究领域中进行分析与应用。

非接触式（机器视觉）的模型结构

传统的卷积神经网络只能用来处理欧式空间的数据，欧式空间卷积神经网络处理的是固定输入维度的数据、局部输入数据必须有序，而现实生活中的许多场景，比如智能交通、社交网络、人体手部骨骼等等都是以非欧式空间的图数据的形式存在，非欧式空间结构数据特点是，局部输入维度可变，局部输入排序无序，我们针对医疗手势中的人体骨骼节点的非欧式空间的数据，提出了一种改进的医疗手部姿态识别算法和模型。

我们在此前传统的卷积神经网络基础上，通过图神经网络对其进行改进，提出了基于注意力机制的图对抗神经网络（GAAN- Graph Adversarial Attention Networks）。

人体手部骨骼关节点的领域中所有的节点如果共享相同的卷积和参数就会限制模型的泛化能力，因为领域内的每一个关节点和中心节点的关联度都是不同的，在卷积聚合邻域节点信息时候，是需要对邻域中的不同的节点区别对待，我们引入Attention 机制建模邻域节点与中心节点的关联度，同时，对于的图数据进行生成对抗网络模型的判别。

2.1.2 基于Attention模块的GAAN模型分析

我们首先对含有 Attention 模块的 GAAN 模型进行分析与介绍，其相应的结构如图2 所示。

2.2 接触式（机械设备）感知环境的模型结构

2.2.1 接触式感知环境的模型结构原理

在手势姿态特征的模式识别中，我们将计算机视觉中的人体手势关节点识别与肌电信号检测进行结合，一方面，通过机器视觉对手势目标进行关节点的姿态特征识别与提取，另一方面，通过手势连接的电极对手势动作信号值进行检测，通过特征提取，PCA 降维等操作，将其与机器视觉特征识别相互结合，共同预测和检测手势动作姿态特征。

首先通过对肌电信号 sEMG 进行特征选择，针对不同的手势姿态进行分类与筛选，返回不同手势姿态的信号值、力度、强度等等，接着，通过机器视觉首先对人体手势姿态框架进行目标检测，再对人体手势姿态进行模式识别，并且结合肌电信号，分类和识别出不同的手势特征与姿态类别，从这两个方面对人体手势进行目标识别与人体关节点的姿态估计，进而可以提高对目标检测的识别效率与准确度。