醫療手勢機器人應用檢視原始碼討論檢視歷史

來自 搜狐網 的圖片

醫療手勢機器人應用基於圖神經網絡的人機協同智慧 醫療手勢機器人應用,隨着計算機技術的突飛猛進，人機交互與智能感知領域所受到的關注與日俱增，追求更為自然、便捷、舒適、高效的計算機人機交互的方式也成為該領域的研究熱點。智慧交互環境與智能空間逐漸成為主流的研究，從智慧空間應用的角度來說，人機交互的環境越來越需要與教育、醫療、家庭等場景相互結合，同時，也需要藉助智能傳感器，物聯網技術，將人機交互的智能感知環境與用戶進行更友好的交流，更好地服務於用戶。

人機智能協同的主要研究方向是以智能人機交互系統為目標，以信息技術和生物醫學工程為支撐，圍繞生物智能與人工智能協同的主題。重點研究多源感知與運動信息的獲取及計算理論，生物智能與人工智能增強及協同，以及人機智能協同系統智能行為的實現三個關鍵問題。

多源感知與運動信息的獲取及計算理論方案設計

基於注意力機制的圖對抗神經網絡（GAAN）整體模型

在多源感知與運動信息的獲取及計算理論中，我們提出一種新的模型架構-基於注意力機制的圖神經對抗網絡模型（Graph Adversarial Attention Networks），在我們提出的多模態的智慧醫療應用中，主要涉及兩大板塊，分別是非接觸式（機器視覺）的模型結構，以及接觸式（機械設備）環境感知的模型結構。我們提出的GAAN 模型分別在這兩個研究領域中進行分析與應用。

非接觸式（機器視覺）的模型結構

傳統的卷積神經網絡只能用來處理歐式空間的數據，歐式空間卷積神經網絡處理的是固定輸入維度的數據、局部輸入數據必須有序，而現實生活中的許多場景，比如智能交通、社交網絡、人體手部骨骼等等都是以非歐式空間的圖數據的形式存在，非歐式空間結構數據特點是，局部輸入維度可變，局部輸入排序無序，我們針對醫療手勢中的人體骨骼節點的非歐式空間的數據，提出了一種改進的醫療手部姿態識別算法和模型。

我們在此前傳統的卷積神經網絡基礎上，通過圖神經網絡對其進行改進，提出了基於注意力機制的圖對抗神經網絡（GAAN- Graph Adversarial Attention Networks）。

人體手部骨骼關節點的領域中所有的節點如果共享相同的卷積和參數就會限制模型的泛化能力，因為領域內的每一個關節點和中心節點的關聯度都是不同的，在卷積聚合鄰域節點信息時候，是需要對鄰域中的不同的節點區別對待，我們引入Attention 機制建模鄰域節點與中心節點的關聯度，同時，對於的圖數據進行生成對抗網絡模型的判別。

2.1.2 基於Attention模塊的GAAN模型分析

我們首先對含有 Attention 模塊的 GAAN 模型進行分析與介紹，其相應的結構如圖2 所示。

2.2 接觸式（機械設備）感知環境的模型結構

2.2.1 接觸式感知環境的模型結構原理

在手勢姿態特徵的模式識別中，我們將計算機視覺中的人體手勢關節點識別與肌電信號檢測進行結合，一方面，通過機器視覺對手勢目標進行關節點的姿態特徵識別與提取，另一方面，通過手勢連接的電極對手勢動作信號值進行檢測，通過特徵提取，PCA 降維等操作，將其與機器視覺特徵識別相互結合，共同預測和檢測手勢動作姿態特徵。

首先通過對肌電信號 sEMG 進行特徵選擇，針對不同的手勢姿態進行分類與篩選，返回不同手勢姿態的信號值、力度、強度等等，接着，通過機器視覺首先對人體手勢姿態框架進行目標檢測，再對人體手勢姿態進行模式識別，並且結合肌電信號，分類和識別出不同的手勢特徵與姿態類別，從這兩個方面對人體手勢進行目標識別與人體關節點的姿態估計，進而可以提高對目標檢測的識別效率與準確度。