微軟與與長崎大學、后藤中央醫(yī)院、長崎縣和后藤市簽署合作協(xié)議，利用混合現實和人工智能，在醫(yī)療專家短缺的地區(qū)提供高水平、同質化的醫(yī)療保健，旨在為類風濕關節(jié)炎患者提供遠程醫(yī)療的實際應用。

長崎大學類風濕性關節(jié)炎遠程醫(yī)療系統(tǒng)（NURAS）已被開發(fā)為日本第一個利用混合現實（Mixed Reality）為類風濕性關節(jié)炎患者提供的下一代在線遠程醫(yī)療系統(tǒng)。

長崎大學風濕性關節(jié)炎的NURAS遠程醫(yī)療系統(tǒng)概述：

NURAS是一個系統(tǒng)，通過使用混合現實和其他技術，使偏遠地區(qū)（如偏遠島嶼和專家人數不足的偏遠地區(qū)）的患者能夠接受風濕病專家的遠程醫(yī)療，其準確度比以往更高。 雖然傳統(tǒng)的視頻電話或網絡會議系統(tǒng)可用于遠程醫(yī)療，但由于只能用平面圖像（二維）觀察和推斷病變部位，主要是在關節(jié)處，因此很難進行準確的關節(jié)評估，這對類風濕性關節(jié)炎的治療至關重要。 在這個系統(tǒng)中，微軟的Azure Kinect DK被放置在病人面前作為深度傳感器，專家戴著微軟HoloLens 2，這是一個實現混合現實的設備，并使用微軟團隊，一個協(xié)作工具。 該系統(tǒng)能對僅用平面圖像難以評估的病變部位進行三維（3D）和實時觀察和評估。

Azure Kinect DK是一個可以捕捉被攝對象立體視頻的攝像頭，可用于生成3D全息圖，并實時投射到醫(yī)生的HoloLens 2上，還可以錄制清晰的音頻，包括聲源的方向，Azure Kinect DK內置的7 Azure Kinect DK的內置7個麥克風陣列可以記錄清晰的音頻，包括聲源的方向。 此外，通過符合厚生勞動省、經濟產業(yè)省和總務省管轄的 “三部三指南 “的微軟Azure云平臺，可以安全地處理捕獲的患處圖像和病人與醫(yī)生之間的對話錄音。 數據的處理是安全的。 這使得即使在專家數量較少的地區(qū)，如偏遠島嶼和偏遠地區(qū)，也能提供高標準的統(tǒng)一風濕病學遠程醫(yī)療。 下面可以看到長崎大學類風濕性關節(jié)炎遠程醫(yī)療系統(tǒng) “NURAS “使用時的圖像視頻。

未來的發(fā)展：

該系統(tǒng)不僅可以應用于類風濕性關節(jié)炎患者，在日本估計有600,000-1,000,000人，還可以應用于其他神經系統(tǒng)和肌肉骨骼疾病，在這些疾病中，需要在與病人互動的同時觀察病變部位和運動評估。 這次將通過網絡連接長崎大學醫(yī)院和后藤中央醫(yī)院進行示范實驗，但由于該系統(tǒng)可以連接任何有網絡連接的地區(qū)的專家，因此預計在新的冠狀病毒感染流行期間，它將有助于減少日本和海外醫(yī)院長途訪問和訪問期間人員流動的感染風險，同時也有助于 我們相信，這也將有助于醫(yī)療工作者工作方式的改革。

在未來，有計劃將其與使用5G的高速通信技術聯(lián)系起來，并將其發(fā)展到其他領域，包括以學生實踐培訓為中心的教育和研究，目前由于冠狀病毒災難，這是很困難的。

此外，人工智能（AI）將被應用于該系統(tǒng)，以實現快速檢測咨詢期間病人面部表情的變化并自動評估病人的情緒狀態(tài)（如焦慮和滿意）的功能，以及以文本形式按時間順序記錄病人對話的功能。從人工智能中獲得的數據將被用來幫助改善病人自身的生活質量，減少病人和醫(yī)生之間的心理距離，他們在物理上是分開的。 該系統(tǒng)也有望幫助改善病人本身的生活質量。