微軟與與長(zhǎng)崎大學(xué)、后藤中央醫(yī)院、長(zhǎng)崎縣和后藤市簽署合作協(xié)議，利用混合現(xiàn)實(shí)和人工智能，在醫(yī)療專家短缺的地區(qū)提供高水平、同質(zhì)化的醫(yī)療保健，旨在為類風(fēng)濕關(guān)節(jié)炎患者提供遠(yuǎn)程醫(yī)療的實(shí)際應(yīng)用。
長(zhǎng)崎大學(xué)類風(fēng)濕性關(guān)節(jié)炎遠(yuǎn)程醫(yī)療系統(tǒng)（NURAS）已被開發(fā)為日本第一個(gè)利用混合現(xiàn)實(shí)（Mixed Reality）為類風(fēng)濕性關(guān)節(jié)炎患者提供的下一代在線遠(yuǎn)程醫(yī)療系統(tǒng)。
長(zhǎng)崎大學(xué)風(fēng)濕性關(guān)節(jié)炎的NURAS遠(yuǎn)程醫(yī)療系統(tǒng)概述：
NURAS是一個(gè)系統(tǒng)，通過使用混合現(xiàn)實(shí)和其他技術(shù)，使偏遠(yuǎn)地區(qū)（如偏遠(yuǎn)島嶼和專家人數(shù)不足的偏遠(yuǎn)地區(qū)）的患者能夠接受風(fēng)濕病專家的遠(yuǎn)程醫(yī)療，其準(zhǔn)確度比以往更高。 雖然傳統(tǒng)的視頻電話或網(wǎng)絡(luò)會(huì)議系統(tǒng)可用于遠(yuǎn)程醫(yī)療，但由于只能用平面圖像（二維）觀察和推斷病變部位，主要是在關(guān)節(jié)處，因此很難進(jìn)行準(zhǔn)確的關(guān)節(jié)評(píng)估，這對(duì)類風(fēng)濕性關(guān)節(jié)炎的治療至關(guān)重要。 在這個(gè)系統(tǒng)中，微軟的Azure Kinect DK被放置在病人面前作為深度傳感器，專家戴著微軟HoloLens 2，這是一個(gè)實(shí)現(xiàn)混合現(xiàn)實(shí)的設(shè)備，并使用微軟團(tuán)隊(duì)，一個(gè)協(xié)作工具。 該系統(tǒng)能對(duì)僅用平面圖像難以評(píng)估的病變部位進(jìn)行三維（3D）和實(shí)時(shí)觀察和評(píng)估。
Azure Kinect DK是一個(gè)可以捕捉被攝對(duì)象立體視頻的攝像頭，可用于生成3D全息圖，并實(shí)時(shí)投射到醫(yī)生的HoloLens 2上，還可以錄制清晰的音頻，包括聲源的方向，Azure Kinect DK內(nèi)置的7 Azure Kinect DK的內(nèi)置7個(gè)麥克風(fēng)陣列可以記錄清晰的音頻，包括聲源的方向。 此外，通過符合厚生勞動(dòng)省、經(jīng)濟(jì)產(chǎn)業(yè)省和總務(wù)省管轄的 “三部三指南 “的微軟Azure云平臺(tái)，可以安全地處理捕獲的患處圖像和病人與醫(yī)生之間的對(duì)話錄音。 數(shù)據(jù)的處理是安全的。 這使得即使在專家數(shù)量較少的地區(qū)，如偏遠(yuǎn)島嶼和偏遠(yuǎn)地區(qū)，也能提供高標(biāo)準(zhǔn)的統(tǒng)一風(fēng)濕病學(xué)遠(yuǎn)程醫(yī)療。 下面可以看到長(zhǎng)崎大學(xué)類風(fēng)濕性關(guān)節(jié)炎遠(yuǎn)程醫(yī)療系統(tǒng) “NURAS “使用時(shí)的圖像視頻。
未來(lái)的發(fā)展：
該系統(tǒng)不僅可以應(yīng)用于類風(fēng)濕性關(guān)節(jié)炎患者，在日本估計(jì)有600,000-1,000,000人，還可以應(yīng)用于其他神經(jīng)系統(tǒng)和肌肉骨骼疾病，在這些疾病中，需要在與病人互動(dòng)的同時(shí)觀察病變部位和運(yùn)動(dòng)評(píng)估。 這次將通過網(wǎng)絡(luò)連接長(zhǎng)崎大學(xué)醫(yī)院和后藤中央醫(yī)院進(jìn)行示范實(shí)驗(yàn)，但由于該系統(tǒng)可以連接任何有網(wǎng)絡(luò)連接的地區(qū)的專家，因此預(yù)計(jì)在新的冠狀病毒感染流行期間，它將有助于減少日本和海外醫(yī)院長(zhǎng)途訪問和訪問期間人員流動(dòng)的感染風(fēng)險(xiǎn)，同時(shí)也有助于 我們相信，這也將有助于醫(yī)療工作者工作方式的改革。
在未來(lái)，有計(jì)劃將其與使用5G的高速通信技術(shù)聯(lián)系起來(lái)，并將其發(fā)展到其他領(lǐng)域，包括以學(xué)生實(shí)踐培訓(xùn)為中心的教育和研究，目前由于冠狀病毒災(zāi)難，這是很困難的。
此外，人工智能（AI）將被應(yīng)用于該系統(tǒng)，以實(shí)現(xiàn)快速檢測(cè)咨詢期間病人面部表情的變化并自動(dòng)評(píng)估病人的情緒狀態(tài)（如焦慮和滿意）的功能，以及以文本形式按時(shí)間順序記錄病人對(duì)話的功能。從人工智能中獲得的數(shù)據(jù)將被用來(lái)幫助改善病人自身的生活質(zhì)量，減少病人和醫(yī)生之間的心理距離，他們?cè)谖锢砩鲜欠珠_的。 該系統(tǒng)也有望幫助改善病人本身的生活質(zhì)量。