FINDIT
2022.05.13

【新興領域/2022.5焦點】《元宇宙拼圖系列》揭開醫療元宇宙(Metaverse)的可能樣態

疫情加速數位醫療轉型,且元宇宙在產業的應用亦體現至醫療領域,現階段元宇宙醫療的應用為智慧醫療的延展。本文從醫療元宇宙發展趨勢、醫療元宇宙核心應用領域,進一步綜整醫療元宇宙的六大關鍵樣態,提供未來我國發展元宇宙在垂直領域的可能切入方向。

一、醫療元宇宙發展趨勢

根據國際期刊《Clinical eHealth》於2022年2月4日刊登的「Expert consensus on the metaverse in medicine」,由來自亞洲、美國、歐洲的醫生以及IT專家組成多學科專家,達成《元宇宙醫學共識》,提出透過元宇宙醫學雲平台,進行元宇宙教學、科普、會診、分級診療和臨床研究。元宇宙醫療平台(Metaverse platform)定義為由AR、VR眼鏡和醫療物聯網(medical Internet of Things, MIoT)系統組成,融合全息技術構建(holographic construction)、全息仿真(holographic emulation)、虛實融合(virtuality-reality integration)、虛實互聯(virtuality-reality interconnection)等技術,如圖1所示。

除前述以AR/VR/MR和全息技術為主的討論,在技術的發展上,支撑元宇宙發展的腦機介面(Brain Computer Interface, BCI)技術在醫療健康領域是主要的應用領域,該技術除了是元宇宙底層應用技術之一,亦是目前離商業化最近的應用領域,未來腦機介面將有助於醫療領域的發展[1]

從國內發展來看,我國過去以來衛福部、中研院、科技部相關計畫已累積醫療數據與影像(健保資料庫、生物資料庫、AI醫療影像資料庫),建議可以借鏡國際作法思考擴大真實世界數據(Real-World Data, RWD)來源,研析精準健康產業(含新創發展)的新產品開發與服務模式。從國內觀點來詮釋,生策會副會長楊泮池指出元宇宙在醫療產業應用涵蓋以下幾個領域[2]:1.AR可應用在手術3D影像處理及輔助手術導航;2.VR可應用在手術訓練及沉浸式VR療法;3.XR可用在遠距醫學手術、虛擬健身房及創造性醫療解決方案。

 

圖1  醫療元宇宙四大構面

 

綜合來看,元宇宙醫療最早的定義是透過AR實踐的物聯網;由於元宇宙醫療的概念尚處於早期階段,現階段元宇宙醫療更多的應用實際為智慧醫療的拓展,例如AI醫療影像、智慧手術室等。然而,未來在發展元宇宙醫療必須重視的是,可靠的安全體系是元宇宙醫療執行的基礎和保障。目前,美國食品和藥物管理局(FDA)已透過其醫療增強實境計畫審查虛擬和擴增實境裝置;我國「智慧醫療器材專案辦公室」談及智慧醫療相關指引與文件,為未來的元宇宙醫療裝置和用途設定監管要求奠定基礎。

 

二、醫療元宇宙核心應用領域

疫情加速醫療產業的數位轉型,從MRI掃描與X光,到機器人手術以及虛擬實境,奠定智慧醫療重要發展基礎。隨著元宇宙議題在不同領域的延展,醫療元宇宙的潛在應用亦被討論。表1整理元宇宙醫療三大核心應用領域,包括外科手術(Surgical operations)、心理健康(Mental health)和醫學教育與培訓(Medical education and training)。以下進一步以個案呈現前述領域的應用。

 

表1  元宇宙在醫療的三大核心應用領域

外科手術(Surgical operations)

心理健康(Mental health)

醫學教育與培訓(Medical education and training)

  • 外科醫生使用AR、VR、AI和微創手術等技術來強化病患的治療效果。領先的醫院和大學將該技術應用於手術,以提供患者身體的3D視圖,並有助於判讀、計畫和執行手術,例如日本智慧治療室系統(Smart Cyber Operating Theater, SCOT)
  • 障礙與挑戰:
  1. 如何在電腦產生的空間內創建逼真的實體物件和手術介面,並進行互動,以及處理複雜訊號
  2. 裝置和電腦規格的解析度為限制醫療設施作為的關鍵
  • 心理治療中的元宇宙可用於治療各種大腦問題,例如恐懼症、創傷後壓力症候群、焦慮症、幻覺和妄想
  • 2022年2月,Lisa Cortez博士宣布推出Moody Minks,這是一個NFT為基礎的虛擬世界活動,讓虛擬訪客可以與病人相互互動、玩遊戲、參加虛擬活動和參觀畫廊
  • XRHealth主要透過VR技術推出各種遊戲化、沉浸式、個人化物理治療,以VR遠距醫療實現居家復健
  • 元宇宙在醫學教育和培訓中的應用,產生一個AR空間以在實驗室環境中檢查人體的解剖結構;VR用於透過刺激真實程序和顯示人體解剖結構的細胞表現數據,培訓醫生和醫療服務提供者
  • 目前AR已進入醫學院課程,並在醫學領域取得了重大成果。醫學影像軟體公司Novarad宣布推出其用於高等教育的AR軟體
  • 宏達電醫學VR已應用在醫學教育到臨床應用。例如解剖生理教學、客製化重現沉浸式VR場景、臨床技能訓練與手術術前規劃等。其產品3D Organon內建超過4,000個擬真的人體結構與器官及生理動畫,結合虛擬實境立體的影像呈現,是體驗式學習的教學工具

資料來源:作者整理,參考自Metaverse: The Next Frontier in Healthcare? InformationWeek, 2022/3/10, https://www.informationweek.com/big-data/metaverse-the-next-frontier-in-healthcare-;元宇宙將為健康醫療領域帶來新應用,https://iknow.stpi.narl.org.tw/Post/Read.aspx?PostID=18916

 

1.日本智慧治療室系統(Smart Cyber Operating Theater, SCOT)[1]

「智慧治療室系統」(SCOT)的開發源自於經濟產業省、文部科學省以及厚生勞働省共同推動的「實現未來醫療發展的醫療機器與系統的研發事業計畫」。該計畫推動目標在於透過行政法人日本醫療開發研究機構(AMED)補助產學研策略聯盟的政策作法,促進日本民間整合活用日本有國際競爭優勢的機器人與診斷科技,來落實研發全球最尖端的醫療器材與醫療系統,並且制訂能作為開發活動推動參考的規範準則;而該計畫鎖定補助的重點領域包括了手術輔助機器人與資通訊系統(智慧診療室)、人工器官、低侵入性治療、影像診斷以及居家醫療等五大領域。基於此政策背景,東京女子醫科大學在國立研究開發法人日本醫療開發研究機構(AMED)的經費補助之下,與信州大學、廣島大學、奈良先端科學技術大學院大學、千業大學以及國士館大學等五所大學以及Denso、日立製作所等11家公司,共同開發活用IoT與AI科技以提升手術精準度、成功率及安全性的「智慧治療室」(SCOT)。

智慧治療室專案計畫從2014年啟動,2016年先在廣島大學醫院導入基本模型「Basic Model」,之後在2018年於信州大學導入「Standard SCOT」,更在2018年7月23日執行全球首例臨床研究病例。2019年起則是在東京女子醫科大學建置「Hyper Model」的原型機,並在2019年2月28日進行首起病例,可參見圖2所示。東京女子醫科大學的SCOT(Hyper Model),藉由網路與感測裝置串連20種不同的醫療搬運機器人、手術輔助機器人以及醫療設備,形成可即時共享各種生理數據的醫療聯網系統,並由設置於手術室內的整合性液晶面板來呈現所有數據與資訊,亦稱為「手術戰略桌」。再者,透過SCOT的運作,手術室內的外科醫師也可即時與遠端的其他醫學系教授同步溝通,找出最佳的手術途徑與方法,減少手術進行過程當中醫療過失行為的發生比率。SCOT(Hyper Model)主要採用以「ORiN架構」為基礎的中階軟體來設定所有機器人與醫療設備之間的通訊標準,以提升各種設備數據、診療數據的流通與運用效率。

後續「智慧治療室系統」在政府單位要求之下召開產學研專家組成的技術開發委員會,共同研擬「智慧治療室的系統構成與運用之開發準則」,以提供民間企業未來發展類似智慧醫療系統之參考,進而普及智慧診療室系統的應用發展。SCOT目前正在整建國外銷售體制,除了日本之外,國外銷售對象包括美國、俄國、馬來西亞、越南、印尼、印度、以色列等國。

圖2  日本智慧治療室系統(SCOT)

 

同樣地,我國中山醫學大學附設醫院為提升臨床端手術的精準度與教學協作方式,已投入建置新一代元宇宙複合手術室。在技術設備層面,從德國西門子引進機械手臂術中定位系統飛龍(ARTIS pheno),能將患者自身術前3D影像數據,在術中直接投影於超大醫療螢幕上,並與患者實際開刀情況零距離融合,透過此種融合虛實的元宇宙導航治療方式,可提升內外科醫師手術成功率,減少手術時間與併發症發生率。此外,中山附醫更與久和醫療、研華科技合作,在手術室內整合懸臂系統、手術燈系統與將術中影像直播記錄系統,未來手術醫師不僅能在術前,可事先討論與演練執刀方式;執刀期間更可透過雲端互動方式來達到元宇宙臨場感,大幅促進臨床手術教學傳承之目的,透過元宇宙新平台,完成更有效率的醫療賦權。

 

2. XRHealth(VR療法實現居家復健)

XRHealth成立於2016年,主要透過VR技術推出各種遊戲化、沉浸式、個人化物理治療,以VR遠距醫療實現居家復健。整套服務流程可參見圖3所示:(1)步驟一:註冊帳號,選擇XRHealth治療師;(2)步驟二:郵寄VR頭戴式裝置(已安裝好FDA認證的治療apps)到患者家中;(3)步驟三:開始治療之旅:裝置會持續收集治療資料並加以分析。

XRHealth於2022年3月獲1,000萬美元投資,用於擴大在元宇宙中的虛擬醫療治療解决方案,本輪投資人包括GTC、Bridges Israel Impact投資基金、AARP、StartEngine.com等。在與硬體廠商的合作上,XRHealth在CES 2022與HTC VIVE合作,以虛擬醫療室的形式將醫療保健帶入虛擬世界,患者可以在其中接受物理治療、職業治療和疼痛管理治療。

綜合來看,XRHealth的成功關鍵在於取得認證與保險支付。XRHealth的平台已在FDA和CE註冊,為用戶提供虛擬世界進行治療護理;患者的護理費用可由醫療保險覆蓋,並支持大多數主流保險供應商。

圖3  XRHealth服務流程

 

3. Novarad OpenSight AR手術導航系統

Novarad的OpenSight AR系統為微軟HoloLens在美國食品和藥物管理局(FDA)認可的第一個醫療AR手術導航系統,可參見圖4。該系統具備以下特性:

  1. 更精確的切口:在手術前透過疊加在患者身上的橫截面成像可視化內部解剖結構;
  2. 用知識導航:標記適當的入口點或角度、軌跡和位置;
  3. 虛擬注釋結構:為目標器官著色以及勾勒或註釋病理學,以創建目標解剖結構的半透明全息影像;
  4. 患者參與:患者及其親人可以查看帶注釋的全息圖像,以了解其手術過程,並對醫生更有信心;
  5. 有助教學:可使用多個穿戴式裝置在臨床團隊成員之間共享,以改善培訓和協作。

圖4  Novarad OpenSight AR手術導航系統

 

三、綜整醫療元宇宙樣態分類

元宇宙醫療的概念尚處於早期階段,現階段元宇宙醫療的應用奠基在智慧醫療的延展,包括:1.AI醫療影像/數據:過去以來衛福部、中研院、科技部在精準健康累積是以數據與影像為主,建議可以朝向思考擴大RWD來源,帶動產業(含新創)新產品開發與服務模式,涉及與保險公司等多元利害關係人的合作模式。2.醫學VR教育平台:宏達電醫學VR、肯狄科研的醫學培訓教育科技平台等。3.AR/MR智慧手術設備:台灣骨王的智慧手術眼鏡、明基佳世達醫療艦隊提供的智慧手術室,甚至是在中山附醫場域啟動元宇宙複合手術室。

隨著動態科技元素的發展與成熟,從人工智慧、大數據到數位分身,以及AR、VR、MR等技術在醫學影響、手術輔助、醫學教育、遠距醫療、復健訓練、醫院等方面優化傳統醫療流程、提升醫療效果、减輕醫務人員工作負擔,以下綜整元宇宙醫療的六大關鍵樣態,可參見圖5所示。

 

圖5  綜整醫療元宇宙樣態分類

 

1.從AI醫療影像/數據到3D醫學影像

在智慧醫療/精準健康累積的數據與2D影像,走向元宇宙醫療下的全息/3D虛擬實境顯示影像學數據,可以全面觀察病灶細節、深度挖掘影資訊,有助醫生削减讀片時間,降低誤診概率,同時患者能更直觀理解病灶情况和治療方案,促進醫生和患者溝通。透過MR技術將電腦虛擬模型投影到用戶所看到的真實世界場景中,並與真實環境融合,在不影響對真實環境的感知的同時進入全息化視野。

 

2. VR醫學教學/培育

根據臨床醫學專業的培養路徑,醫學生在成為臨床主任醫師至少需要花費16年時間,導致臨床醫生培養時間長、社會成本大。傳統醫學培訓資訊龐大,且學習使用的教具和生理模型不直觀,手術操作學習上生理模型模擬困難,缺乏軟組織的學習教具,解剖學上缺乏醫學訓練的大體,運用虛擬技術沉浸感真實性强和可視化等特點,可突破人體標本、動物標本等實驗材料的限制,提高醫學培訓效率和品質[2]

 

3. VR復健訓練

復健科別實際導入XR技術已經有一段時間,不管是在生理面或心理面,皆能發揮極大的輔助效果。心理治療中的元宇宙可應用在治療各種大腦問題,包括:恐懼症、創傷後壓力症候群、焦慮症、幻覺和妄想[3]。在生理復健輔助的廠商中,除了Penumbra運用VR協助中風或其他神經血管性疾病患者落實復健計畫,XRHealth也於2020年3月在美國推出VR遠距醫療復健服務,提供如腦部創傷、中風復健、壓力、焦慮、慢性疼痛、熱潮紅和特殊脊髓傷害的病患,能夠在家自主進行復健工作[4]

 

4. XR手術輔助

醫師在執行手術最重要的即是在複雜的人體結構中定位病灶,在術前透過3D/全息模擬教學,或者在術中有精確的導航,以利臨床以更快、更準確的方式進行手術,前述Novarad OpenSight AR手術導航系統即是美國FDA認可的第一個醫療AR手術導航系統。從患者參與手術計畫、醫生跨學科合作,到進入手術室,XR手術輔助可在患者的整個門診及手術過程中提供幫助[5]

 

5. XR遠距醫療

在疫情下許多病患或離島居民無法到醫院就診,相關醫療診斷服務即可透過AR提供遠程醫療服務,大幅減少染疫風險。AR遠距醫療可減少病患的交通時間、等候時間、提高參與度,並且降低無法看診而產生病症惡化的可能,相關的成本較傳統醫療模式便宜2~3倍[6]

 

6.元宇宙醫院:實體醫院的數位化

在個人層次,AI驅動的數位分身技術,帶動個人器官生理的模擬,最終目標是模擬整個人類身體,以了解病患健康,以及預測改變和治療成效。下階段的目標為:「在對的時間給對的病患正確治療」。換言之,數位分身在醫療業的應用大量仰賴個人資料,例如實驗室的診斷和影像。數位分身和醫療照護的數位化,對於擴大精準醫療、改變照護提供、提升病患經驗有一定貢獻與價值[7]

在醫院層次,則是醫院流程的數位分身到元宇宙應用,提高醫院的運營效率,透過更多的應用各類聯網設備/感知器等,以數位分身模式對整個園區進行數位化管控,不僅提供醫生和患者更好的體驗,亦節約能源消耗朝向綠色環保。

 

 四、結語

現階段元宇宙醫療的應用為智慧醫療的延展,而元宇宙在醫療健康領域中有著廣泛應用的可能性,包括前述提及的六大關鍵樣態:從AI醫療影像/數據到3D醫學影像、VR醫學教學/培育、VR復健訓練、XR手術輔助、XR遠距、醫療元宇宙醫院(數位分身技術的疊加)。

然而,從數位醫療、智慧醫療到元宇宙醫療,關鍵的議題之一在於商業模式導入與落實,非僅停留在臨床試驗的驗證階段,因此與醫療器材相關的利害關係人皆是必須納入討論的環節,包括醫生、患者、主管單位、護理人員、行政人員、照服人員、藥師,甚至是保險公司、網路電信公司或物流業者。而在元宇宙醫療新營運模式中涉及的數據與影像等資料亦衍生新的待解挑戰,Rock Health[8]在今年2月的報告中也提出評論,認為就像所有新技術一樣,元宇宙也有一些發展上的障礙,例如應用程式會加劇與設備所有權、數位素養和網路可訪問性相關的「健康不平等」問題,而數位分身等虛擬實體引發關於如何定義患者資料和隱私的新問題。此外,也可能會引發對虛擬分身背後代表的真實人物造成歧視或干擾,如數位分身顯示認為這個人會生病、虛弱,那麼很可能會在現實中的某些干預手段或資訊的不正當傳播,導致真實人物身心受到額外傷害。

綜合來看,元宇宙為未來的數位醫療發展帶來了無限可能,相信假以時日,元宇宙概念將幫助醫療產業以更快速、更經濟的方式為患者提供治療方案。我國在2021年成立「智慧醫療器材專案辦公室」後,可望加速智慧醫材產品開發,接下來透過智慧醫療監理沙盒機制,探討後續落地、行銷等關鍵議題,帶動元宇宙醫療的多元應用與商業化。

 

 
注釋

[1] 頭豹研究院(2022),2022年中國元宇宙在醫療行業的前景與展望研究報告。

[2]生技論壇/楊泮池 拚元宇宙應用,https://udn.com/news/story/7241/5928507。

[3] 資料來源:中華經濟研究院(2019),出國報告:日本智慧醫療科技應用合作,經濟部技術處委託。

[4] 頭豹研究院(2022),2022年中國元宇宙在醫療行業的前景與展望研究報告。

[5] Metaverse: The Next Frontier in Healthcare? InformationWeek, 2022/3/10, https://www.informationweek.com/big-data/metaverse-the-next-frontier-in-healthcare-。

[6] VR輔助效果佳 中風患者術後復健成效顯著,https://www.digitimes.com.tw/iot/article.asp?cat=158&cat1=20&cat2=130&id=0000594033_DSNLITSV4HC4C22UZW31Y。

[7] 元宇宙醫療中的九大應用場景,http://www.bd-cctv.com/new/44f185ce95f743e881c19f4a8a53b061。

[8]【白璧珍觀點】XR 大健康與醫療產業的十大應用商機,https://fc.bnext.com.tw/articles/view/1686。

[9]【新興領域:9月焦點8】數位分身(Digital Twin)技術發展趨勢與不同層次應用模式,https://findit.org.tw/researchPageV2.aspx?pageId=1521

[10] Digital health enters the metaverse, https://rockhealth.com/insights/digital-health-enters-the-metaverse/?fbclid=IwAR2HxhUoXXDB9sY1AdF3ajugt8vi1GZKMVvDOzG7Cvpz_8fcAR9E1jnOYeU。

 

參考文獻

  1. 【新興領域/2022.4焦點】你必須知道的新潮流-全球元宇宙(Metaverse)發展趨勢觀察,https://findit.org.tw/researchPageV2.aspx?pageId=1996
  2. 【新興領域:9月焦點8】數位分身(Digital Twin)技術發展趨勢與不同層次應用模式,https://findit.org.tw/researchPageV2.aspx?pageId=1521
  3. Dawei Yang, Jian Zhou, Rongchang Chen, Yuanlin Song, Zhenju Song, Xiaoju Zhang, Qi Wang, Kai Wang, Chengzhi Zhou, Jiayuan Sun, Lichuan Zhang, Li Bai, Yuehong Wang, Xu Wang, Yeting Lu, Hongyi Xin, Charles A. Powell, Christoph Thüemmler, Niels H. Chavannes, Wei Chen, Lian Wu, Chunxue Bai (2022), Expert consensus on the metaverse in medicine, Clinical eHealth, Volume 5, Pages 1-9。
  4. Digital health enters the metaverse, https://rockhealth.com/insights/digital-health-enters-the-metaverse/?fbclid=IwAR2HxhUoXXDB9sY1AdF3ajugt8vi1GZKMVvDOzG7Cvpz_8fcAR9E1jnOYeU
  5. Metaverse: The Next Frontier in Healthcare? InformationWeek, 2022/3/10, https://www.informationweek.com/big-data/metaverse-the-next-frontier-in-healthcare-。
  6. VR輔助效果佳 中風患者術後復健成效顯著,https://www.digitimes.com.tw/iot/article.asp?cat=158&cat1=20&cat2=130&id=0000594033_DSNLITSV4HC4C22UZW31Y。
  7. 中華經濟研究院(2019),出國報告:日本智慧醫療科技應用合作,經濟部技術處委託。 
  8. 元宇宙將為健康醫療領域帶來新應用,https://iknow.stpi.narl.org.tw/Post/Read.aspx?PostID=18916。
  9. 元宇宙醫療中的九大應用場景,http://www.bd-cctv.com/new/44f185ce95f743e881c19f4a8a53b061。
  10. 【白璧珍觀點】XR 大健康與醫療產業的十大應用商機,https://fc.bnext.com.tw/articles/view/1686。
  11. 生技論壇/楊泮池 拚元宇宙應用,https://udn.com/news/story/7241/5928507。
  12. 頭豹研究院(2022),2022年中國元宇宙在醫療行業的前景與展望研究報告。