混合實境技術應用於智慧醫療 機會與挑戰 林敬文 組長 智慧網通系統研究所 2016.07.29
簡報大綱 • 混合實境技術應用機會 – AR / MR / VR – 應用情境
• 混合實境技術應用挑戰 – – – –
電力與運算能力 定位與資訊疊合 操作介面 使用者體驗 2
混合實境技術 應用機會
3
AR/VR 市場應用規模 智慧眼鏡具有釋放雙手之優點，讓專業 用市場採用速度比消費市場高
醫療 照護
醫務人員可藉助智慧眼鏡的靈活視 角可以做手術直播、手術訓練、遠 端會診、監測病人資料
製造 物流
可應用於供應鏈追蹤，遠端支 援現場維修服務、即時辨識
軍事 教育
應用在各種訓練，讓教學從單向到 互動
服務 零售
即時古蹟導覽，產品即時資訊與 遠端管理
資料來源: Goldman Sachs Global Investment Research
• 高盛預估VR和AR市場規模高達800億美元 之多，並認為VR、AR技術將能夠應用在九 大領域之中，可望改變產業型態 • Gartner預估2017年智慧眼鏡可望協助現場 服務產業年省10億美元 4
AR / MR / VR (1/2) • Augmented Reality: 2D Vision, Image Tracking… • Augmented Virtuality: 3D Vision, Environment Learning, Low Latency Photorealistic Rendering… • Virtual Reality - Low Latency Photorealistic Rendering, Positional Tracking…
1994年保羅·米爾格拉姆和岸野文郎提出的 Milgram's Reality-Virtuality Continuum 5
AR / MR / VR (2/2) AR
MR
VR
2D 為主
呈現資訊與實景 關聯性強
封閉的虛擬畫面
資料來源: 專案整理 6
AR vs VR device 類別
擴增實境 AR (Augmented Reality)
虛擬實境 VR (Virtual Reality)
顯示類型
穿透式 (See through)
封閉式/沉浸式 (Immersive)
說明
真實視界中進行虛擬物件疊加
提供使用者一封閉式空間操作 進行虛擬化體驗
產品
Microsoft HoloLens、 Chipsip SiME Smart Glasses Google Glass、 Magic Leap、 Epson BT300/200
Oculus、 Sony PlayStation VR、 HTC Vive、 Samsung Gear VR
資料來源: 網路收集 7
AR 應用情境 • AR醫療應用領域 教育訓練(Training Medical Education) 醫療復健(Rehabilitation) 手術應用(Surgical Applications)
資料來源： https://yoyovrar.tw/
8
VR 應用情境 • VR醫療應用領域
3D沉浸式手術室模擬 (Fully Immersive 3D Operation Room Simulations) VR模擬(Simulation) VR診斷(Diagnostics) VR復健(Rehabilitation)
資料來源： https://yoyovrar.tw/
9
混合實境技術 應用挑戰
10
醫療應用實例 --- 骨科手術 • 醫學影像在外部機器螢幕顯示，造成手術視野轉換問題 臨床醫師需要較長的學習曲線來確保手術安全與精確
I am here! Patient
I am here! Patient
骨科手術情境示意圖 資料來源：專案整理
11
挑戰一 --- 電力與運算能力 • 電池續航力 Google Glass電池容量僅570mAh連續 錄影僅可使用約45分鐘 Microsoft HoloLens, 2-3 hours of active use
Google Glass Spec • CPU OMAP 4430, 2 cores, 2.4GHz • PVRSGX540 GPU • Display Resolution 640 x 360
• 大量且複雜影像即時運算
資料來源：專案整理
12
解決方案一 --- 硬體 • 解決方案：改善硬體(電池) 增加電池數量 加大電池容量
• 限制 電池數量 體積與重量 電池容量 技術發展 仍無法加快運算速度
電池密度改進速度遠遠落後其他元 件之效率改進速度 資料來源: Paradiso, et al. Pervasive Computing, IEEE, 2005
13
解決方案二 --- 跨裝置運算技術 (1/2) • 解決方案：將運算卸載(Offload)到其他裝置 減少穿戴式裝置電池使用 增加可用的運算能力 影像
資料
III Collaborative Computing Framework
具有運算能力的裝置 (平板、手機、雲端等)
穿戴式裝置
穿戴式裝置應用示意圖 資料來源：專案整理 14
解決方案二 --- 跨裝置運算技術 (2/2) III Collaborative Computing Framework • 跨裝置協同運算
Applications
– 有效運用本機運算資源 (CPUs / GPUs / DSPs) 與周邊行動裝置、 電腦主機、雲端運算伺服器
Standard APIs
– 支援跨裝置運算自動切換模式
• 支援多種連線方式 – WiFi Offloading
Specified Server IP
III Collaborative Computing Framework Message Manager
Resource Manager
Device
CPUs
UPnP Service Discovery
Device
GPUs
CPUs
Connectivity Manager
Device
GPUs
CPUs
GPUs
…
資料來源：專案自行整理
15
Wi-Fi Hotspot (Router IP) – Bluetooth Offloading
解決方案三 --- CPU/GPU • 利用CPU/GPU平行運算與圖形加速硬體，加速影像處理 超音波之圖像生成(scan converter)與影像後處理(如：去雜訊)等運 算，運算速度提升7~10倍 原始訊號
原始圖像 Scan Converter
修正圖像 Post Processing
Scan Converter
Mixer
Speckle Reduction
方法
CPU Only
CPU + GPU
方法
CPU Only
CPU + GPU
CPU Only
CPU + GPU
平均時間 (ms)
16
1.5
平均時間 (ms)
23
3.1
172
20
超音波圖像處理示意圖 資料來源：專案整理 16
挑戰二 --- 定位與資訊疊合 • 精準定位與3D建模 3D 辨識與建模技術 定位技術
• 虛擬影像的真實感
資料來源：專案整理
17
解決方案 --- 定位定向技術 • Based on the structure from motion (SFM) algorithm, we can calculate distance and angel relative to marker in real time. • 利用電腦視覺剪影法處理虛擬物體與真實物體之間的疊合 Z X
intrinsic matrix
Y
known constant
3D points (mm/cm)
2D points (pixel)
specified by users
detected by machines
unknown parameters 18
資料來源：專案整理
挑戰三 --- 操作介面
智慧眼鏡 八大互動人機介面技術 項目
技術名稱
1 2 3 4 5 6 7 8
觸控技術 語音技術 感測技術 眼動控制技術 骨傳導技術 手勢識別技術 腦波控制技術 物件辨識技術
操作說明
觸控板上滑動手指進行操控 語音控制與辨識 整合加速度計、陀螺儀與磁力計等感測功能 偵測眼球動態，辨識使用者所注視的方向 使用骨傳導技術傳遞音頻信號 偵測使用者手勢進行操控 透過腦波生理訊號進行操控 透過鏡頭自動偵測，進行物件辨識 資料來源：專案整理
19
挑戰四 --- 使用者體驗 • • • •
視角不夠大 操作不直覺 戴起來不舒服 使用上不方便
資料來源: 專案整理 20
結論 • AR與VR的醫療應用前景看好 – AR多應用於手術輔助 – VR多應用於模擬 • 技術進行創新應用輔助，仍須多注意需求端本質 • 設計“化繁為簡”，提供自然直覺的使用方法
21
Thanks for your listening !
林敬文 (Ted Lin) tedlin@iii.org.tw
智慧眼鏡 於智慧醫療中新應用 By : 品臻聯合系統張國祥 20160729
灣醫療市場
面臨的挑戰
• 健保及醫療預算的緊縮 • 老年化人口增 帶來的醫療及養護 照顧需 求 • 醫護人力的不足及 灣人才的被挖角及流失 • 城鄉醫療資源的分配不均 • 部分 科醫師的不足 • 醫護人員在電子病歷 需花費的大量時間 • 消費意識的抬頭及病患 醫病關係和互動的期 待
智慧眼鏡是能夠大幅 昇醫療 效能的劃時 產品
AR VR產業發展趨勢 及AR VR智能眼鏡 於醫療應用 的潛力
AR VR的市場發展 • 虛擬實境(VR)在歷經多年的發展後，目前亡 是全球未來科技趨勢之一，2016年被稱之 為虛擬實境原年 • 而技術門檻更高的擴增實境(AR)則漸漸開始 在行業應用 萌芽，業界 家認為它未來 的市場 遠大於虛擬實境(VR)
擴增實境AR未來的市場 遠大於虛擬實境VR
什麼是 虛擬實境 VR Virtual Reality • 虛擬實境利用電腦技術模擬出一個立體 逼真 的3D空間，當使用者穿戴VR眼鏡後，會產生 好像處在現實中一般的錯覺 • 在這個由電腦和其周邊設備 共同創造的模擬 世界中，使用者 在其間自由行動，且獲得回 饋，就如同在真實的 度空間中移動一般 • 從虛擬實境的 個構成要素 – 沉浸度(Immersion) 一種身臨其境的感受 – 互動性(Interaction) 人與機器間能互動回饋 – 想像力(Imagination)
虛擬實境的圖像
什麼是 擴增實境 AR Augmented Reality • 擴增實境是介於 真實 世界 與 虛擬世 界 的概念， • 擴增實境技術 資訊 虛擬方式重疊至現 實場景，藉由強化現實資訊的不足 • 它 電腦裡的虛擬世界和真實世界的圖片 素材 和資料 結合，進而產生出複合式 的影像， 這讓使用者不但 看到真實世 界的景象及虛擬世界的元素，同時還創造 出許多 人驚豔的互動
擴增實境的圖像
什麼是 混合實境 MR Mixed Reality • 混合實境是介於 AR 與 VR 之間的一種綜合狀態 AR 擴增實境在本質 還是現實，只是 入了 一些虛擬的元素 VR 虛擬實境則是全面的虛 擬 • 綜合實境 虛擬的場景與現實進行更高程度的 結合 使用者除了 透過半透明的顯示器看 到真實的世界，但畫面中也會有許多人造的 3D 影像，創造出一種似真似假 有真有假 亦真亦假使用體驗
混合實境的圖像
AR, VR
及MR類別
AR/MR眼鏡
VR眼鏡
AR智慧眼鏡的 特色及 能
解放雙手 Hands Free 第一視角 實現資料資訊即時回傳
第一視角採集的資訊即時回傳 Hands Free
供工作/手術清單 Visually Aware
落實執行手術清單
Homero Rivas Director of Innovative Surgery at Stanford University
大幅改善成果 Surgical checklist • Reduces complications by 1/3 • Deaths among inpatients after big operations have decreased by more than 40%
遠程反饋指 Hands Free 第一視角 實現資料資訊即時回傳
遠程反饋指 Hands Free
掃 條碼來辨識身份 Visually Aware
智能人臉/影像識別 Visually Aware
即時聯接病歷 Visually Aware
隨時調閱醫療影像 Visually Aware
多方即時視訊會診 Visually Aware
即時監測生命體徵 Visually Aware
AR手術指 In Context
AR/MR智慧眼鏡在 醫療領域 的應用極其廣泛
智慧眼鏡在醫療領域 緊急救護
應用
整合先進的Wearable Monitor 即時傳送Vital Sign資訊
智慧眼鏡在醫療領域 空中後送
醫師行動巡
應用
智慧眼鏡在醫療領域 遠距教學
遠距醫療
應用
智慧眼鏡在醫療領域 居家護理
遠距咨商
應用
智慧眼鏡在醫療領域 醫療手術及直播
應用
無人機緊急救難空拍
智慧眼鏡在醫療領域 病
護理
應用
串接HIS 及 PACS
智慧眼鏡在醫療領域 藥物辨試及管理
應用
直接口述 用影相建立病歷
No longer type a note
影片分享
VR醫療實際案例分享
講師：方向聯合數位科技有限公司 創辦人 陳思嘉
演講大綱 一. 公司介紹 二. 擴增實境AR、虛擬實境VR、混合實境MR 三. VR醫療實際案例分享 四. 討論
一. 公司介紹
一. 公司介紹
人機互動 透過Kinect/Webcam達 到人機互動的效果，增加 趣味性，運用於遊戲、教 育、醫療、行銷廣告等。
虛擬實境(VR) 使用者可在模擬出的立體、 高擬真的3D空間中藉由控 制器或鍵盤穿梭、互動。 可運用於遊戲、教育、模 擬訓練、醫療、行銷廣告 等
擴增實境(AR) 藉由攝影機的辨識技術與 電腦程式的結合，在現實 空間中添加虛擬物件。可 運用於遊戲、教育、醫療、 行銷廣告等
混合實境(MR) 把現實世界與虛擬世界合 併在一起，在現實世界中 的物件能夠與數位世界中 的物件共同存在並且即時 的產生互動
一. 公司介紹
360 /720環景設備銷售/租賃
各種360 /720環景設 備銷售/租賃
360 /720環景錄影
360/720環景錄影 VR APP開發加值應 用
720環景LIVE
720環景LIVE直播
二. 擴增實境AR、虛擬實境VR、混合實境MR
擴增實境（AR）
擴增實境（Augmented Reality），簡稱AR技術 一種即時地計算攝影機影像的位置及角度並加上相應圖像的 技術。這種技術可以通過全息投影，在鏡片的顯示幕幕中把 虛擬世界疊加在現實世界，操作者可以通過設備進行互動。
虛擬實境（VR）
虛擬實境（Virtual Reality），簡稱VR技術 利用電腦或其他智慧計算設備類比產生一個三度空間的虛擬 世界，提供使用者關於視覺、聽覺、觸覺等感官的模擬，讓 用戶如同身歷其境一般。
混合實境（Mixed Reality）
混合實境（Mixed Reality），簡稱MR技術 把現實世界與虛擬世界合併在一起，從而建立出一個新的環 境以及符合一般視覺上所認知的虛擬影像，在這之中現實世 界中的物件能夠與數位世界中的物件共同存在並且即時的產 生互動。
三. VR醫療實際案例分享
VR應用領域? • 全3D沉浸式手術室模擬 (Fully Immersive 3D Operation Room Simulations) • VR模擬(Simulation) • VR診斷((Diagnostics) • VR暴露治療 (Virtual Reality Exposure Therapy (VRET)) • VR復健(Rehabilitation) • 疼痛注意力轉移治療(Pain Distraction)
AR應用領域? • 手術應用(Surgical Applications) • 醫療復健(Rehabilitation) • 醫療諮詢和教育訓練(Training and Continuing Medical Education)
醫療＋VR的融合 醫療＋VR的融合 現實＋虛擬的交互 傳統＋互聯網的碰撞 將帶來一場醫療的革命 好醫術互聯網醫學院，帶您體驗不一樣的手術！ 好醫術互聯網醫學院，實操手術VR視頻直播的先行者，完成了首例骨科實操手 術VR視頻的錄製。好醫術積極探索醫療與VR的完美結合，為您還原真實手術 現場，讓您身臨其境，與大師零距學習操刀技巧
意識上的麻醉藥 通過虛擬場景的設置，來轉移患者注意力，進而達到治療的目的。 遊戲設置有虛擬的冰雪世界、冰冷的河流和瀑布，還有雪人和企鵝。病人可以 飛躍冰雪覆蓋的峽谷或者投擲雪球，此時他們的注意力完全集中於冰雪世界， 無暇顧及傷痛。
沉浸式抑鬱治療 Dartmouth DALI 實驗室中，他們第一步會先製作可以在虛擬實境介面播放 的影片內容，例如一片海灘上，伴隨些為太陽光照以及海洋微風徐徐吹來的影 像。而在太空船內跑步機中慢跑的太空員，戴上 Oculus Rift 顯示器後，會實 際看到周遭的環境隨著她們的每個動作而改變，彷彿身處在另一個環境中
心理治療 模擬引導冥想過程，使用者可以讓自己更沉浸在一個能讓自己快樂、更加放鬆 的環境，透過冥想體驗，能減少生活壓力和焦慮。 另外，VR 技術同時也可以作為壓力型精神衰弱的治療工具，包括創傷後壓力 心理障礙症(PTSD)和驚恐障礙或恐慌症。VR 技術可以為患者提供一個安全的 鍛鍊環境，讓患者與他們害怕的東西接觸，同時保持在一個安全可控制的環境。
四. 討論
謝謝指教 FOR WATCHING 方向聯合數位科技有限公司 24250 新北市新莊區福前街500-8號2樓 +886-2-8521-6481 +886-2-8521-6484 service@ddtmap.com http://www.ddtmap.com
AR與VR於醫學教育之應用 講師：陳穎信 三軍總醫院急診醫學部主治醫師 國防醫學院預防醫學研究所生檢組副組長 國防醫學院戰傷暨災難急救訓練中心主任
演講大綱 一. 資歷介紹 二. 前言 三. AR與VR於醫學教育之應用
四. 討論
一. 資歷介紹
一. 資歷介紹 陳穎信 Ying-Hsin Chen M.D., Ph.D. 三軍總醫院急診醫學部主治醫師 國防醫學院預防醫學研究所生物偵檢暨監測學組副組長 國防醫學院戰傷暨災難急救訓練中心主任 國防醫學院醫學系急診醫學科助理教授 慈濟大學醫學科學研究所博士 國防醫學院醫學系醫學士 英國曼徹斯特大學生命科學院訪問學者 美國心臟協會主任導師 新北市政府消防局醫療指導醫師 中華民國高級心臟救命術指導員 中華民國急診外傷救命術指導員 中華民國高級小兒救命術/小兒高級救命術指導員 中華民國緊急醫療救護訓練教官
二. 前言
二. 前言 虛擬現實和增強現實技術在最近幾年迎來火熱爆發，醫療、旅遊、地產等傳統 行業也成為AR/VR行業的深度研究和重點應用方向。 根據美國研究機構IndustryARC的一份報告稱，到2020年，虛擬現實和增強現 實在醫療健康領域將達25.4億美元的市場規模，之後將逐年遞增，成為醫療行 業的標準技術應用。 市場預測中，北美需求最大，達52%，且2013年至2020年該地區年複合增長率 約為18.8%；其次是歐洲，第三是亞太地區。 在可預期的時間內，醫療方面虛擬現實和增強現實的應用將從現在淺層的遠程 視頻、錄像應用等，向更高層次的智能系統集成、配套醫學技術方案等方向發 展，隨着技術不斷完善成熟，其在醫療領域的應用將會更加深入擴大。
三. AR與VR於醫學教育應用
AR/VR技術到底能做什麼? 1. 提供精準資訊核對，減少操作失誤 2. 緩解醫療資源分佈不均，把握最佳救治時機
3. 提高手術質量及效果，降低醫療風險 4. 縮短醫學教育時間，極大減少學習成本
1. 提供精準資訊核對，減少操作失誤 透過類似google智慧眼鏡，將患者的彩超、MRI、CT圖像等將直接映在手術 部位，讓醫生獲得“透視”功能；或是直接放大手術創口，讓醫生能夠看到肉 眼難以分辨的細微情況等等。醫護人員操作失誤造成的醫療事故也可以從第一 視角進行追責、手術過程復原，減少醫患糾紛。
2. 緩解醫療資源分佈不均，把握最佳救治時機 普通醫生可利用AR系統提供的精確文字、圖像幫助其一步步地完成手術全過程； 緊急救護人員可以通過智慧醫療系統讓醫療專家遠程獲得第一時間第一視角的 患者資訊並通過AR眼鏡對現場醫護人員作出針對性的搶救措施，防止因為錯失 搶救時間造成的遺憾。在面對複雜病情時，可以利用VR虛擬現實場景進行模擬 演練，從中找出最合適的手術方案等等。
3. 提高手術質量及效果，降低醫療風險 國外曾有團隊嘗試利用IGS技術結合google眼鏡打造智能醫療方案，使醫生在 手術中可根據病灶的情況決定切口大小，使創口最小化。不僅可以使外科手術 創傷減少，大大的縮短手術時間，還能極高的提高手術質量並降低手術風險。
4. 縮短醫學教育時間，極大減少學習成本 使用AR擴增眼鏡讓其他醫生同步臨場第一視角觀摩頂尖專科醫生的手術實操， 並使用輔助機器人系統進行實操，增加醫生技能掌握熟練程度；利用虛擬現實 技術結合力反饋的人體擬真系統模擬各種特殊的手術環境和疑難病例，練習各 種應急條件下的臨場處理和獨立應對能力，增強醫生的臨場應變和協作能力。
5. 真實案例 1. 2013年9月19日 印度的一位外科醫生藉助google智眼鏡為為病人 做手術。 2. 2014年7月 中國首次谷歌眼鏡手術教學直播在安徽省立醫院完成。 此次手術該院使用google智眼鏡對三腔心臟起搏器植入手術進行
全程現場直播，持續時間約3個小時。 3. 2015年12月 明尼蘇達州Nicklaus兒童醫院的醫生們利用google Cardboard進行了一例體外循環心臟手術。
4. 2016年1月20日，Realmax在上海展示婦產手術和臂骨骨折手術示 意案例。
四. 討論
謝謝指教 講師：陳穎信 三軍總醫院急診醫學部主治醫師 國防醫學院預防醫學研究所生檢組副組長 國防醫學院戰傷暨災難急救訓練中心主任
AR/VR in Neurosurgery Abel Po-Hao Huang, MD
Neurosurgery, NTUH Stanford Biodesign Fellowship
UCSF Clinical Fellowship
Medical Application VR/AR •
The typical application is to use VR/AR for education where surgeons train on virtual simulations and models of the human body
•
Going forward, such systems can be coupled with other imaging systems (MRI, CT) to enable a neurosurgeon to see a virtual 3-D image of a patient’s brain that is overlaid onto the patient’s actual anatomy
•
Through this process, surgeons may be able to perform surgeries that are currently impossible
Medical Application VR/AR •
VR tools can also be used to help patients in a multitude of ways such as using exposure therapy to treat phobias, treating military personal with PTSD, managing pain for burn victims, alleviating pain from phantom limb syndrome, assessing and rehabilitating those with brain damage, providing opportunities to explore different worlds for those who are disabled or homebound, and training young adults with autism.(1)
•
James Blaha is a game developer with a severe lazy eye (a condition that affects two to three percent of the world’s population) has used a virtual reality based training tool to cure this disease in 30-minute sessions over three to four weeks.(2) 1. Carson, Eric. (April 8, 2015). “10 ways virtual reality is revolutionizing medicine and healthcare.” TechRepublic. Accessed January 2016. http://www.techrepublic.com/article/10-ways-virtual-reality-isrevolutionizing-medicineand-healthcare/ 2. Stein, Joel. (August 27, 2015). “Inside the Box.” Time Magazine, page 43. Accessed December 2015.
Neuroanatomy
Rhoton’s neuroanatomy (iTuneU)
Surgical Theater
NeuroVR
ImmersiveTouch (ImmersiveTouch, Chicago, Illinois) virtual reality–based ventriculostomy simulator.
VR Ventriculostomy
Virtual reality in neurosurgical education (iTuneU)
Virtual Skull Base Surgery
Use in the Surgery? System Integration •
Endoscopy/ Microscopy
•
Navigation/ Real-time images
•
Robotics
•
Haptic
•
Surgical instruments: CUSA, debrider, water jet, coagulator, laser…
Robotic/holder + Navigation + Endoscope/Access
Surgical Application of DTI
•
Bimanual dissection (surgeons can use two hands)
•
Lacks: Degree of freedom Tactile feedback
Single Port DaVinci Robotic Platform Haptic+instruments+3D endoscope http://www.intuitivesurgical.com/
Seeing is believing but how you see is the question see under the micro-/endo-scope? see under the images/map? seeing under VR/AR?
AR-guided Brain Hemorrhage Surgery
24
Conclusion •
VR and AR are helping students, patients and surgeons
•
Most of these are educational
•
For real surgery Integration is the key to success
Abel Huang, MD how.how0622@gmail.com