[發(fā)明專利]用于手術(shù)室中的預(yù)測性工作流程的增強(qiáng)現(xiàn)實(shí)

在審

• 申請?zhí)枺?/td>: 201880012295.0
• 申請日: 2018-01-15
• 公開（公告）號: CN110301013A
• 公開（公告）日: 2019-10-01
• 發(fā)明（設(shè)計(jì)）人: M·L·弗萊克斯曼;A·阿拉拉奧;A·潘斯
• 申請（專利權(quán)）人: 皇家飛利浦有限公司
• 主分類號: G16H40/63
• 分類號: G16H40/63;G09B23/28
• 代理公司: 永新專利商標(biāo)代理有限公司 72002
• 代理人: 劉兆君

一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)包括頭戴式增強(qiáng)現(xiàn)實(shí)平臺(152)，其具有顯示器以向用戶提供引導(dǎo)。預(yù)測模塊(115)在流程中被訓(xùn)練并且被配置為基于當(dāng)前情況來預(yù)測流程中的下一活動。圖像生成模塊(148)對預(yù)測模塊進(jìn)行響應(yīng)，以通過頭戴式增強(qiáng)現(xiàn)實(shí)平臺來向用戶提供預(yù)測的下一活動的視覺提示。

技術(shù)領(lǐng)域

本公開涉及增強(qiáng)現(xiàn)實(shí)系統(tǒng)和方法，并且更具體地涉及用于基于歷史和偏好進(jìn)行行為預(yù)測以改善手術(shù)室環(huán)境中的工作流程的系統(tǒng)和方法。

背景技術(shù)

混合手術(shù)室(OR)和導(dǎo)管實(shí)驗(yàn)室(導(dǎo)管室)支持大范圍的成像協(xié)議。這些協(xié)議的數(shù)量和類型可能是復(fù)雜的，以便針對流程的每個(gè)步驟最佳地找到正確的協(xié)議。此外，當(dāng)嘗試在流程期間沒有幫助的情況下引入新協(xié)議、特征和工具時(shí)出現(xiàn)了挑戰(zhàn)。

在一個(gè)示例中，介入X射線套件提供了大量的特征和工具以優(yōu)化成像、采集各種圖像格式以及執(zhí)行復(fù)雜的協(xié)議。用戶交互通常通過諸如成像模塊、幾何模塊、xper模塊和審閱模塊的模塊以及通過鍵盤、鼠標(biāo)和監(jiān)視器(例如，數(shù)據(jù)和審閱監(jiān)視器)的典型屏幕上交互來執(zhí)行。這些模塊中的一些(通常是幾何形狀、成像和xper模塊也存在于控制室內(nèi)的側(cè)桌上)。

增強(qiáng)現(xiàn)實(shí)通常是指實(shí)時(shí)圖像流被補(bǔ)充有額外的計(jì)算機(jī)生成信息的情況。可以使用相機(jī)、智能電話、平板電腦等來提供實(shí)時(shí)圖像流。該圖像流通過顯示器來向用戶增強(qiáng)。

發(fā)明內(nèi)容

根據(jù)本原理，一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)包括頭戴式增強(qiáng)現(xiàn)實(shí)平臺，其具有向用戶提供引導(dǎo)的顯示器。預(yù)測模塊在流程中被訓(xùn)練并且被配置為基于當(dāng)前情況來預(yù)測流程中的下一活動。圖像生成模塊對預(yù)測模塊進(jìn)行響應(yīng)，以通過頭戴式增強(qiáng)現(xiàn)實(shí)平臺來向用戶提供預(yù)測的下一活動的視覺提示。

另一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)包括頭戴式增強(qiáng)現(xiàn)實(shí)平臺，其具有顯示器以向用戶提供引導(dǎo)。一個(gè)或多個(gè)模型存儲流程活動，并且預(yù)測模塊在至少一個(gè)流程中被訓(xùn)練并且被配置為基于當(dāng)前情況與一個(gè)或多個(gè)模型的比較來預(yù)測所述至少一個(gè)流程中的下一活動以確定適合當(dāng)前活動的最佳模型以預(yù)測下一活動或引導(dǎo)用戶完成所述至少一個(gè)流程中的一系列活動。圖像生成模塊對預(yù)測模塊進(jìn)行響應(yīng)，以通過頭戴式增強(qiáng)現(xiàn)實(shí)平臺的顯示器來向用戶提供預(yù)測的下一活動的視覺提示。

一種用于預(yù)測增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的下一步驟的方法包括：使用頭戴式增強(qiáng)現(xiàn)實(shí)平臺來收集表示流程中的當(dāng)前狀況的數(shù)據(jù)；基于所述當(dāng)前情況的數(shù)據(jù)和針對過去活動的存儲的歷史數(shù)據(jù)來預(yù)測流程中的下一活動；并且在頭戴式增強(qiáng)現(xiàn)實(shí)平臺的顯示器上生成視覺提示，以向所述用戶指示預(yù)測的下一活動。

根據(jù)以下對本公開的說明性實(shí)施例的詳細(xì)描述，本公開的這些及其他目標(biāo)、特征以及優(yōu)點(diǎn)將變得顯而易見，本公開的說明性實(shí)施例要結(jié)合附圖進(jìn)行閱讀。

附圖說明

本公開將參考下圖而詳細(xì)地呈現(xiàn)下面的優(yōu)選的實(shí)施例的描述，其中：

圖1是示出根據(jù)一個(gè)實(shí)施例的具有活動預(yù)測或引導(dǎo)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的框圖/流程圖；

圖2是示出根據(jù)另一實(shí)施例的包括說明性訓(xùn)練輸入或當(dāng)前情況輸入的另一增強(qiáng)現(xiàn)實(shí)系統(tǒng)的另一框圖/流程圖；

圖3是示出根據(jù)一個(gè)實(shí)施例的頭戴式顯示器的視圖并且指示針對序列中的下一活動的視覺提示的圖解；

圖4是示出根據(jù)一個(gè)實(shí)施例的通過頭戴式顯示器的自圖3起的隨后視圖并且指示針對序列中的下一活動的視覺提示的圖解；并且

圖5是示出根據(jù)說明性實(shí)施例的利用增強(qiáng)現(xiàn)實(shí)系統(tǒng)進(jìn)行活動預(yù)測或引導(dǎo)的方法的流程圖。

具體實(shí)施方式

根據(jù)本原理，提供了用于增強(qiáng)現(xiàn)實(shí)學(xué)習(xí)和定制的系統(tǒng)、設(shè)備和方法。本文描述的實(shí)施例提供與醫(yī)學(xué)流程或其他工作環(huán)境(例如，在制造環(huán)境等中)活動相關(guān)聯(lián)的增強(qiáng)現(xiàn)實(shí)引導(dǎo)的預(yù)測能力。在特別有用的實(shí)施例中，采用頭戴式顯示器，其可包括顯示器眼鏡，顯示器鏡片，隱形眼鏡，頭戴式顯示屏，具有平板電腦的虛擬現(xiàn)實(shí)固定件，智能電話等。