[發(fā)明專(zhuān)利]用于記錄操作的方法和設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201310391471.5
• 申請(qǐng)日: 2013-09-02
• 公開(kāi)（公告）號(hào): CN103677254A
• 公開(kāi)（公告）日: 2014-03-26
• 發(fā)明（設(shè)計(jì)）人: M.韋農(nóng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 通用電氣公司
• 主分類(lèi)號(hào): G06F3/01
• 分類(lèi)號(hào): G06F3/01
• 代理公司: 中國(guó)專(zhuān)利代理(香港)有限公司 72001
• 代理人: 徐予紅;湯春龍

技術(shù)領(lǐng)域

本公開(kāi)一般涉及與移動(dòng)裝置交互，并且更具體地來(lái)說(shuō)，涉及使用移動(dòng)裝置記錄操作。?

背景技術(shù)

如平板計(jì)算機(jī)、個(gè)人計(jì)算機(jī)（PC)、智能電話、mp3播放器等的移動(dòng)裝置已開(kāi)發(fā)許多用途。這些裝置通常包括用于裝置的用戶控制的觸摸屏和/或鍵盤(pán)，以及用于拍照和/或錄制視頻的攝像機(jī)。?

在一些環(huán)境中，使用觸摸屏或鍵盤(pán)來(lái)控制裝置是不現(xiàn)實(shí)的。例如，衛(wèi)生機(jī)構(gòu)的手術(shù)室必須保持無(wú)菌環(huán)境，因此，使用觸摸屏和/或鍵盤(pán)非常麻煩，并且受限于因觸摸屏幕導(dǎo)致的感染、污染的風(fēng)險(xiǎn)。相應(yīng)地，無(wú)菌環(huán)境不允許多個(gè)用戶（例如，護(hù)士、手術(shù)醫(yī)生、麻醉師等）在該特定環(huán)境中運(yùn)行此類(lèi)裝置。?

發(fā)明內(nèi)容

本文公開(kāi)的示例方法包括使用移動(dòng)裝置的攝像機(jī)和來(lái)自攝像機(jī)的圖像輸入的基于熵的分割來(lái)識(shí)別用戶的指尖在與移動(dòng)裝置的控制接口分離形成的虛擬平面中的位置，確定用戶指尖位置與移動(dòng)裝置的控制接口之間的對(duì)應(yīng)，該對(duì)應(yīng)形成用戶輸入，該控制接口包括基于用戶輸入執(zhí)行的多個(gè)功能,在操作期間基于虛擬平面中的用戶指尖位置促進(jìn)通過(guò)移動(dòng)裝置的多個(gè)功能的一個(gè)或多個(gè)功能的執(zhí)行，并基于用戶輸入記錄操作的一個(gè)或多個(gè)事件以生成經(jīng)移動(dòng)裝置輸出的報(bào)告。?

本文公開(kāi)的示例設(shè)備包括：圖形濾波器，其用于使用移動(dòng)裝置的攝像機(jī)和來(lái)自攝像機(jī)的圖像輸入的基于熵的分割來(lái)識(shí)別指尖的一個(gè)或多個(gè)在與移動(dòng)裝置的控制接口分離形成的虛擬平面中的位置；用戶命令識(shí)別器，其用于確定用戶指尖位置與移動(dòng)裝置的控制接口之間的對(duì)應(yīng)，該對(duì)應(yīng)形成用戶輸入，該控制接口包括基于用戶輸入執(zhí)行的多個(gè)功能；控制器，其用于在操作期間基于虛擬平面中的用戶指尖位置促進(jìn)通過(guò)移動(dòng)裝置的多個(gè)功能的一個(gè)或多個(gè)功能的執(zhí)行；以及記錄器，其用于基于用戶輸入記錄操作的一個(gè)或多個(gè)事件以生成經(jīng)移動(dòng)裝置輸出的報(bào)告。?

一種示例機(jī)器介質(zhì)包括指令，該指令在被執(zhí)行時(shí)促使機(jī)器使用移動(dòng)裝置的攝像機(jī)和來(lái)自攝像機(jī)的圖像輸入的基于熵的分割來(lái)識(shí)別用戶指尖的一個(gè)或多個(gè)在與移動(dòng)裝置的控制接口分離形成的虛擬平面中的位置，確定用戶指尖位置與移動(dòng)裝置的控制接口之間的對(duì)應(yīng)，該對(duì)應(yīng)形成用戶輸入，該控制接口包括基于用戶輸入執(zhí)行的多個(gè)功能，在操作期間基于虛擬平面中的用戶指尖位置促進(jìn)通過(guò)移動(dòng)裝置的多個(gè)功能的一個(gè)或多個(gè)功能的執(zhí)行，并基于用戶輸入記錄操作的一個(gè)或多個(gè)事件以生成經(jīng)移動(dòng)裝置輸出的報(bào)告。?

根據(jù)本公開(kāi)的一方面，一種方法，其包括：使用移動(dòng)裝置的攝像機(jī)和來(lái)自所述攝像機(jī)的圖像輸入的基于熵的分割，來(lái)識(shí)別用戶的指尖的一個(gè)或多個(gè)在與所述移動(dòng)裝置的控制接口分離形成的虛擬平面中的位置；確定用戶指尖位置與所述移動(dòng)裝置的所述控制接口之間的對(duì)應(yīng)，所述對(duì)應(yīng)形成用戶輸入，所述控制接口包括基于所述用戶輸入執(zhí)行的多個(gè)功能；在操作期間基于所述虛擬平面中的用戶指尖位置促進(jìn)通過(guò)所述移動(dòng)裝置的所述多個(gè)功能的一個(gè)或多個(gè)功能的執(zhí)行；以及基于所述用戶輸入記錄操作的一個(gè)或多個(gè)事件以生成將經(jīng)由所述移動(dòng)裝置輸出的報(bào)告。?

其中所述虛擬平面與所述移動(dòng)裝置的所述控制接口分離且與所述移動(dòng)裝置的所述控制接口對(duì)應(yīng)，以及其中所述虛擬平面的第一坐標(biāo)對(duì)應(yīng)于所述移動(dòng)裝置的所述控制接口的第二坐標(biāo)。?

還包括：使用所述移動(dòng)裝置的所述攝像機(jī)檢測(cè)所述圖像輸入中的裝置標(biāo)識(shí)；基于所述裝置標(biāo)識(shí)確定裝置信息；以及將所述裝置信息作為所述操作的一個(gè)或多個(gè)事件之一記錄在所述報(bào)告中。?

還包括：基于通過(guò)所述用戶指尖位置識(shí)別的用戶命令，使用麥克風(fēng)或所述攝像機(jī)的至少其中之一存儲(chǔ)所述操作的音頻錄制或視頻錄制的至少其中之一；以及將所述操作的錄制與所述報(bào)告關(guān)聯(lián)。?

其中所述用戶的指尖位置將在覆蓋用戶指尖的一個(gè)或多個(gè)手套基本無(wú)碎屑時(shí)的第一時(shí)間進(jìn)行識(shí)別，以及在覆蓋用戶指尖的一個(gè)或多個(gè)手套基本覆蓋有碎屑時(shí)的第二時(shí)間進(jìn)行識(shí)別。?

其中記錄所述一個(gè)或多個(gè)事件還包括基于用戶設(shè)置或數(shù)據(jù)類(lèi)型的至少其中之一將來(lái)自執(zhí)行所述一個(gè)或多個(gè)功能的記錄數(shù)據(jù)轉(zhuǎn)換到某種格式。?

其中所述移動(dòng)裝置是平板計(jì)算機(jī)、智能電話、個(gè)人數(shù)字助理、個(gè)人計(jì)算機(jī)或膝上型計(jì)算機(jī)的至少其中之一。?