[發(fā)明專利]一種基于全景圖的增強(qiáng)現(xiàn)實(shí)工業(yè)作業(yè)考試系統(tǒng)與方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310570852.3
• 申請(qǐng)日: 2023-05-19
• 公開(kāi)（公告）號(hào): CN116630102A
• 公開(kāi)（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 耿俊浩;徐瀛鵬
• 申請(qǐng)（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號(hào): G06Q50/20
• 分類號(hào): G06Q50/20;G06T19/00
• 代理公司: 東臺(tái)金誠(chéng)石專利代理事務(wù)所(特殊普通合伙) 32482
• 代理人: 周松濤

1.一種基于全景圖的增強(qiáng)現(xiàn)實(shí)工業(yè)作業(yè)考試系統(tǒng)，其特征在于，包括：設(shè)計(jì)單元和考試單元，所述設(shè)計(jì)單元包括考試題型模塊、答題方式模塊、考題設(shè)計(jì)模塊；

所述考試題型模塊用于提供基于全景圖的增強(qiáng)現(xiàn)實(shí)類視覺(jué)題和基于全景圖的增強(qiáng)現(xiàn)實(shí)類操作題的題型；

所述答題方式模塊用于提供鍵鼠交互答題方式、語(yǔ)音交互答題方式、視覺(jué)交互答題方式和手部交互答題方式；

所述考題設(shè)計(jì)模塊用于設(shè)計(jì)普通選擇判斷考題、視覺(jué)交互考題、圖表類考題以及操作題考題；

所述考試單元包括考題獲取模塊以及考題作答模塊，所述考題作答模塊包括普通選擇判斷題答題模塊、視覺(jué)交互考題答題模塊、圖表類考題答題模塊以及操作題考題答題模塊。

2.根據(jù)權(quán)利要求1所述的基于全景圖的增強(qiáng)現(xiàn)實(shí)工業(yè)作業(yè)考試系統(tǒng)，其特征在于，所述鍵鼠交互答題方式可完成PC端選擇題和判斷題的作答，若在手機(jī)端則通過(guò)觸屏完成選擇題和判斷題的作答，視覺(jué)交互答題方式可完成視覺(jué)交互考題的作答，語(yǔ)音交互答題方式可完成語(yǔ)音交互選擇題和判斷題的作答，手部交互答題方式是指通過(guò)外接輸入設(shè)備LeapMotion完成操作技能的考核。

3.根據(jù)權(quán)利要求1所述的基于全景圖的增強(qiáng)現(xiàn)實(shí)工業(yè)作業(yè)考試系統(tǒng)，其特征在于，所述考題設(shè)計(jì)模塊包括全景上傳模塊、題型定義模塊、選項(xiàng)定義模塊以及區(qū)域定義模塊；

所述全景上傳模塊用于準(zhǔn)備以及上傳與對(duì)應(yīng)考題相關(guān)的背景圖、全景圖或普通二維圖片；

所述題型定義模塊用于選擇考題類型以及答題方式，并設(shè)置考題題目?jī)?nèi)容；

所述選項(xiàng)定義模塊用于設(shè)置多個(gè)選項(xiàng)，并選擇其中一個(gè)為正確選項(xiàng)，或者，將考試相關(guān)模型導(dǎo)入系統(tǒng)，為導(dǎo)入的模型調(diào)整合適的視角，設(shè)置合適的大小，并將其移動(dòng)至合適的位置，設(shè)計(jì)操作的正確結(jié)果；

所述區(qū)域定義模塊用于通過(guò)區(qū)域定義功能在圖表中框選出對(duì)應(yīng)考題需要考核的圖紙內(nèi)容，框選部分與對(duì)應(yīng)考題的識(shí)別圖關(guān)聯(lián)。

4.根據(jù)權(quán)利要求3所述的基于全景圖的增強(qiáng)現(xiàn)實(shí)工業(yè)作業(yè)考試系統(tǒng)，其特征在于，所述考題設(shè)計(jì)模塊還包括定義點(diǎn)位模塊，用于選擇一個(gè)選項(xiàng)，通過(guò)定義點(diǎn)位功能在上傳好的全景圖中進(jìn)行漫游查看，選取合適的角度位置并在全景圖中截圖確定當(dāng)前位置，然后框選局部需要識(shí)別的區(qū)域生成滿足要求的識(shí)別圖，作為基于全景圖的增強(qiáng)現(xiàn)實(shí)識(shí)別注冊(cè)的依據(jù)，最后在該識(shí)別圖中設(shè)置一個(gè)中心點(diǎn)，作為后續(xù)增強(qiáng)信息顯示的中心點(diǎn)。

5.根據(jù)權(quán)利要求3所述的基于全景圖的增強(qiáng)現(xiàn)實(shí)工業(yè)作業(yè)考試系統(tǒng)，其特征在于，所述考題設(shè)計(jì)模塊還包括圖表上傳模塊，用于準(zhǔn)備以及上傳對(duì)應(yīng)考題需要考核的圖表內(nèi)容。

6.一種基于全景圖的增強(qiáng)現(xiàn)實(shí)工業(yè)作業(yè)考試方法，應(yīng)用于權(quán)利要求1-5任一所述的基于全景圖的增強(qiáng)現(xiàn)實(shí)工業(yè)作業(yè)考試系統(tǒng)，其特征在于，包括以下步驟：

考題設(shè)計(jì)，分別針對(duì)普通選擇判斷考題、視覺(jué)交互考題、圖表類考題以及操作題考題不同題型進(jìn)行設(shè)計(jì)；

獲取試題，終端設(shè)備通過(guò)網(wǎng)絡(luò)與考試系統(tǒng)服務(wù)器連接，進(jìn)而獲取考題；

考題作答，根據(jù)不同的考題采用對(duì)應(yīng)的答題方式進(jìn)行作答。

7.根據(jù)權(quán)利要求6所述的基于全景圖的增強(qiáng)現(xiàn)實(shí)工業(yè)作業(yè)考試方法，其特征在于，所述考題設(shè)計(jì)，具體包括：

全景上傳，準(zhǔn)備以及上傳與對(duì)應(yīng)考題相關(guān)的全景圖，用來(lái)代替真實(shí)環(huán)境，同時(shí)用于識(shí)別注冊(cè)；

圖表上傳，準(zhǔn)備以及上傳對(duì)應(yīng)考題需要考核的圖表內(nèi)容；

題型定義，選擇考題類型以及答題方式，并設(shè)置考題題目?jī)?nèi)容；

區(qū)域定義，通過(guò)區(qū)域定義功能在圖表中框選出對(duì)應(yīng)考題需要考核的圖紙內(nèi)容，框選部分與對(duì)應(yīng)考題的識(shí)別圖關(guān)聯(lián)；

選項(xiàng)定義，設(shè)置多個(gè)選項(xiàng)，并選擇其中一個(gè)為正確選項(xiàng)；

定義點(diǎn)位，選擇一個(gè)選項(xiàng)，通過(guò)定義點(diǎn)位功能在上傳好的全景圖中進(jìn)行漫游查看，選取合適的角度位置并在全景圖中截圖確定當(dāng)前位置，然后框選局部需要識(shí)別的區(qū)域生成滿足要求的識(shí)別圖，作為基于全景圖的增強(qiáng)現(xiàn)實(shí)識(shí)別注冊(cè)的依據(jù)，最后在該識(shí)別圖中設(shè)置一個(gè)中心點(diǎn)，作為后續(xù)增強(qiáng)信息顯示的中心點(diǎn)。

8.根據(jù)權(quán)利要求6所述的基于全景圖的增強(qiáng)現(xiàn)實(shí)工業(yè)作業(yè)考試方法，其特征在于，所述考題作答，具體包括：

若當(dāng)前考題為普通選擇判斷題，系統(tǒng)自動(dòng)記錄考生選擇的答案，同時(shí)在界面上的選項(xiàng)旁顯示已作答圖標(biāo)提示考生；

若當(dāng)前考題為視覺(jué)交互考題或圖表類考題，在考生控制相機(jī)移動(dòng)過(guò)程中，系統(tǒng)實(shí)時(shí)采集全景圖并提取圖像特征，然后通過(guò)基于特征點(diǎn)匹配的識(shí)別方法，將提取的全景圖的特征與設(shè)計(jì)過(guò)程生成的識(shí)別圖的離線特征進(jìn)行匹配，若匹配成功，則采用基于單應(yīng)性的位姿估計(jì)方法進(jìn)行位姿估計(jì)，在識(shí)別圖中設(shè)置的中心點(diǎn)所對(duì)應(yīng)的全景圖中的位置疊加增強(qiáng)現(xiàn)實(shí)引導(dǎo)信息，將全景圖代替的真實(shí)世界信息和虛擬引導(dǎo)信息融合顯示在系統(tǒng)終端設(shè)備的屏幕上，完成基于全景圖的增強(qiáng)現(xiàn)實(shí)注冊(cè)，提示考生該位置是一個(gè)考核選項(xiàng)，采用該種方式，考生實(shí)現(xiàn)全場(chǎng)景漫游，全選項(xiàng)預(yù)覽，考生將手勢(shì)圖標(biāo)移動(dòng)至某一增強(qiáng)信息上，系統(tǒng)記錄考生選擇的答案，同時(shí)界面上的增強(qiáng)信息旁顯示已選擇該選項(xiàng)圖標(biāo)提示考生；

若當(dāng)前考題為操作題，考試相關(guān)模型會(huì)根據(jù)設(shè)計(jì)的姿態(tài)顯示在系統(tǒng)終端設(shè)備的屏幕上，考生根據(jù)考題要求，通過(guò)變換手勢(shì)進(jìn)行模型操作，LeapMotion讀取對(duì)應(yīng)手部操作后，與標(biāo)準(zhǔn)答案進(jìn)行比較，判斷操作是否正確；

待考試提交后，系統(tǒng)將作答過(guò)程中記錄的考生選擇的答案與標(biāo)準(zhǔn)答案進(jìn)行比較，給出評(píng)分。