[發(fā)明專(zhuān)利]作業(yè)指導(dǎo)信息的提示方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011197754.2
• 申請(qǐng)日: 2020-10-30
• 公開(kāi)（公告）號(hào): CN112288883B
• 公開(kāi)（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 侯欣如
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京市商湯科技開(kāi)發(fā)有限公司
• 主分類(lèi)號(hào): G06T19/00
• 分類(lèi)號(hào): G06T19/00;G06V40/16;G06V20/50
• 代理公司: 北京中知恒瑞知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11889
• 代理人: 吳迪

本公開(kāi)提供了一種作業(yè)指導(dǎo)信息的提示方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，該作業(yè)指導(dǎo)信息的提示方法包括：獲取AR設(shè)備拍攝的現(xiàn)實(shí)場(chǎng)景圖像；根據(jù)圖像識(shí)別模型對(duì)現(xiàn)實(shí)場(chǎng)景圖像進(jìn)行目標(biāo)對(duì)象識(shí)別，得到識(shí)別結(jié)果以及識(shí)別結(jié)果的置信度；根據(jù)識(shí)別結(jié)果以及識(shí)別結(jié)果的置信度，從識(shí)別結(jié)果對(duì)應(yīng)的作業(yè)指導(dǎo)信息中選擇出與識(shí)別結(jié)果的置信度相對(duì)應(yīng)的目標(biāo)作業(yè)指導(dǎo)信息；通過(guò)AR設(shè)備展示包含目標(biāo)作業(yè)指導(dǎo)信息的AR畫(huà)面。

技術(shù)領(lǐng)域

本公開(kāi)涉及增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域，具體而言，涉及一種作業(yè)指導(dǎo)信息的提示方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

AR(Augmented?Reality，增強(qiáng)現(xiàn)實(shí))技術(shù)是一種將虛擬信息與真實(shí)世界巧妙融合的技術(shù)，廣泛運(yùn)用了多媒體、三維建模、實(shí)時(shí)跟蹤及注冊(cè)、智能交互、傳感等多種技術(shù)手段，將計(jì)算機(jī)生成的文字、圖像、三維模型、音樂(lè)、視頻等虛擬信息模擬仿真后，應(yīng)用到真實(shí)世界中，兩種信息互為補(bǔ)充，從而實(shí)現(xiàn)對(duì)真實(shí)世界的“增強(qiáng)”。

目前產(chǎn)生了結(jié)合AR技術(shù)的AR設(shè)備(如AR眼鏡)，通過(guò)AR設(shè)備能夠?qū)⑻摂M信息疊加到真實(shí)世界中。例如，在工業(yè)應(yīng)用中，作業(yè)人員在裝配、維修設(shè)備時(shí)可以通過(guò)佩戴AR設(shè)備來(lái)獲取相應(yīng)的作業(yè)指導(dǎo)信息。

然而，當(dāng)作業(yè)人員在處于不同的作業(yè)區(qū)或者同一作業(yè)區(qū)的不同環(huán)境下(比如白天和黑夜等)下時(shí)，AR設(shè)備所采集圖像的質(zhì)量有所差異，會(huì)導(dǎo)致誤識(shí)別的問(wèn)題，進(jìn)而對(duì)作業(yè)過(guò)程造成干擾。例如，因環(huán)境光線(xiàn)問(wèn)題可能將當(dāng)前正常的設(shè)備識(shí)別成故障設(shè)備，進(jìn)而投放對(duì)該故障如何進(jìn)行維修的作業(yè)指導(dǎo)信息，從而對(duì)正常的作業(yè)過(guò)程造成干擾。

發(fā)明內(nèi)容

本公開(kāi)實(shí)施例至少提供一種作業(yè)指導(dǎo)信息的提示方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

第一方面，本公開(kāi)實(shí)施例提供了一種作業(yè)指導(dǎo)信息的提示方法，包括：

獲取AR設(shè)備拍攝的現(xiàn)實(shí)場(chǎng)景圖像；

根據(jù)圖像識(shí)別模型對(duì)所述現(xiàn)實(shí)場(chǎng)景圖像進(jìn)行目標(biāo)對(duì)象識(shí)別，得到識(shí)別結(jié)果以及所述識(shí)別結(jié)果的置信度；

根據(jù)所述識(shí)別結(jié)果以及所述識(shí)別結(jié)果的置信度，從所述識(shí)別結(jié)果對(duì)應(yīng)的作業(yè)指導(dǎo)信息中選擇出與所述識(shí)別結(jié)果的置信度相對(duì)應(yīng)的目標(biāo)作業(yè)指導(dǎo)信息；

通過(guò)所述AR設(shè)備展示包含所述目標(biāo)作業(yè)指導(dǎo)信息的AR畫(huà)面。

本公開(kāi)實(shí)施例中，在對(duì)現(xiàn)實(shí)場(chǎng)景圖像進(jìn)行目標(biāo)對(duì)象識(shí)別后，根據(jù)進(jìn)行目標(biāo)對(duì)象識(shí)別的識(shí)別結(jié)果的置信度，確定與識(shí)別結(jié)果的置信度相對(duì)應(yīng)的作業(yè)指導(dǎo)信息，也即，對(duì)識(shí)別結(jié)果進(jìn)行置信度考量，根據(jù)置信度來(lái)確定當(dāng)前識(shí)別結(jié)果是否準(zhǔn)確，進(jìn)而可以避免因誤識(shí)別而對(duì)作業(yè)過(guò)程造成的干擾的情況發(fā)生，從而提高作業(yè)指導(dǎo)的可靠度。

根據(jù)第一方面，在一種可能的實(shí)施方式中，所述根據(jù)所述識(shí)別結(jié)果以及所述識(shí)別結(jié)果的置信度，從所述識(shí)別結(jié)果對(duì)應(yīng)的作業(yè)指導(dǎo)信息中選擇出與所述識(shí)別結(jié)果的置信度相對(duì)應(yīng)的目標(biāo)作業(yè)指導(dǎo)信息，包括：

根據(jù)所述識(shí)別結(jié)果，確定與所述識(shí)別結(jié)果相對(duì)應(yīng)的多個(gè)作業(yè)指導(dǎo)信息；

根據(jù)所述識(shí)別結(jié)果的置信度，以及預(yù)設(shè)的置信度與多個(gè)作業(yè)指導(dǎo)信息之間的關(guān)聯(lián)關(guān)系，確定與所述識(shí)別結(jié)果的置信度相對(duì)應(yīng)的目標(biāo)作業(yè)指導(dǎo)信息。

本公開(kāi)實(shí)施例中，置信度與作業(yè)指導(dǎo)信息之間的關(guān)聯(lián)關(guān)系可以是預(yù)設(shè)的，當(dāng)置信度確定后，相應(yīng)的作業(yè)指導(dǎo)信息也是確定的，可以直接進(jìn)行投放，因此，本實(shí)施方式在提高了作業(yè)指導(dǎo)的可靠度的同時(shí)還能提高確定作業(yè)指導(dǎo)信息的效率，進(jìn)而提高用戶(hù)體驗(yàn)。

根據(jù)第一方面，在一種可能的實(shí)施方式中，所述根據(jù)所述識(shí)別結(jié)果以及所述識(shí)別結(jié)果的置信度，從所述識(shí)別結(jié)果對(duì)應(yīng)的作業(yè)指導(dǎo)信息中選擇出與所述識(shí)別結(jié)果的置信度相對(duì)應(yīng)的目標(biāo)作業(yè)指導(dǎo)信息，包括：

根據(jù)所述識(shí)別結(jié)果，確定與所述識(shí)別結(jié)果相對(duì)應(yīng)的多個(gè)作業(yè)指導(dǎo)信息；