[發(fā)明專利]感測(cè)系統(tǒng)、作業(yè)系統(tǒng)、增強(qiáng)現(xiàn)實(shí)圖像的顯示方法、以及存儲(chǔ)有程序的存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910790877.8
• 申請(qǐng)日: 2019-08-26
• 公開(kāi)（公告）號(hào): CN110871441A
• 公開(kāi)（公告）日: 2020-03-10
• 發(fā)明（設(shè)計(jì)）人: 大場(chǎng)雅文
• 申請(qǐng)（專利權(quán)）人: 發(fā)那科株式會(huì)社
• 主分類號(hào): B25J9/16
• 分類號(hào): B25J9/16;B25J13/00;B25J15/00;B25J19/02
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 宋融冰

本發(fā)明提供一種感測(cè)系統(tǒng)、作業(yè)系統(tǒng)、增強(qiáng)現(xiàn)實(shí)圖像的顯示方法、以及存儲(chǔ)有程序的存儲(chǔ)介質(zhì)，能夠?qū)崿F(xiàn)檢測(cè)對(duì)象的系統(tǒng)的工作的成功或失敗的原因查明的容易化、該系統(tǒng)的設(shè)定檢查的容易化、該系統(tǒng)的設(shè)定的容易化、狀態(tài)變化確認(rèn)的效率化、系統(tǒng)調(diào)整的簡(jiǎn)單化。感測(cè)系統(tǒng)具備：對(duì)象檢測(cè)單元，其通過(guò)對(duì)由檢測(cè)裝置得到的數(shù)據(jù)進(jìn)行預(yù)定的處理來(lái)檢測(cè)對(duì)象；增強(qiáng)現(xiàn)實(shí)圖像創(chuàng)建單元，其創(chuàng)建與進(jìn)行了所述預(yù)定的處理后的處理后數(shù)據(jù)內(nèi)所出現(xiàn)的多個(gè)候補(bǔ)之中的預(yù)定的參數(shù)為檢測(cè)閾值以上的候補(bǔ)對(duì)應(yīng)的AR圖像(73)，并創(chuàng)建與所述多個(gè)候補(bǔ)之中的所述預(yù)定的參數(shù)小于檢測(cè)閾值且為檢測(cè)候補(bǔ)閾值以上的候補(bǔ)對(duì)應(yīng)的候補(bǔ)AR圖像(80)；顯示AR圖像和候補(bǔ)AR圖像的顯示裝置。

技術(shù)領(lǐng)域

本發(fā)明涉及感測(cè)系統(tǒng)、作業(yè)系統(tǒng)、增強(qiáng)現(xiàn)實(shí)圖像的顯示方法、以及存儲(chǔ)有程序的存儲(chǔ)介質(zhì)。

背景技術(shù)

在現(xiàn)有技術(shù)中，已知一種作業(yè)系統(tǒng)，其具備：視覺(jué)傳感器，其用于檢測(cè)由搬運(yùn)裝置正在搬運(yùn)的對(duì)象的位置；以及機(jī)器人，其基于由視覺(jué)傳感器所檢測(cè)的檢測(cè)結(jié)果，進(jìn)行對(duì)象的取出作業(yè)(例如，參照專利文獻(xiàn)1。)。

另外，已知一種系統(tǒng)，其基于機(jī)器人的三維模型、以及三維坐標(biāo)上的作業(yè)人員的視點(diǎn)的位置，將所示教的機(jī)器人的動(dòng)作的軌跡顯示于顯示裝置(例如，參照專利文獻(xiàn)2。)。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特開(kāi)2005-111607號(hào)公報(bào)

專利文獻(xiàn)2：日本特開(kāi)2017-100234號(hào)公報(bào)

發(fā)明內(nèi)容

發(fā)明要解決的問(wèn)題

在利用機(jī)器人對(duì)由搬運(yùn)裝置正在搬運(yùn)的對(duì)象或正在移動(dòng)的對(duì)象或未移動(dòng)的對(duì)象進(jìn)行作業(yè)的系統(tǒng)中，當(dāng)由機(jī)器人對(duì)對(duì)象的作業(yè)未成功時(shí)，需要確認(rèn)其原因。為了進(jìn)行該確認(rèn)，目前需要記錄控制機(jī)器人的控制裝置內(nèi)的所有處理，并且解讀所記錄的處理。由于如此記錄的處理為文本數(shù)據(jù)的情況較多，因此原因的調(diào)查需要很長(zhǎng)時(shí)間?；蛘咝枰獪?zhǔn)備專門的解析軟件進(jìn)行解析而花費(fèi)費(fèi)用。另外，即使用專門的解析軟件，也難以直觀地理解現(xiàn)象。

另一方面，在所述作業(yè)系統(tǒng)中，雖然在機(jī)器人的控制裝置中設(shè)定有外圍裝置的坐標(biāo)系、機(jī)器人的坐標(biāo)系、機(jī)器人的作業(yè)區(qū)域、視覺(jué)傳感器的位置等，但不能直觀地識(shí)別出所設(shè)定的這些位置與現(xiàn)實(shí)空間的外圍裝置、機(jī)器人、視覺(jué)傳感器的位置等之間的關(guān)系。因此，存在未發(fā)現(xiàn)設(shè)定的失誤而開(kāi)始進(jìn)行生產(chǎn)的情況。其結(jié)果導(dǎo)致發(fā)生了機(jī)器人與外圍設(shè)備的干涉、利用機(jī)器人取出對(duì)象失敗等。

另外，在機(jī)器人未對(duì)對(duì)象進(jìn)行作業(yè)的情況下，由于判別不出原因是由于各種傳感器的測(cè)量還是在于對(duì)象的位置計(jì)算，因而調(diào)整耗費(fèi)時(shí)間。

另外，利用示教操作盤所進(jìn)行的機(jī)器人的控制裝置的設(shè)定、例如坐標(biāo)系的設(shè)定、機(jī)器人的作業(yè)區(qū)域的設(shè)定等，即使是熟知機(jī)器人操作的作業(yè)人員也需要很長(zhǎng)時(shí)間，對(duì)機(jī)器人的操作不熟練的作業(yè)人員則需要更長(zhǎng)的時(shí)間。

本發(fā)明是鑒于上述情況而做出的。本發(fā)明的目的是提供一種感測(cè)系統(tǒng)、作業(yè)系統(tǒng)、增強(qiáng)現(xiàn)實(shí)圖像的顯示方法、以及存儲(chǔ)有程序的存儲(chǔ)介質(zhì)，能夠?qū)崿F(xiàn)檢測(cè)對(duì)象的系統(tǒng)的工作的成功或失敗的原因查明的容易化、該系統(tǒng)的設(shè)定檢查的容易化、該系統(tǒng)的設(shè)定的容易化、或該系統(tǒng)的相關(guān)狀態(tài)變化、計(jì)算結(jié)果等的可視化。

用于解決問(wèn)題的方案

為了解決上述問(wèn)題，本發(fā)明采用以下方案。

本發(fā)明的第一方案的感測(cè)系統(tǒng)具備：檢測(cè)裝置，其用于檢測(cè)對(duì)象；對(duì)象檢測(cè)單元，其對(duì)由所述檢測(cè)裝置得到的數(shù)據(jù)進(jìn)行預(yù)定的處理；增強(qiáng)現(xiàn)實(shí)圖像創(chuàng)建單元，其創(chuàng)建與進(jìn)行了所述預(yù)定的處理后的處理后數(shù)據(jù)內(nèi)所出現(xiàn)的多個(gè)候補(bǔ)之中的預(yù)定的參數(shù)為檢測(cè)閾值以上的候補(bǔ)對(duì)應(yīng)的增強(qiáng)現(xiàn)實(shí)圖像，并且創(chuàng)建與所述多個(gè)候補(bǔ)之中的所述預(yù)定的參數(shù)小于所述檢測(cè)閾值且為檢測(cè)候補(bǔ)閾值以上的候補(bǔ)對(duì)應(yīng)的候補(bǔ)增強(qiáng)現(xiàn)實(shí)圖像；以及顯示裝置或投影裝置，其顯示或投影所述增強(qiáng)現(xiàn)實(shí)圖像和所述候補(bǔ)增強(qiáng)現(xiàn)實(shí)圖像。