[發(fā)明專利]識(shí)別可旋轉(zhuǎn)緊固螺絲丟失的方法、裝置、終端及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011242240.4
• 申請(qǐng)日: 2020-11-09
• 公開（公告）號(hào): CN114462462A
• 公開（公告）日: 2022-05-10
• 發(fā)明（設(shè)計(jì)）人: 趙勇;錢浩;朱立發(fā);林昌偉
• 申請(qǐng)（專利權(quán)）人: 北京格靈深瞳信息技術(shù)有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06V20/64;B61K9/00
• 代理公司: 北京新知遠(yuǎn)方知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11397
• 代理人: 馬軍芳;張艷

1.一種識(shí)別可旋轉(zhuǎn)緊固螺絲丟失的方法，其特征在于，包括：

根據(jù)預(yù)先確定的剎車制動(dòng)盤和聯(lián)軸節(jié)處的可旋轉(zhuǎn)緊固螺絲標(biāo)準(zhǔn)圖點(diǎn)云向當(dāng)前圖點(diǎn)云配準(zhǔn)，獲取配準(zhǔn)后的點(diǎn)云在所述當(dāng)前圖點(diǎn)云坐標(biāo)系下的位置信息；

根據(jù)所述位置信息將標(biāo)準(zhǔn)圖中配準(zhǔn)后的點(diǎn)云的質(zhì)心變換到所述當(dāng)前圖點(diǎn)云坐標(biāo)系中，得到所述可旋轉(zhuǎn)緊固螺絲各自點(diǎn)云的質(zhì)心在當(dāng)前圖點(diǎn)云坐標(biāo)系中的坐標(biāo)信息；

根據(jù)所述坐標(biāo)信息確定丟失的可旋轉(zhuǎn)緊固螺絲。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，標(biāo)準(zhǔn)圖點(diǎn)云向當(dāng)前圖點(diǎn)云配準(zhǔn)，包括：

采用最近點(diǎn)匹配將標(biāo)準(zhǔn)圖點(diǎn)云向當(dāng)前圖點(diǎn)云配準(zhǔn)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)預(yù)先確定的剎車制動(dòng)盤和聯(lián)軸節(jié)處的可旋轉(zhuǎn)緊固螺絲標(biāo)準(zhǔn)圖點(diǎn)云向當(dāng)前圖點(diǎn)云配準(zhǔn)，獲取配準(zhǔn)后的點(diǎn)云在所述當(dāng)前圖點(diǎn)云坐標(biāo)系下的位置信息，包括：

載入標(biāo)準(zhǔn)圖點(diǎn)云；所述標(biāo)準(zhǔn)圖點(diǎn)云包括全局點(diǎn)云及局部點(diǎn)云，所述局部點(diǎn)云包括所述可旋轉(zhuǎn)緊固螺絲的點(diǎn)云，所述全局點(diǎn)云包括所述可旋轉(zhuǎn)緊固螺絲及其關(guān)聯(lián)部件的點(diǎn)云；

對(duì)所述全局點(diǎn)云進(jìn)行降采樣處理；

將所述標(biāo)準(zhǔn)圖點(diǎn)云中的全局點(diǎn)云與所述當(dāng)前圖點(diǎn)云中的全局點(diǎn)云進(jìn)行匹配，得到全局匹配結(jié)果；

以全局匹配結(jié)果為初值，將所述標(biāo)準(zhǔn)圖點(diǎn)云中的局部點(diǎn)云與所述當(dāng)前圖點(diǎn)云中的局部點(diǎn)云進(jìn)行匹配，得到相匹配的可旋轉(zhuǎn)緊固螺絲的點(diǎn)云；

在得到相匹配的可旋轉(zhuǎn)緊固螺絲的點(diǎn)云中，將其在當(dāng)前圖中的局部點(diǎn)云與標(biāo)準(zhǔn)圖的全局點(diǎn)云進(jìn)行配準(zhǔn)，得到配準(zhǔn)后的可旋轉(zhuǎn)緊固螺絲的點(diǎn)云；

獲取所述配準(zhǔn)后的可旋轉(zhuǎn)緊固螺絲的點(diǎn)云在所述當(dāng)前圖點(diǎn)云坐標(biāo)系下的位置信息。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在標(biāo)準(zhǔn)圖點(diǎn)云向當(dāng)前圖點(diǎn)云配準(zhǔn)之前，包括：

從2D的當(dāng)前圖中確定可旋轉(zhuǎn)緊固螺絲的位置信息，得到所述可旋轉(zhuǎn)緊固螺絲的點(diǎn)云。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述坐標(biāo)信息確定丟失的可旋轉(zhuǎn)緊固螺絲，包括：

利用相機(jī)內(nèi)參將所述坐標(biāo)信息映射到當(dāng)前圖的2D平面中，得到可旋轉(zhuǎn)緊固螺絲的映射坐標(biāo)；

將映射坐標(biāo)未位于預(yù)先確定的預(yù)選框內(nèi)的可旋轉(zhuǎn)緊固螺絲確定為丟失的可旋轉(zhuǎn)緊固螺絲。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，在將映射坐標(biāo)未位于預(yù)先確定的預(yù)選框內(nèi)的可旋轉(zhuǎn)緊固螺絲確定為丟失的可旋轉(zhuǎn)緊固螺絲之前，還包括：

基于深度全卷積網(wǎng)絡(luò)從拍攝得到的圖片中確定候選區(qū)域；

通過Faster R-CNN檢測(cè)器對(duì)所述候選區(qū)域進(jìn)行分類與邊框回歸處理，得到預(yù)選框；其中，深度全卷積網(wǎng)絡(luò)的輸入與Faster R-CNN檢測(cè)器的輸入采用相同的卷積特征圖。

7.一種識(shí)別可旋轉(zhuǎn)緊固螺絲丟失的裝置，其特征在于，包括：

獲取模塊，用于根據(jù)預(yù)先確定的剎車制動(dòng)盤和聯(lián)軸節(jié)處的可旋轉(zhuǎn)緊固螺絲標(biāo)準(zhǔn)圖點(diǎn)云向當(dāng)前圖點(diǎn)云配準(zhǔn)，獲取配準(zhǔn)后的點(diǎn)云在所述當(dāng)前圖點(diǎn)云坐標(biāo)系下的位置信息；

第一處理模塊，用于根據(jù)所述位置信息將標(biāo)準(zhǔn)圖中配準(zhǔn)后的點(diǎn)云的質(zhì)心變換到所述當(dāng)前圖點(diǎn)云坐標(biāo)系中，得到所述可旋轉(zhuǎn)緊固螺絲各自點(diǎn)云的質(zhì)心在當(dāng)前圖點(diǎn)云坐標(biāo)系中的坐標(biāo)信息；

第二處理模塊，用于根據(jù)所述坐標(biāo)信息確定丟失的可旋轉(zhuǎn)緊固螺絲。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述獲取模塊具體用于采用最近點(diǎn)匹配將標(biāo)準(zhǔn)圖點(diǎn)云向當(dāng)前圖點(diǎn)云配準(zhǔn)。