[發(fā)明專利]一種使用機(jī)器手臂結(jié)合三維視覺(jué)的激光器打標(biāo)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211040577.6
• 申請(qǐng)日: 2022-11-14
• 公開(kāi)（公告）號(hào): CN115620114A
• 公開(kāi)（公告）日: 2023-01-17
• 發(fā)明（設(shè)計(jì)）人: 劉玉龍;張松
• 申請(qǐng)（專利權(quán)）人: 鼎耀（保定）智能科技有限公司
• 主分類號(hào): G06V10/84
• 分類號(hào): G06V10/84;G06V10/82;G06T7/73;B23K26/362
• 代理公司: 東莞市卓易專利代理事務(wù)所(普通合伙) 44777
• 代理人: 高祺

1.一種使用機(jī)器手臂結(jié)合三維視覺(jué)的激光器打標(biāo)方法，其特征在于，包括以下步驟：

步驟一：收集大量實(shí)驗(yàn)桌上安裝的攝像機(jī)采集的不同視角的實(shí)驗(yàn)數(shù)據(jù)，對(duì)實(shí)驗(yàn)視頻及圖片數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)器材類別標(biāo)注，采用深度學(xué)習(xí)方法進(jìn)行檢測(cè)模型訓(xùn)練；

步驟二：根據(jù)實(shí)驗(yàn)步驟及內(nèi)容，通過(guò)細(xì)分實(shí)驗(yàn)，將實(shí)驗(yàn)劃分為不同階段，并列舉出每個(gè)階段所有狀態(tài)，將實(shí)驗(yàn)結(jié)合實(shí)驗(yàn)階段及狀態(tài)構(gòu)建有向圖評(píng)價(jià)模型，結(jié)合教學(xué)及考試大綱得分點(diǎn)要對(duì)評(píng)價(jià)模型賦予不同得分權(quán)值；

步驟三：前端通過(guò)實(shí)驗(yàn)桌上多個(gè)視角的攝像頭獲取實(shí)驗(yàn)桌面及實(shí)驗(yàn)者操作過(guò)程的同步視頻數(shù)字信號(hào)，對(duì)數(shù)字信號(hào)進(jìn)行解碼，得到圖像幀，對(duì)圖像幀進(jìn)行預(yù)處理；

步驟四：利用預(yù)先針對(duì)實(shí)驗(yàn)器材訓(xùn)練好的檢測(cè)模型，通過(guò)深度學(xué)習(xí)目標(biāo)檢測(cè)算法，檢測(cè)出實(shí)驗(yàn)桌上實(shí)驗(yàn)儀器，結(jié)合計(jì)算機(jī)視覺(jué)進(jìn)行特定儀器狀態(tài)的檢測(cè)，檢測(cè)實(shí)驗(yàn)人手部動(dòng)作，結(jié)合手部動(dòng)作及實(shí)驗(yàn)儀器狀態(tài)等信息，識(shí)別出當(dāng)前實(shí)驗(yàn)進(jìn)度及狀態(tài)，輸入評(píng)價(jià)模型，通過(guò)評(píng)價(jià)模型給出實(shí)驗(yàn)最后得分，實(shí)現(xiàn)自動(dòng)評(píng)分功能。

2.根據(jù)權(quán)利要求1所述的使用機(jī)器手臂結(jié)合三維視覺(jué)的激光器打標(biāo)方法，其特征在于：步驟二中，具體實(shí)驗(yàn)方法如下：定義實(shí)驗(yàn)起始階段為start節(jié)點(diǎn)，第一階段為Stage_1，第一階段Stage_1中有{Status1,1，Status1,2…,Status1,m₁}m₁個(gè)狀態(tài)；第二階段Stage_2中有{Status2,1，Status2,2…,Status2,m₂}m₂個(gè)狀態(tài)；依次類推，第n-1階段Stage_n-1中有{Statusn-1,1，Statusn-1,2…,Statusn-1,m_n-1}m_n-1個(gè)狀態(tài)，結(jié)束點(diǎn)為end節(jié)點(diǎn)，隨后將第i階段，第j狀態(tài)節(jié)點(diǎn)標(biāo)記為s_i,j；定義由start到Stage_1的第m₁個(gè)狀態(tài)節(jié)點(diǎn)的獎(jiǎng)勵(lì)權(quán)重為其中s_0,0為start節(jié)點(diǎn)，定義由start到Stage_1的獎(jiǎng)勵(lì)權(quán)重矩陣為：

由Stage_1到Stage_2的各個(gè)狀態(tài)節(jié)點(diǎn)的權(quán)重獎(jiǎng)勵(lì)矩陣為：

在實(shí)際實(shí)驗(yàn)中，如果不存在從到的狀態(tài)則為0；最后一層Stage_n-1到end節(jié)點(diǎn)的權(quán)重獎(jiǎng)勵(lì)矩陣為：其中s_n,0為end節(jié)點(diǎn)。

3.根據(jù)權(quán)利要求1所述的使用機(jī)器手臂結(jié)合三維視覺(jué)的激光器打標(biāo)方法，其特征在于：步驟三中，圖像預(yù)處理包括對(duì)進(jìn)行圖像等比例縮放，圖像歸一化等操作。