[發(fā)明專利]一種基于聯(lián)邦遷移學(xué)習(xí)的檢測(cè)方法、系統(tǒng)、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211128866.1
• 申請(qǐng)日: 2022-09-16
• 公開(kāi)（公告）號(hào): CN115470703A
• 公開(kāi)（公告）日: 2022-12-13
• 發(fā)明（設(shè)計(jì)）人: 丁香;楊樹(shù)森;王藝蒙;趙鵬;趙聰;李科學(xué);郭思言;李亞男;韓青
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06F30/27
• 分類號(hào): G06F30/27;G06F119/02
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 李鵬威

本發(fā)明公開(kāi)了一種基于聯(lián)邦遷移學(xué)習(xí)的檢測(cè)方法、系統(tǒng)、設(shè)備及介質(zhì)，基于追蹤加速的安全作業(yè)視頻實(shí)時(shí)檢測(cè)模型作為基礎(chǔ)模型，在數(shù)據(jù)不出作業(yè)現(xiàn)場(chǎng)本地的前提下，通過(guò)凍結(jié)批歸一化層參數(shù)和共享其他層參數(shù)的聯(lián)邦遷移技術(shù)為帶標(biāo)簽的源域電力公司的作業(yè)現(xiàn)場(chǎng)提供實(shí)時(shí)精準(zhǔn)的個(gè)性化安全作業(yè)檢測(cè)。通過(guò)基于源域全局模型的初始模型選擇、基于聯(lián)邦域?qū)咕W(wǎng)絡(luò)的偽標(biāo)簽預(yù)測(cè)和模型自訓(xùn)練為不帶標(biāo)簽的目標(biāo)域電力公司的作業(yè)現(xiàn)場(chǎng)提供實(shí)時(shí)精準(zhǔn)的安全作業(yè)視頻實(shí)時(shí)檢測(cè)。本發(fā)明表現(xiàn)出良好的收斂速度和穩(wěn)定性，滿足不同源域電力公司個(gè)性化需求，同時(shí)保持了較好的檢測(cè)精度和速度。與常用域自適應(yīng)算法相比，本發(fā)明具有最佳精度和最低延遲，顯著提升了域自適應(yīng)能力。

技術(shù)領(lǐng)域

本發(fā)明屬于工業(yè)智能技術(shù)領(lǐng)域，涉及一種基于聯(lián)邦遷移學(xué)習(xí)的檢測(cè)方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)

安全是電業(yè)建設(shè)和發(fā)展的永恒主題，近年來(lái)，隨著經(jīng)濟(jì)和社會(huì)的快速發(fā)展，電力規(guī)模日益擴(kuò)大，現(xiàn)場(chǎng)作業(yè)出現(xiàn)了點(diǎn)多、面廣、戰(zhàn)線長(zhǎng)、位置偏遠(yuǎn)、作業(yè)人員素質(zhì)參差不齊、流動(dòng)性大的現(xiàn)象，這極大增加了作業(yè)現(xiàn)場(chǎng)安全管控的難度，導(dǎo)致人身傷亡事故時(shí)有發(fā)生。

目前，常用的將視頻或圖像傳輸至云端監(jiān)控中心進(jìn)行安全行為檢測(cè)的方式主要面臨著數(shù)據(jù)安全性低、模型精度低、檢測(cè)效率低等問(wèn)題。首先，工作人員的面部數(shù)據(jù)是敏感和隱私的，作業(yè)現(xiàn)場(chǎng)的監(jiān)控視頻數(shù)據(jù)直接云中聚合的方式不再可取，但本地?cái)?shù)據(jù)不足單獨(dú)訓(xùn)練模型會(huì)導(dǎo)致模型性能不理想。如何在數(shù)據(jù)不出作業(yè)現(xiàn)場(chǎng)本地的前提下，為作業(yè)現(xiàn)場(chǎng)提供精準(zhǔn)的安全作業(yè)檢測(cè)模型是一個(gè)重大挑戰(zhàn)。其次，不同電力公司的安全保護(hù)裝備存在差異，例如安全帽的顏色，安全手套的材質(zhì)，掛牌的形狀等存在不同。傳統(tǒng)全局模型共享的聯(lián)邦模式已無(wú)法滿足每個(gè)電力公司對(duì)安全作業(yè)檢測(cè)的個(gè)性化需求。此外，視頻數(shù)據(jù)的標(biāo)注費(fèi)時(shí)費(fèi)力，針對(duì)樣本沒(méi)有標(biāo)簽的新公司，如何將樣本帶標(biāo)簽的電力公司(源域)的知識(shí)賦能至新公司(目標(biāo)域)，實(shí)現(xiàn)目標(biāo)域的安全作業(yè)精準(zhǔn)檢測(cè)也是一個(gè)重要挑戰(zhàn)。最后，工作人員的作業(yè)行為是否符合規(guī)范直接影響人身安全，當(dāng)前基于純?cè)萍軜?gòu)的檢測(cè)方式導(dǎo)致檢測(cè)延遲大大提高。在聯(lián)邦遷移學(xué)習(xí)框架下如何降低安全作業(yè)檢測(cè)的響應(yīng)延遲，從而滿足應(yīng)用的實(shí)時(shí)性需求也是亟待解決的。因此，面向電力戶外人員安全作業(yè)視頻實(shí)時(shí)檢測(cè)的聯(lián)邦遷移學(xué)習(xí)研究是必要的。

發(fā)明內(nèi)容

本發(fā)明的目的在于解決現(xiàn)有技術(shù)中的問(wèn)題，提供一種基于聯(lián)邦遷移學(xué)習(xí)的檢測(cè)方法、系統(tǒng)、設(shè)備及介質(zhì)，本發(fā)明以聯(lián)邦遷移學(xué)習(xí)的方式，在數(shù)據(jù)不出作業(yè)現(xiàn)場(chǎng)本地的情況下，同時(shí)為帶標(biāo)簽的源域和不帶標(biāo)簽的目標(biāo)域電力公司的作業(yè)現(xiàn)場(chǎng)提供實(shí)時(shí)、精準(zhǔn)、個(gè)性化的安全作業(yè)視頻檢測(cè)服務(wù)。

為達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案予以實(shí)現(xiàn)：

第一方面，本發(fā)明提供一種基于聯(lián)邦遷移學(xué)習(xí)的檢測(cè)方法，包括以下步驟：

根據(jù)源域的本地標(biāo)簽數(shù)據(jù)，訓(xùn)練輕量級(jí)的CNN檢測(cè)模型，利用聯(lián)邦聚合方法聚合CNN檢測(cè)模型的參數(shù)，得到本地模型；

采用聯(lián)邦遷移學(xué)習(xí)的個(gè)性化模型訓(xùn)練方法，對(duì)本地模型進(jìn)行處理，得到源域的個(gè)性化檢測(cè)模型；

對(duì)源域的個(gè)性化檢測(cè)模型的參數(shù)進(jìn)行平均聚合，得到源域全局模型，將源域全局模型作為目標(biāo)域的初始模型；

利用聯(lián)邦對(duì)抗網(wǎng)絡(luò)為目標(biāo)域訓(xùn)練偽標(biāo)簽預(yù)測(cè)器；

利用多個(gè)源域的個(gè)性化檢測(cè)模型進(jìn)行投票，得到偽標(biāo)簽預(yù)測(cè)器的預(yù)測(cè)結(jié)果；初始模型利用預(yù)測(cè)結(jié)果和目標(biāo)域不帶標(biāo)簽的數(shù)據(jù)進(jìn)行自訓(xùn)練，得到目標(biāo)域最終檢測(cè)模型；

采用固定的關(guān)鍵幀間隔方法從源域和目標(biāo)域的實(shí)時(shí)視頻幀序列中選擇關(guān)鍵幀；將關(guān)鍵幀輸入源域的個(gè)性化檢測(cè)模型和目標(biāo)域的最終檢測(cè)模型得到檢測(cè)結(jié)果，并將檢測(cè)結(jié)果發(fā)送至追蹤模塊作為追蹤模板；

將非關(guān)鍵幀輸入已完成關(guān)鍵幀檢測(cè)結(jié)果更新的輕量化的追蹤模塊，利用追蹤模板對(duì)非關(guān)鍵幀中的目標(biāo)進(jìn)行追蹤檢測(cè)，得到當(dāng)前非關(guān)鍵幀中檢測(cè)對(duì)象的坐標(biāo)，并繼承關(guān)鍵幀的分類結(jié)果。

第二方面，本發(fā)明提供一種基于聯(lián)邦遷移學(xué)習(xí)的檢測(cè)系統(tǒng)，包括：