[發(fā)明專利]一種基于AR技術(shù)的計(jì)量設(shè)備故障檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910971363.2
• 申請(qǐng)日: 2019-10-14
• 公開(kāi)（公告）號(hào): CN110689148A
• 公開(kāi)（公告）日: 2020-01-14
• 發(fā)明（設(shè)計(jì)）人: 張秋雁;張俊瑋;丁超;黎世華;王鐸潤(rùn);王藍(lán)苓;李航峰;高承貴;張海永;錢(qián)威;張馳;黃宸希
• 申請(qǐng)（專利權(quán)）人: 貴州電網(wǎng)有限責(zé)任公司
• 主分類號(hào): G06Q10/00
• 分類號(hào): G06Q10/00;G06F16/33;G06K9/00;G06K9/62;G01R35/04
• 代理公司: 52100 貴陽(yáng)中新專利商標(biāo)事務(wù)所
• 代理人: 胡緒東

本發(fā)明公開(kāi)了一種基于AR技術(shù)的計(jì)量設(shè)備故障檢測(cè)方法，該方法包括步驟：使用AR設(shè)備采集運(yùn)維現(xiàn)場(chǎng)中的環(huán)境數(shù)據(jù)，由圖像識(shí)別技術(shù)提取出設(shè)備型號(hào)，根據(jù)設(shè)備指示燈等信息進(jìn)行智能視覺(jué)故障判別，然后進(jìn)入專家?guī)熘袑?duì)相關(guān)故障進(jìn)行檢索；如檢索到相關(guān)數(shù)據(jù)，通過(guò)AR設(shè)備生成的設(shè)備模型，將排除故障的關(guān)鍵點(diǎn)疊加到現(xiàn)實(shí)場(chǎng)景中引導(dǎo)現(xiàn)場(chǎng)維護(hù)人員對(duì)故障進(jìn)行排查。如遇依賴圖像識(shí)別進(jìn)行的初步判定無(wú)法確認(rèn)的故障，使用語(yǔ)音（由語(yǔ)音識(shí)別引擎識(shí)別關(guān)鍵字后向?qū)＜規(guī)爝M(jìn)行提交檢索需求）向?qū)＜規(guī)爝M(jìn)行知識(shí)檢索。本發(fā)明應(yīng)用于計(jì)量設(shè)備現(xiàn)場(chǎng)故障檢測(cè)，降低對(duì)運(yùn)維人員技術(shù)要求，提高運(yùn)維工作效率。

技術(shù)領(lǐng)域

本發(fā)明屬于低壓運(yùn)維技術(shù)領(lǐng)域，具體涉及一種基于AR技術(shù)的計(jì)量設(shè)備故障檢測(cè)方法。

背景技術(shù)

隨著智能電表及低壓集抄等計(jì)量設(shè)備將實(shí)現(xiàn)全覆蓋，低壓集抄運(yùn)維的任務(wù)非常艱巨，主要存在原有抄表運(yùn)維人員技術(shù)水平和經(jīng)驗(yàn)有局限、運(yùn)維記錄不便統(tǒng)計(jì)分析、運(yùn)維工作全過(guò)程無(wú)法得到有效監(jiān)管等問(wèn)題，迫切需要通過(guò)新技術(shù)來(lái)提高計(jì)量設(shè)備的運(yùn)維工作效率。

目前低壓集抄終端表計(jì)規(guī)模巨大、種類多、更新快，傳統(tǒng)運(yùn)維需要人工現(xiàn)場(chǎng)巡檢，通過(guò)現(xiàn)場(chǎng)查勘，了解故障現(xiàn)象，才可以提出檢修方案。而檢修過(guò)程采用紙質(zhì)記錄，數(shù)據(jù)關(guān)聯(lián)性差，不易統(tǒng)計(jì)分析，加上專家數(shù)量有限，無(wú)法較好提供現(xiàn)場(chǎng)協(xié)助，不能及時(shí)消除設(shè)備隱患，運(yùn)維成本較高。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問(wèn)題是：提供一種基于AR技術(shù)的計(jì)量設(shè)備故障檢測(cè)方法，以解決現(xiàn)有技術(shù)中存在的問(wèn)題。

本發(fā)明采取的技術(shù)方案為：一種基于AR技術(shù)的計(jì)量設(shè)備故障檢測(cè)方法，該方法包括以下步驟：

（1）離線構(gòu)建圖像識(shí)別引擎：采集5000張以上現(xiàn)場(chǎng)設(shè)備圖像素材標(biāo)記特征，使用YOLO算法訓(xùn)練計(jì)量設(shè)備圖像識(shí)別模型；

（2）離線構(gòu)建故障診斷專家知識(shí)庫(kù)：根據(jù)電力設(shè)備運(yùn)維作業(yè)的標(biāo)準(zhǔn)化及安全性要求，建立低壓集抄計(jì)量終端SOP標(biāo)準(zhǔn)化知識(shí)庫(kù)。具體的，知識(shí)庫(kù)由多個(gè)知識(shí)庫(kù)組成，每個(gè)子知識(shí)庫(kù)是一顆知識(shí)樹(shù)，通過(guò)對(duì)象類之間的語(yǔ)義聯(lián)系和約束關(guān)系將知識(shí)對(duì)象組織成知識(shí)樹(shù)；

（3）使用雙目分體機(jī)AR眼鏡采集計(jì)量設(shè)備圖像數(shù)據(jù)、運(yùn)維人員現(xiàn)場(chǎng)語(yǔ)音數(shù)據(jù)；

（4）上傳步驟（3）中數(shù)據(jù)到web運(yùn)維云服務(wù)器；

（5）采用ffmpeg解碼程序?qū)鞯皆品?wù)器上的視頻流分解成一張張圖片，調(diào)用圖像識(shí)別引擎，識(shí)別設(shè)備型號(hào)和設(shè)備指示燈；

（6）調(diào)用百度語(yǔ)音識(shí)別API，將語(yǔ)音轉(zhuǎn)換為文本，分詞后，逐詞同故障關(guān)鍵詞名單匹配，查詢故障代碼；

（7）由步驟（5）和步驟（6）得到的故障類型，在故障診斷專家知識(shí)庫(kù)中檢索故障處置方法；

（8）通過(guò)AR眼鏡與現(xiàn)場(chǎng)運(yùn)維人員交互，將步驟（7）得到的故障處置方法疊加到現(xiàn)實(shí)場(chǎng)景中，引導(dǎo)現(xiàn)場(chǎng)運(yùn)維人員對(duì)故障進(jìn)行排查。

步驟（1）中圖像識(shí)別引擎構(gòu)建方法：通過(guò)圖像深度學(xué)習(xí)訓(xùn)練工具導(dǎo)入5000張以上現(xiàn)場(chǎng)設(shè)備圖像素材，圖像素材包括現(xiàn)場(chǎng)設(shè)備正常運(yùn)行和各種故障狀態(tài)的圖片素材，對(duì)每張圖片進(jìn)行標(biāo)記特征，每張圖片的特征包括廠家名稱、型號(hào)、電源燈、運(yùn)行燈、液晶屏幕和條形碼，使用YOLO算法訓(xùn)練計(jì)量設(shè)備圖像識(shí)別模型。

步驟（2）低壓集抄計(jì)量終端SOP標(biāo)準(zhǔn)化知識(shí)庫(kù)的知識(shí)用一組規(guī)則來(lái)表達(dá)，即設(shè)備故障滿足條件時(shí)反饋對(duì)應(yīng)的故障處置方法。

步驟（4）中雙目分體機(jī)AR眼鏡過(guò) USB 數(shù)據(jù)線插入具有 USB 通訊接口的便攜式終端，便攜式終端使用4G網(wǎng)絡(luò)傳輸現(xiàn)場(chǎng)數(shù)據(jù)到web運(yùn)維云服務(wù)器。

步驟（5）中圖像識(shí)別分析計(jì)量設(shè)備圖像后，量化定義識(shí)別結(jié)果，每種故障均對(duì)應(yīng)一個(gè)故障代碼。

步驟（5）中圖像識(shí)別若未識(shí)別出故障內(nèi)容，將當(dāng)前識(shí)別的圖像添加到計(jì)量圖像識(shí)別訓(xùn)練數(shù)據(jù)庫(kù)中。