[發(fā)明專利]機器運行狀態(tài)檢測方法、裝置及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202010809719.5
• 申請日: 2020-08-13
• 公開（公告）號: CN112733588A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設(shè)計）人: 朱曉寧;孫惠康
• 申請（專利權(quán)）人: 精英數(shù)智科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G10L25/03;G10L25/30;G10L25/51
• 代理公司: 北京薈英捷創(chuàng)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11726
• 代理人: 王獻茹

1.一種機器運行狀態(tài)檢測方法，其特征在于，包括：

獲取目標(biāo)機器運行過程中的音頻數(shù)據(jù)，基于所述音頻數(shù)據(jù)確定所述目標(biāo)機器的運行狀態(tài)，得到第一結(jié)果；

獲取所述目標(biāo)機器的運行圖像，基于所述運行圖像識別所述目標(biāo)機器的運行狀態(tài)，得到第二結(jié)果；

對所述第一結(jié)果和所述第二結(jié)果進行數(shù)據(jù)融合，得到所述目標(biāo)機器的狀態(tài)檢測結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述第一結(jié)果和所述第二結(jié)果進行數(shù)據(jù)融合，得到所述目標(biāo)機器的狀態(tài)檢測結(jié)果的步驟，包括：

基于D-S證據(jù)理論算法對所述第一結(jié)果和所述第二結(jié)果進行融合計算，得到所述目標(biāo)機器的狀態(tài)檢測結(jié)果。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于D-S證據(jù)理論算法對所述第一結(jié)果和所述第二結(jié)果進行融合計算，得到所述目標(biāo)機器的狀態(tài)檢測結(jié)果的步驟，包括：

基于所述第一結(jié)果、所述第二結(jié)果及融合計算算式確定所述目標(biāo)機器的狀態(tài)檢測結(jié)果。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述目標(biāo)機器包括采煤機，所述運行狀態(tài)包括正常運行狀態(tài)、停機狀態(tài)和非正常運行狀態(tài)；所述融合計算算式為：

其中，m(A)為所述狀態(tài)檢測結(jié)果，m₁(A₁)為所述第一結(jié)果，m₂(A₂)為所述第二結(jié)果，所述第一結(jié)果和所述第二結(jié)果包括所述采煤機處于各所述運行狀態(tài)下的概率值，A₁為基于所述音頻數(shù)據(jù)確定所述目標(biāo)機器的運行狀態(tài)的事件，A₂為基于所述運行圖像識別所述目標(biāo)機器的運行狀態(tài)的事件，k為沖突因子。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取目標(biāo)機器運行過程中的音頻數(shù)據(jù)，基于所述音頻數(shù)據(jù)確定所述目標(biāo)機器的運行狀態(tài)，得到第一結(jié)果的步驟，包括：

采集目標(biāo)機器運行過程中的音頻數(shù)據(jù)，并基于所述音頻數(shù)據(jù)確定所述目標(biāo)機器運行產(chǎn)生的頻譜圖；

將所述頻譜圖輸入預(yù)先訓(xùn)練得到的第一神經(jīng)網(wǎng)絡(luò)模型中，得到所述目標(biāo)機器的第一結(jié)果；其中，所述第一神經(jīng)網(wǎng)絡(luò)模型是基于標(biāo)注有運行狀態(tài)的頻譜圖樣本訓(xùn)練得到的。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述基于所述音頻數(shù)據(jù)確定所述目標(biāo)機器運行產(chǎn)生的頻譜圖的步驟，包括：

將所述音頻數(shù)據(jù)分割為預(yù)設(shè)時長的音頻片段；

對各所述音頻片段進行去噪處理，并利用音頻數(shù)據(jù)處理庫將各所述音頻片段轉(zhuǎn)換為對應(yīng)的頻譜圖。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述運行圖像識別所述目標(biāo)機器的運行狀態(tài)，得到第二結(jié)果的步驟，包括：

將所述運行圖像輸入預(yù)先訓(xùn)練得到的第二神經(jīng)網(wǎng)絡(luò)模型中，得到所述目標(biāo)機器的第二結(jié)果；其中，所述第二神經(jīng)網(wǎng)絡(luò)模型是基于標(biāo)注有運行狀態(tài)的運行圖像樣本訓(xùn)練得到的；

或者，

根據(jù)所述運行圖像獲取與所述目標(biāo)機器運行狀態(tài)相關(guān)的參數(shù)信息，基于所述參數(shù)信息確定所述目標(biāo)機器的運行狀態(tài)，得到第二結(jié)果。

8.一種機器運行狀態(tài)檢測裝置，其特征在于，包括：

狀態(tài)確定模塊，用于獲取目標(biāo)機器的音頻數(shù)據(jù)，基于所述音頻數(shù)據(jù)確定所述目標(biāo)機器的運行狀態(tài)，得到第一結(jié)果；

狀態(tài)識別模塊，用于獲取所述目標(biāo)機器的運行圖像，基于所述運行圖像識別所述目標(biāo)機器的運行狀態(tài)，得到第二結(jié)果；

數(shù)據(jù)融合模塊，用于對所述第一結(jié)果和所述第二結(jié)果進行數(shù)據(jù)融合，得到所述目標(biāo)機器的狀態(tài)檢測結(jié)果。

9.一種電子設(shè)備，其特征在于，包括：聲音采集裝置、圖像采集裝置、處理器和存儲裝置；

所述圖像采集裝置用于獲取目標(biāo)機器運行過程中的音頻數(shù)據(jù)；

所述聲音采集裝置用于獲取目標(biāo)機器的運行圖像；

所述存儲裝置上存儲有計算機程序，所述計算機程序在被所述處理器運行時執(zhí)行如權(quán)利要求1至7任一項所述的方法。

10.一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)上存儲有計算機程序，其特征在于，所述計算機程序被處理器運行時執(zhí)行上述權(quán)利要求1至7任一項所述的方法的步驟。