[發明專利]基于深度學習的osd菜單語言自動化檢測方法及系統

在審

• 申請號: 202011102734.2
• 申請日: 2020-10-15
• 公開（公告）號: CN112508845A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 林志賢;滕斌;郭太良;林珊玲;謝斌
• 申請（專利權）人: 福州大學;閩都創新實驗室
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

1.一種基于深度學習的osd菜單語言自動化檢測方法，其特征在于，包括以下步驟：

步驟S1:獲取osd菜單的圖像數據集；

步驟S2:對圖像數據集中的圖像進行預處理，并通過圖像增廣擴充數據集；

步驟S3:構建深度神經網絡，并對圖像數據集經行特征提取；

步驟S4:根據提取的特征通過分類器分類，以實現不同界面不同拍攝環境下osd菜單文字的識別；

步驟S5:利用人工設計特征，使用模板匹配的方法精選輔助訓練，對分類器的分類結果進一步分類，獲取osd菜單所示文字的識別結果；

步驟S6:利用匹配定位算法，比照標準對照表定位出osd菜單上顯示不符標準的地方。

2.根據權利要求1所述的基于深度學習的osd菜單語言自動化檢測方法，其特征在于，所述步驟S1具體為：對不同型號顯示器利用相機進行拍照，獲取osd菜單圖像，并針對不同語種的形體進行標注，制作分類標簽。

3.根據權利要求1所述的基于深度學習的osd菜單語言自動化檢測方法，其特征在于，所述步驟S2具體為：

步驟S21:對圖像數據集中的圖像進行平滑去噪二值化處理，同時將圖像歸一化成統一大小；

步驟S22:對預處理后的圖像進行圖像增廣以擴充數據集。

4.根據權利要求1所述的基于深度學習的osd菜單語言自動化檢測方法，其特征在于，所述圖像增廣的方法包括對圖像進行水平平移、豎直平移和旋轉。

5.根據權利要求1所述的基于深度學習的osd菜單語言自動化檢測方法，其特征在于，所述步驟S3具體為：通過深度學習搭建神經網絡，采用Inception_V3結構單元實現圖像的并行壓縮；采用多層池化單元實現圖像的并行壓縮，并行整合特征，最大限度提取出具有平移不變性的特征；采用多層過濾器替代大尺寸過濾器；采用批量歸一化，對數據內部進行標準化處理，使輸出規范化到0到1之間的正態分布。

6.根據權利要求1所述的基于深度學習的osd菜單語言自動化檢測方法，其特征在于，所述步驟S4具體為：將提取的特征通過分類器分類，實現不同界面不同拍攝環境下osd菜單文字的識別，采取softmax函數作為分類器進行計算，所輸出的模型預測概率為：

其中，表示當前實例屬于第k類的概率，n表示總類別數，s _k(x)表示當前實例x屬于第k類的得分，exp(·)表示對括號內元素求指數，表示實例x關于從1到n的所有類別的得分的指數值的總和，k的范圍為1到n，j的范圍為1到n。

7.根據權利要求1所述的基于深度學習的osd菜單語言自動化檢測方法，其特征在于，所述步驟S6具體為：將識別出的osd菜單結果以文本形式輸出，利用優化的匹配定位算法，結合各顯示器的菜單標準對照表定位出osd菜單顯示不標準的位置所在。

8.一種基于深度學習的osd菜單語言自動化檢測系統，其特征在于，包括：依次連接的數據輸入模塊、圖像預處理及圖像增廣模塊、智能識別模塊、文字概率預測模塊、深入匹配和匹配定位模塊；

所述數據輸入模塊，用于獲取osd菜單圖像數據集并制作分類標簽；

所述圖像預處理及圖像增廣模塊，用于對圖像數據集中的圖像進行預處理，并通過圖像增廣擴充數據集；

所述智能識別模型模塊，用于對預處理與圖像增廣后的圖像數據集進行特征提取，以實現不同界面不同拍攝環境下osd菜單文字的識別；

所述文字概率預測模塊，用于對提取的特征通過分類器分類，并以概率值的形式由大到小依次輸出模型預測結果；

所述深入匹配模塊，用于利用人工設計特征，對文字概率預測模塊分類結果所限定的指定范圍內使用模板匹配的方法進行輔助訓練，以對分類器的分類結果進一步分類；

所述匹配定位模塊，用于利用優化的匹配定位算法，結合各顯示器的菜單標準對照表，在識別結果中定位出osd菜單顯示不標準的位置所在。