[發明專利]一種交通標志牌的信息匹配方法及相關裝置

在審

• 申請號: 202110473889.5
• 申請日: 2021-04-29
• 公開（公告）號: CN113762039A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 李海涵
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王兆林

1.一種交通標志牌的信息匹配方法，其特征在于，所述方法包括：

獲取采集得到的目標圖像，所述目標圖像中包括文本信息和交通標志牌；

通過信息匹配模型，對所述目標圖像進行處理得到所述目標圖像中文本信息與交通標志牌之間的匹配結果，所述信息匹配模型為端到端的神經網絡，所述神經網絡以目標圖像作為輸入，以文本信息與交通標志牌之間的匹配結果作為輸出。

2.根據權利要求1所述的方法，其特征在于，所述信息匹配模型包括特征提取網絡、檢測網絡和關系匹配網絡；

其中，所述特征提取網絡是以目標圖像為輸入，以圖像語義特征為輸出的第一神經網絡；

所述檢測網絡是以所述特征提取網絡的輸出為輸入，以文本檢測結果和交通標志牌檢測結果為輸出的第二神經網絡，所述文本檢測結果中包括指示文本信息在所述目標圖像中位置的文本位置信息，所述交通標志牌檢測結果中包括指示交通標志牌在所述目標圖像中位置的標志牌位置信息；

所述關系匹配網絡是以所述檢測網絡的輸出為輸入，以所述目標圖像中文本信息與交通標志牌之間的匹配結果為輸出的第三神經網絡。

3.根據權利要求2所述的方法，其特征在于，所述通過信息匹配模型，對所述目標圖像進行處理得到所述目標圖像中文本信息與交通標志牌之間的匹配結果，包括：

通過所述特征提取網絡對所述目標圖像進行特征提取得到圖像語義特征；

根據所述圖像語義特征，通過所述檢測網絡確定文本檢測結果和交通標志牌檢測結果；

根據所述文本檢測結果中的所述文本位置信息和所述交通標志牌檢測結果中的所述標志牌位置信息，通過所述關系匹配網絡確定所述目標圖像中所述文本信息與所述交通標志牌之間的匹配結果。

4.根據權利要求3所述的方法，其特征在于，所述根據所述文本檢測結果中的所述文本位置信息和所述交通標志牌檢測結果中的所述標志牌位置信息，通過所述關系匹配網絡確定所述目標圖像中所述文本信息與所述交通標志牌之間的匹配結果，包括：

確定所述標志牌位置信息對應的標志牌位置編碼和所述文本位置信息對應的文本位置編碼；

將所述標志牌位置編碼、所述文本位置編碼和所述圖像語義特征進行融合，得到融合特征；

根據所述融合特征確定所述目標圖像中所述文本信息與所述交通標志牌之間的匹配結果。

5.根據權利要求4所述的方法，其特征在于，所述將所述標志牌位置編碼、所述文本位置編碼和所述圖像語義特征進行融合，得到融合特征，包括：

根據所述標志牌位置信息和所述文本位置信息確定感興趣區域；

從所述圖像語義特征中裁剪得到所述感興趣區域對應的感興趣語義特征；

將所述感興趣語義特征與對應的所述標志牌位置編碼或所述文本位置編碼進行融合，得到所述融合特征。

6.根據權利要求3所述的方法，其特征在于，所述檢測網絡包括文本信息檢測分支和交通標志牌檢測分支；

其中，所述文本信息檢測分支是以所述特征提取網絡的輸出為輸入，以所述文本檢測結果為輸出的第四神經網絡；

所述交通標志牌檢測分支是以所述特征提取網絡的輸出為輸入，以所述交通標志牌檢測結果為輸出的第五神經網絡。

7.根據權利要求6所述的方法，其特征在于，所述根據所述圖像語義特征，通過所述檢測網絡確定文本檢測結果和交通標志牌檢測結果，包括：

通過所述文本信息檢測分支對所述圖像語義特征進行特征變換得到第一語義特征，所述第一語義特征中所述文本信息的特征的顯著性高于所述圖像語義特征中所述文本信息的特征的顯著性；

根據所述第一語義特征，通過所述文本信息檢測分支得到所述文本檢測結果；

通過所述交通標志牌檢測分支對所述圖像語義特征進行特征變換得到第二語義特征，所述第二語義特征中所述交通標志牌的特征的顯著性高于所述圖像語義特征中所述交通標志牌的特征的顯著性；

根據所述第二語義特征，通過所述交通標志牌檢測分支得到所述交通標志牌檢測結果。