[發明專利]一種交通標志牌的信息匹配方法及相關裝置在審
| 申請號: | 202110473889.5 | 申請日: | 2021-04-29 |
| 公開(公告)號: | CN113762039A | 公開(公告)日: | 2021-12-07 |
| 發明(設計)人: | 李海涵 | 申請(專利權)人: | 騰訊科技(深圳)有限公司 |
| 主分類號: | G06K9/00 | 分類號: | G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司: | 深圳市深佳知識產權代理事務所(普通合伙) 44285 | 代理人: | 王兆林 |
| 地址: | 518057 廣東省深圳*** | 國省代碼: | 廣東;44 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 一種 交通標志 信息 匹配 方法 相關 裝置 | ||
1.一種交通標志牌的信息匹配方法,其特征在于,所述方法包括:
獲取采集得到的目標圖像,所述目標圖像中包括文本信息和交通標志牌;
通過信息匹配模型,對所述目標圖像進行處理得到所述目標圖像中文本信息與交通標志牌之間的匹配結果,所述信息匹配模型為端到端的神經網絡,所述神經網絡以目標圖像作為輸入,以文本信息與交通標志牌之間的匹配結果作為輸出。
2.根據權利要求1所述的方法,其特征在于,所述信息匹配模型包括特征提取網絡、檢測網絡和關系匹配網絡;
其中,所述特征提取網絡是以目標圖像為輸入,以圖像語義特征為輸出的第一神經網絡;
所述檢測網絡是以所述特征提取網絡的輸出為輸入,以文本檢測結果和交通標志牌檢測結果為輸出的第二神經網絡,所述文本檢測結果中包括指示文本信息在所述目標圖像中位置的文本位置信息,所述交通標志牌檢測結果中包括指示交通標志牌在所述目標圖像中位置的標志牌位置信息;
所述關系匹配網絡是以所述檢測網絡的輸出為輸入,以所述目標圖像中文本信息與交通標志牌之間的匹配結果為輸出的第三神經網絡。
3.根據權利要求2所述的方法,其特征在于,所述通過信息匹配模型,對所述目標圖像進行處理得到所述目標圖像中文本信息與交通標志牌之間的匹配結果,包括:
通過所述特征提取網絡對所述目標圖像進行特征提取得到圖像語義特征;
根據所述圖像語義特征,通過所述檢測網絡確定文本檢測結果和交通標志牌檢測結果;
根據所述文本檢測結果中的所述文本位置信息和所述交通標志牌檢測結果中的所述標志牌位置信息,通過所述關系匹配網絡確定所述目標圖像中所述文本信息與所述交通標志牌之間的匹配結果。
4.根據權利要求3所述的方法,其特征在于,所述根據所述文本檢測結果中的所述文本位置信息和所述交通標志牌檢測結果中的所述標志牌位置信息,通過所述關系匹配網絡確定所述目標圖像中所述文本信息與所述交通標志牌之間的匹配結果,包括:
確定所述標志牌位置信息對應的標志牌位置編碼和所述文本位置信息對應的文本位置編碼;
將所述標志牌位置編碼、所述文本位置編碼和所述圖像語義特征進行融合,得到融合特征;
根據所述融合特征確定所述目標圖像中所述文本信息與所述交通標志牌之間的匹配結果。
5.根據權利要求4所述的方法,其特征在于,所述將所述標志牌位置編碼、所述文本位置編碼和所述圖像語義特征進行融合,得到融合特征,包括:
根據所述標志牌位置信息和所述文本位置信息確定感興趣區域;
從所述圖像語義特征中裁剪得到所述感興趣區域對應的感興趣語義特征;
將所述感興趣語義特征與對應的所述標志牌位置編碼或所述文本位置編碼進行融合,得到所述融合特征。
6.根據權利要求3所述的方法,其特征在于,所述檢測網絡包括文本信息檢測分支和交通標志牌檢測分支;
其中,所述文本信息檢測分支是以所述特征提取網絡的輸出為輸入,以所述文本檢測結果為輸出的第四神經網絡;
所述交通標志牌檢測分支是以所述特征提取網絡的輸出為輸入,以所述交通標志牌檢測結果為輸出的第五神經網絡。
7.根據權利要求6所述的方法,其特征在于,所述根據所述圖像語義特征,通過所述檢測網絡確定文本檢測結果和交通標志牌檢測結果,包括:
通過所述文本信息檢測分支對所述圖像語義特征進行特征變換得到第一語義特征,所述第一語義特征中所述文本信息的特征的顯著性高于所述圖像語義特征中所述文本信息的特征的顯著性;
根據所述第一語義特征,通過所述文本信息檢測分支得到所述文本檢測結果;
通過所述交通標志牌檢測分支對所述圖像語義特征進行特征變換得到第二語義特征,所述第二語義特征中所述交通標志牌的特征的顯著性高于所述圖像語義特征中所述交通標志牌的特征的顯著性;
根據所述第二語義特征,通過所述交通標志牌檢測分支得到所述交通標志牌檢測結果。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于騰訊科技(深圳)有限公司,未經騰訊科技(深圳)有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202110473889.5/1.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:腫節風及腫節風組方制劑的薄層鑒定方法
- 下一篇:一株植物乳桿菌及應用
- 信息記錄介質、信息記錄方法、信息記錄設備、信息再現方法和信息再現設備
- 信息記錄裝置、信息記錄方法、信息記錄介質、信息復制裝置和信息復制方法
- 信息記錄裝置、信息再現裝置、信息記錄方法、信息再現方法、信息記錄程序、信息再現程序、以及信息記錄介質
- 信息記錄裝置、信息再現裝置、信息記錄方法、信息再現方法、信息記錄程序、信息再現程序、以及信息記錄介質
- 信息記錄設備、信息重放設備、信息記錄方法、信息重放方法、以及信息記錄介質
- 信息存儲介質、信息記錄方法、信息重放方法、信息記錄設備、以及信息重放設備
- 信息存儲介質、信息記錄方法、信息回放方法、信息記錄設備和信息回放設備
- 信息記錄介質、信息記錄方法、信息記錄裝置、信息再現方法和信息再現裝置
- 信息終端,信息終端的信息呈現方法和信息呈現程序
- 信息創建、信息發送方法及信息創建、信息發送裝置





