[發明專利]一種圖像內容識別方法、裝置、設備及存儲介質

在審

• 申請號: 202011587892.1
• 申請日: 2020-12-28
• 公開（公告）號: CN113516113A
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 陳柱;項小明
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/62;G06F16/432;G06F16/438
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;杜維

1.一種圖像內容識別方法，其特征在于，所述方法包括：

獲取待識別圖像幀，并確定所述待識別圖像幀的狀態；

若確定所述待識別圖像幀的狀態為靜止狀態，則調用對象定位模型對所述待識別圖像幀進行處理，并根據對象定位模型的處理結果得到區域圖像；

調用局部定位模型對所述區域圖像進行處理，并根據局部定位模型的處理結果得到熱點圖像，所述熱點圖像中包括熱點區域；

根據所述熱點區域在熱點圖像中的圖像位置，從所述待識別圖像幀中確定出關聯圖像；

對所述待識別圖像幀中的關聯圖像進行多媒體處理，并輸出所述關聯圖像的多媒體處理結果。

2.如權利要求1所述的方法，其特征在于，所述獲取待識別圖像幀，包括：

獲取光線傳感器對環境進行檢測后輸出的檢測數據；

若檢測數據滿足補光條件，則調用光線傳感器進行補光輔助處理，并獲取拍攝裝置拍攝得到的待識別圖像幀；

若檢測數據不滿足補光條件，則獲取拍攝裝置拍攝得到的待識別圖像幀。

3.如權利要求1所述的方法，其特征在于，所述確定所述待識別圖像幀的狀態，包括：

獲取所述待識別圖像幀所在的圖像幀集合，該圖像幀集合中包括按照時間先后順序拍攝得到的N個圖像幀；

通過幀間差異算法分別計算所述圖像幀集合中相鄰圖像幀的幀間差異信息；

若根據所述圖像幀集合中相鄰圖像幀的幀間差異信息確定所述待識別圖像幀滿足靜止條件，則判定所述待識別圖像幀為靜止狀態；

若圖像幀集合中相鄰圖像幀的幀間差異信息確定所述待識別圖像幀不滿足靜止條件，則將獲取到的下一圖像幀作為新的待識別圖像幀。

4.如權利要求3所述的方法，其特征在于，所述通過幀間差異算法分別計算所述圖像幀集合中相鄰圖像幀的幀間差異信息，包括：

計算所述圖像幀集合中第i+1個圖像幀與第i個圖像幀之間匹配像素點之間的像素差異值，i為正整數，且i小于N；

根據所述像素差異值進行二值化處理，得到所述第i+1個圖像幀與第i個圖像幀之間的幀間差異二值圖，所述幀間差異二值圖上的像素值包括第一數值和第二數值，在所述第i+1個圖像幀與第i個圖像幀的匹配像素點的像素值差值大于預設閾值，則所述幀間差異二值圖上相應位置處的像素值為第一數值，否則為第二數值；

其中，當對各個幀間差異二值圖中值為第一數值的數量進行統計得到的數量值小于數量閾值，則確定所述待識別圖像幀滿足靜止條件。

5.如權利要求1所述的方法，其特征在于，所述對象定位模型用于從輸入的待識別圖像幀中確定目標對象的圖像位置，該圖像位置用于確定所述區域圖像，所述對象定位模型包括主干網絡層、分類檢測層及預測層；

所述主干網絡層用于提取所述待識別圖像幀在M個不同尺度下的特征子圖，M為大于1的整數，M個特征子圖的通道數也不相同；

所述分類檢測層用于確定所述M個不同尺度下的特征子圖中的目標對象區域；所述預測層用于根據各個目標對象區域預測所述目標對象在所述待識別圖像幀中的位置及概率。

6.如權利要求1或5所述的方法，其特征在于，所述局部定位模型用于從輸入的區域圖像中確定目標對象的局部對象的圖像位置，所述局部定位模型包括特征提取層，特征融合層，反卷積層和像素回歸層；

所述特征提取層用于提取所述區域圖像在P個不同尺度下的特征子圖，第j個特征子圖的尺度是第j+1個特征子圖的尺度的兩倍，P為大于1的整數，j為正整數，且j小于P；

所述特征融合層用于對第P個特征子圖和第P-1個特征子圖進行特征融合得到特征圖；

所述反卷積層用于對所述特征圖進行反卷積處理得到熱點圖像，所述熱點圖像的尺度為所述區域圖像的尺度的一半，所述熱點圖像包括的熱點區域所在位置即為所述目標對象的局部對象的圖像位置。