[發明專利]一種圖片描述信息的獲取方法及裝置

有效

• 申請號: 201910631671.0
• 申請日: 2019-07-12
• 公開（公告）號: CN110413820B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 陳海波
• 申請（專利權）人: 深蘭科技（上海）有限公司
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06F16/55;G06N3/04
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘

本申請公開了一種圖片描述信息的獲取方法及裝置。該方法通過對獲取的待描述圖片，采用預設圖像處理算法，獲取待描述圖片中的至少一個對象和相應對象信息；其中，對象信息包括對象標識、屬性信息以及與對象間的關聯關系；采用預設詞處理算法，對待描述圖片對應的原始圖片描述信息進行分詞與詞分類處理，得到至少一個第一詞和相應詞類型；采用預設神經網絡算法，將至少一個第一詞、相應詞類型與至少一個對象的對象信息進行匹配運算，獲取對象信息對應的目標詞；將對象信息對應的目標詞按照預設圖片描述結構進行存儲，得到新的圖片描述信息。該方法提高了視覺圖像數據集中圖片描述信息的準確性，降低了人工成本。

技術領域

本申請涉及計算機技術領域，尤其涉及一種圖片描述信息的獲取方法及裝置。

背景技術

現實世界的各個場景是動態的、復雜的，場景包括對象、對象的屬性、對象間的關系，以及對象的變動方向等。

在計算機視覺領域中，視覺圖像數據集在很多應用上起了至關重要的作用，如視覺問答(Visual Question Answering，VQA)和圖像主題提取。VQA是一種涉及計算機視覺和自然語言處理的學習任務，主要目標是讓計算機根據輸入的圖片和問題結合視覺圖像數據集，輸出一個符合自然語言規則且內容合理的答案。

視覺圖像數據集通常由圖片和圖片語義集構成，圖像語義集為描述該圖片的自然語言。其中，圖片是捕捉真實世界的原始刻畫，自然語言是描述圖片的圖片描述信息(或稱“文本描述信息”)，視覺圖像數據集的獲取方式，主要分為兩種：

方式一、提供現成的圖片，并選擇至少一位候選人，至少一位候選人根據預設語句格式，對該圖片進行語言描述以及對語言描述進行修正，得到初始圖片描述信息，從而得到視覺圖像數據集。預設語句格式可以是主謂賓的語句格式。

方式二、候選人根據當前任務需求，對視覺圖像數據集中的初始圖片描述信息進行人工注釋后，計算機根據人工注釋對初始圖片描述信息進行修改，得到修改后的圖片描述信息，以豐富對該圖片的表達，由此得到新的視覺圖像數據集。

然而，發明人發現在獲取圖片描述信息的過程中，候選人經常會根據個人的經驗選擇圖片的側重點進行描述，由于每個人的經驗不同，描述傾向的側重點不同，導致獲取的圖片描述信息與相應圖片的真實信息存在一定偏差，如該圖片一些信息被忽略或個人對同一圖片的理解不同，這樣得到的圖片描述信息的準確性不高，且圖片描述信息完全依賴人工來獲取，增加了人工成本。

發明內容

本申請實施例提供一種圖片描述信息的獲取方法及裝置，解決了現有技術存在的上述問題，以提高圖片描述信息的準確性，降低了人工成本。

第一方面，提供了一種圖片描述信息的獲取方法，該方法可以包括：

對獲取的待描述圖片，采用預設圖像處理算法，獲取所述待描述圖片中的至少一個對象和所述至少一個對象的對象信息；其中，所述對象信息包括對象標識、屬性信息以及與所述至少一個對象中對象間的關聯關系，所述對象間的關聯關系包括所述對象間的位置特征信息；

采用預設詞處理算法，對所述待描述圖片對應的原始圖片描述信息進行分詞與詞分類處理，得到至少一個第一詞和所述至少一個第一詞的詞類型；

采用預設神經網絡算法，將所述至少一個第一詞、所述至少一個第一詞的詞類型與所述至少一個對象的對象信息進行匹配運算，獲取所述至少一個對象的對象信息對應的目標詞；

將所述對象信息對應的目標詞按照預設圖片描述結構進行存儲，得到新的圖片描述信息。

在一個可選的實現中，對獲取的待描述圖片，采用預設圖像處理算法，提取所述待描述圖片中的至少一個對象和所述至少一個對象的對象信息，包括：

根據預設對象檢測算法，對所述待描述圖片進行對象檢測，獲取至少一個對象和相應對象標識；