[發明專利]圖像標注方法和電子設備

有效

• 申請號: 201511001231.5
• 申請日: 2015-12-28
• 公開（公告）號: CN105426925B
• 公開（公告）日: 2019-03-08
• 發明（設計）人: 蔣樹強;徐瑞邯;閔巍慶;賀志強
• 申請（專利權）人: 聯想（北京）有限公司;中國科學院計算技術研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 安之斐

本發明提供一種圖像標注方法和電子設備。所述方法包括：獲取要標注的第一圖像；獲取與所述第一圖像相關的多種不同類型的信息，所述多種不同類型的信息的每種用于標注所述第一圖像涉及的一個或多個抽象概念類型；根據獲取的所述多種類型的信息對所述第一圖像的抽象概念類型執行概率推測，以獲得所述第一圖像的每個抽象概念類型的概率分布；確定每個抽象概念類型之間的相關性；以及根據確定的相關性，最大化各個抽象概念類型的聯合概率，從而確定所述第一圖像的標注結果。

技術領域

本申請涉及圖像標注方法和電子設備。

背景技術

目前，隨著具有照相功能的便攜式設備(如智能手機、平板電腦等)的普及，數字圖像的數量增長迅速。對這些圖像進行標注的豐富性和準確性，關系到用戶對圖像的檢索、整理分類等多種操作的效率。

傳統的圖像標注技術主要集中在利用圖像的視覺信息或相機拍照時的一些參數對圖像進行標注。然而，當涉及到圖像抽象概念(如吃飯、出差、合影等)的標注時，基于視覺和相機參數等少量信息，很難對圖像做出準確而全面的描述。

為此，期望提供一種圖像標注方法和電子設備，其使得用戶能夠準確地用多模態信息標注圖像，從而提高用戶的使用體驗。

發明內容

根據本發明的實施例，提供了一種圖像標注方法，包括：

獲取要標注的第一圖像；

獲取與所述第一圖像相關的多種不同類型的信息，所述多種不同類型的信息的每種用于標注所述第一圖像涉及的一個或多個抽象概念類型；

根據獲取的所述多種類型的信息對所述第一圖像的抽象概念類型執行概率推測，以獲得所述第一圖像的每個抽象概念類型的概率分布；以及

確定每個抽象概念類型之間的相關性；

根據確定的相關性，最大化各個抽象概念類型的聯合概率，從而確定所述第一圖像的標注結果。

可選地，獲取與所述第一圖像相關的多種不同類型的信息進一步包括：

獲取所述第一圖像的視覺信息；以及

根據獲取的所述多種類型的信息對所述第一圖像的抽象概念類型執行概率推測，以獲得所述第一圖像的每個抽象概念類型的概率分布進一步包括：

根據獲取的所述第一圖像的視覺信息，利用視覺分類模型對所述第一圖像的抽象概念類型執行概率推測，所述視覺分類模型通過提取多個圖像的視覺特征并進行場景類別訓練獲得；

獲得所述第一圖像屬于各種場景類別的概率分布。

可選地，獲取與所述第一圖像相關的多種不同類型的信息進一步包括：

獲取拍攝所述第一圖像的時間信息以及拍攝所述第一圖像的地理位置信息；以及

根據獲取的所述多種類型的信息對所述第一圖像的抽象概念類型執行概率推測，以獲得所述第一圖像的每個抽象概念類型的概率分布進一步包括：

根據獲取的所述第一圖像的時間信息和地理位置信息，利用事件記錄信息對所述第一圖像的抽象概念類型執行概率推測，所述事件記錄信息從與用戶相關的信息源獲取；以及

獲得所述第一圖像屬于不同事件的概率分布。

可選地，獲取與所述第一圖像相關的多種不同類型的信息進一步包括：

獲取拍攝所述第一圖像的時間信息、拍攝所述第一圖像時當地的天氣狀況信息以及是否使用閃光燈的信息；以及

根據獲取的所述多種類型的信息對所述第一圖像的抽象概念類型執行概率推測，以獲得所述第一圖像的每個抽象概念類型的概率分布進一步包括：