[發明專利]信息處理設備、推理方法及計算機可讀記錄介質

在審

• 申請號: 202110989794.9
• 申請日: 2021-08-26
• 公開（公告）號: CN114519802A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 廣本正之
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V20/70;G06K9/62;G06N5/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王萍;崔俊紅

信息處理設備、推理方法及計算機可讀記錄介質使得對要學習的第一對象的多條第一類訓練數據的每條——包括相關第一對象的第一圖像信息、語義信息和類別，從第一圖像信息生成第一圖像HV、從第一語義信息生成第一語義HV、整合第一圖像HV和第一語義HV生成第一整合HV、將第一整合HV與第一類別關聯地存于存儲單元，對要學習的第二對象的多條第二類訓練數據的每條——包括相關第二對象的第二語義信息和類別而不包括圖像信息，從第二語義信息生成第二語義HV、基于第二語義HV搜索存儲單元、從存儲單元獲得從與第二語義HV匹配度最高的整合HV中選擇的預定數量整合HV、基于預定數量整合HV生成第二類訓練數據的第二整合HV并將第二整合HV與第二類別關聯地存于存儲單元。

技術領域

本文討論的實施方式涉及信息處理設備、推理方法以及計算機可讀記錄介質。

背景技術

如今，神經網絡(neural network，NN)被積極地用于圖像識別和其他領域。例如，通過使用深度學習(deep learning，DL)來顯著提高圖像識別的準確性。

然而，在使用DL的識別中，僅能夠識別向其給出了訓練數據的對象。相比之下，人類甚至能夠在給出了其他線索信息的情況下識別他們實際上沒有看到的圖像。作為實現這樣的人類識別的技術，存在零樣本學習(zero-shot learning，ZSL)。零樣本學習使得能夠通過提供線索信息在沒有訓練數據的情況下進行識別。

圖12A和圖12B是用于說明零樣本學習的圖。圖12A示出了零樣本學習中的訓練，并且圖12B示出了零樣本學習中的推理。如圖12A所示，訓練數據中存在兩種類型的數據。

第一類訓練數據包括類別、圖像信息和語義信息。語義信息是用于識別的線索信息。例如，“斑馬”與作為語義信息的“四足”、“條紋”和“吃植物”相關，并且“獅子”與作為語義信息的“四足”、“棕色”和“吃肉”相關。“四足”、“條紋”、“吃植物”、“棕色”、“吃肉”等指示要識別的對象的屬性。

第二類訓練數據包括類別和語義信息而不包括圖像信息。例如，“老虎”與作為語義信息的“四足”、“條紋”、“棕色”和“吃肉”相關，但是沒有與“老虎”相關的圖像信息。

如圖12B所示，在給出“老虎”的圖像信息并詢問“這是什么動物？”時，推理設備提供答案“老虎”作為推理結果。雖然在訓練中沒有給出“老虎”的圖像信息，但是推理設備以語義信息為線索輸出“老虎”作為答案。

作為相關技術，存在準確且高效地找到語義相似或相同的內容項的特征生成設備。當輸入表示特征生成的對象的內容的一個或更多個初始特征向量時，該特征生成設備生成并輸出整合特征向量。例如，特征生成設備基于由多個預定量和分別對應于所述多個預定量的代表性向量定義的量化器，將每個初始特征向量分配給一個或更多個量。特征生成設備針對每個量獲得被分配給該量的初始特征向量和與該量相對應的代表性向量的殘差向量。特征生成設備通過將針對各個量計算的殘差向量進行整合來獲得整合特征向量，并且輸出通過將預定變換矩陣應用于所獲得的整合特征向量來執行去相關處理而獲得的整合特征向量來作為內容的特征。

作為相關技術，存在基于查詢圖像執行搜索的系統。該系統根據從查詢圖像中提取的特征生成表示該查詢圖像的視覺詞匯集，并將該視覺詞匯集與索引圖像的視覺詞匯進行比較。在所述比較中，系統根據索引圖像生成與一個或更多個視覺詞匯相匹配的候選圖像集。然后，系統執行多級排序對該候選圖像集進行排序，并將多級排序的結果返回給提供查詢圖像的用戶裝置。

作為相關技術，還存在準確計算文本之間的相似度的文本相似度計算設備。該文本相似度計算設備計算圖像相似度，該圖像相似度是對應于第一文本并且通過轉換第一文本而獲得的第一圖像信息與對應于第二文本并且通過轉換第二文本而獲得的第二圖像信息之間的相似度。文本相似度計算設備計算文本向量相似度，該文本向量相似度是表示第一文本的第一文本向量與表示第二文本的第二文本向量之間的相似度。文本相似度計算設備基于圖像相似度和文本向量相似度計算第一文本與第二文本之間的相似度。