[發明專利]用于生成字幕器以及輸出字幕的方法和裝置

在審

• 申請號: 202110338045.X
• 申請日: 2021-03-30
• 公開（公告）號: CN113052090A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 潘瀅煒;李業豪;姚霆;梅濤
• 申請（專利權）人: 京東數字科技控股股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06F40/30;G06N3/04
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開的實施例公開了用于生成字幕器的方法和裝置和用于輸出字幕的方法和裝置。該方法的具體實施方式包括：獲取樣本圖像集；將樣本圖像集輸入句子生成器的圖像編碼器，輸出對象集；將對象集分組成第一對象集和第二對象集，其中，第一對象集為被包含在預定對象集內的對象集，第二對象集為被排除在預定對象集外的對象集；將圖像編碼器輸出的對象集輸入句子生成器的句子解碼器，在解碼步驟中以第一對象集、第二對象集為約束條件進行波束搜索，生成偽圖像句子對集；將偽圖像句子對集作為樣本集訓練句子生成器，得到字幕器。該實施方式通過基于語義約束的自學習框架生成了字幕器，提高了字幕生成的質量。

技術領域

本公開的實施例涉及計算機技術領域，具體涉及用于生成字幕器以及輸出字幕的方法和裝置。

背景技術

圖像字幕是一個新興且發展迅速的研究主題，它是一種用自然語言句子自動描述圖像的技術。

現在的技術大部分在帶注釋的圖像-句子對上訓練字幕器，他們都遵循先利用卷積神經網絡對輸入圖像進行編碼，然后利用循環神經網絡對句子進行解碼的編解碼器范式。一系列的工作都在升級圖像字幕的注意機制，以增強視覺內容和自然句子之間的跨域基礎。

現在大部分的技術都嚴重依賴于大量的訓練圖像句子對，一方面，這些訓練圖像句子對的獲取是極為昂貴且耗時的。另一方面，過分依賴訓練圖像句子對，阻礙了字幕器的廣泛應用。

發明內容

本公開的實施例提出了用于生成字幕器的方法和裝置以及用于輸出字幕的方法和裝置。

第一方面，本公開的實施例提供了一種用于生成字幕器的方法，包括：獲取樣本圖像集；將樣本圖像集輸入句子生成器的圖像編碼器，輸出對象集；將對象集分組成第一對象集和第二對象集，其中，第一對象集為被包含在預定對象集內的對象集，第二對象集為被排除在預定對象集外的對象集；將圖像編碼器輸出的對象集輸入句子生成器的句子解碼器，在解碼步驟中以第一對象集、第二對象集為約束條件進行波束搜索，生成偽圖像句子對集；將偽圖像句子對集作為樣本集訓練句子生成器，得到字幕器。

在一些實施例中，該方法還包括：通過以下至少一種方式優化字幕器：通過句子鑒別器對字幕器進行對抗式訓練來優化字幕器；通過字幕器識別出的對象在字幕器輸出的句子中的包含程度優化字幕器；通過圖像三元組與相應生成的句子之間的語義相關性優化字幕器，其中，圖像三元組包括查詢圖像，正圖像和負圖像。

在一些實施例中，通過句子鑒別器對字幕器進行對抗式訓練來優化字幕器，包括：提取預置的第一樣本集，其中，每個第一樣本包括圖像和對應的真句子；提取預先建立的生成式對抗網絡，其中，生成式對抗網絡包括字幕器和句子鑒別器，字幕器用于對所輸入的圖像進行圖像編碼后再進行句子解碼，得到偽句子，句子鑒別器用于確定所輸入的句子是否為字幕器所輸出的偽句子；基于機器學習方法，從第一樣本集中選取第一樣本，以及執行以下第一訓練步驟：將選取的第一樣本中的圖像輸入字幕器，輸出偽句子；將偽句子和選取的第一樣本中的真句子輸入句子鑒別器，輸入鑒別結果；根據輸出的鑒別結果統計句子鑒別器的準確率；若準確率達到預設數值，則確定出字幕器訓練完成。

在一些實施例中，該方法還包括：若準確率未達到預設數值，則計算句子鑒別器的對抗性損失，調整句子鑒別器的相關參數使得對抗性損失減小，以及從第一樣本集中重新選取第一樣本，繼續執行第一訓練步驟。

在一些實施例中，該方法還包括：若準確率未達到預設數值，則計算字幕器的對抗性獎勵，調整字幕器的相關參數使得對抗性獎勵增大，以及從第一樣本集中重新選取第一樣本，繼續執行第一訓練步驟。