[發明專利]基于語義原型樹的端到端圖像字幕生成方法

在審

• 申請號: 202210683376.1
• 申請日: 2022-06-16
• 公開（公告）號: CN115062174A
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 高聯麗;朱晉寬;顧嘉揚;曾鵬鵬;宋井寬
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06F16/58;G06K9/62
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 朱丹

1.基于語義原型樹的端到端圖像字幕生成方法，其特征在于，包括以下步驟：

S1：在設計的端到端方法中，構建一個可訓練的視覺編碼器，基于當前給定的原始圖片信息，能夠提取出圖像的柵格信息，作為后續用于推理的視覺信息的基礎；

S2：為了能讓不同粒度的語義信息來輔助圖像描述的生成，構建了一個用于提取語義原型樹的提取器TSP，該模塊的輸入是詞庫里的所有詞，模塊利用分詞算法和分層聚類算法，輸出樹結構的原型語義詞；

S3：在S2的基礎上，基于交叉注意力機制，漸進地融合語義信息與柵格特征，進行跨模態與跨空間域的對象表征學習，得到語義強化的視覺表征向量；

S4：采用基于Transformer結構的解碼器，將改進的柵格特征送入其中，得到模型預測的描述結果，并計算預測損失。

2.根據權利要求1所述的基于語義原型樹的端到端圖像字幕生成方法，其特征在于，所述S1具體包括：

首先，將輸入圖像I∈R^HxWx3分割為B個不相交的補丁區域,將局部區域記為I∈R^PxPx3；其中{H,W}和{P,P}分別表示輸入圖像和補丁區域的大??；根據以上信息可以得到，補丁區域的數據N＝(H×W)/P²,同時N還要作為視頻序列的長度信息輸入到視覺編碼器中；然后將這些補丁進行平鋪操作并輸入到一個可訓練的嵌入層得到補丁嵌入向量；

然后，為了保留位置信息,位置嵌入也被融合到補丁嵌入向量中,補丁嵌入向量經過4個編碼階段,每個階段包含一個補丁特征融合層和多個相鄰的編碼器核心單元,用于獲得分層次的視覺表征；

最終,將視覺編碼器最后一個階段輸出的特征作為網格特征,用G來表示,并將其輸入到下一個模塊中。

3.根據權利要求2所述的基于語義原型樹的端到端圖像字幕生成方法，其特征在于，所述補丁特征融合層通過將2x2個補丁區域特征進行拼接,將局部特征的總規?？s小到原來的四分之一；每個核心單元由基于移位窗口的多頭自注意力模塊、多層感知器模塊、GELU非線性層和歸一化模塊組成,多個核心單元能在保持原本不重疊窗口有效計算的同時引入跨窗口的連接,顯著增強了整體模型的表征能力。

4.根據權利要求1所述的基于語義原型樹的端到端圖像字幕生成方法，其特征在于，所述S2中樹結構的語義原型信息的提取器TSP中包含兩個步驟，分別是語義概念信息初始化操作和分層聚類操作；

TSP首先會對詞庫中詞性為名詞、形容詞和動詞的單詞進行篩選，并用其初始化語義概念信息，記作X；隨后，根據一個簡而有效的分層聚類算法，得到一系列樹結構的語義原型向量信息。

5.根據權利要求4所述的基于語義原型樹的端到端圖像字幕生成方法，其特征在于，所述分層聚類算法，如下表示：

其中，給定概念詞的詞嵌入表示X，分層數目L，每層所包含的原型詞數目F₁，...，F_L；表示第l層、第f個聚類詞，F_l表示第l層所包含的原型詞數目；

首先，使用聚類算法(K-Means、gmm)在X上進行聚類，完成第一層的語義原型向量信息Z₁，其中每一個原型向量都代表著一些相似語義的概念詞的語義中心；在初始化第一層原型信息之后，TSP迭代地生成剩下每一層的、代表著更概括的語義層次的原型語義信息。