[發明專利]一種面向圖像描述模型泛化能力評估方法

在審

• 申請號: 202110162353.1
• 申請日: 2021-02-05
• 公開（公告）號: CN112836754A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 方玉明;萬博洋;姜文暉;夏雪;左一帆
• 申請（專利權）人: 方玉明
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

1.一種面向圖像描述模型泛化能力評估方法，其特征在于，包括：

獲取初始數據集，并獲得待評估的圖像描述模型在所述初始數據集上的預測結果；

選取任意兩個圖像描述模型預測結果差異最大的圖像集合，構建模型差異最大化的樣本集；

獲得所述樣本集的圖像描述標簽；

根據所述圖像描述標簽計算所有圖像描述模型預測結果的準確性，轉化為兩兩圖像描述模型的性能比較分數矩陣，計算所有圖像描述模型的全局泛化能力排名；

其中，計算所有圖像描述模型的全局泛化能力排名包括：

分別計算兩兩比較的待評估的圖像描述模型在所述樣本集上的圖像描述任務指標成績p，記p_ij和p_ji分別為模型C_i和模型C_j在所述樣本集D_{i,j}上的任務指標成績，使用所述指標成績p_ij和p_ji形成兩兩比較的成績矩陣P，并計算成對的對比分數f_ij，得到所有圖像描述模型的成對對比分數，形成成對的對比分數矩陣F；

將成對的對比分數矩陣F為所有圖像描述模型的全局泛化能力排名，全局泛化能力排名記為q，全局泛化能力排名計算公式為：

其中，1表示m維全1向量。

2.根據權利要求1所述的一種面向圖像描述模型泛化能力評估方法，其特征在于：

所述對比分數f_ij的計算公式如下：

3.根據權利要求1所述的一種面向圖像描述模型泛化能力評估方法，其特征在于：

獲得待評估的圖像描述模型在所述初始數據集上的預測結果包括：

將所述初始數據集記為R＝{I_m|m∈[1,M]}，其中M為所述初始數據集的大小，m為所述初始數據集中的一個元素；

獲取多個待評估的圖像描述模型，形成圖像描述模型集，記為C＝{C_n|n∈[1,N]}，其中N為待評估的圖像描述模型的總數，n為圖像描述模型集的一個元素；

計算待評估的圖像描述模型在所述初始數據集上的預測結果。

4.根據權利要求3所述的一種面向圖像描述模型泛化能力評估方法，其特征在于：

計算待評估的圖像描述模型在所述初始數據集上的預測結果時，圖像輸入預處理以及輸出文本后處理均采用超參數設置。

5.根據權利要求1至4任一項所述的一種面向圖像描述模型泛化能力評估方法，其特征在于：

構建模型差異最大化的樣本集包括：

通過預先設定的評價指標計算任意兩個待評估的模型C_i和模型C_j預測結果的差異性；

對于模型C_i和模型C_j，從所述初始數據集中選擇差異最大化樣本集，記為D_{i,j}，其中，D_{i,j}的計算公式如下所示：

其中，C_i(x)和C_j(x)分別表示模型C_i和模型C_j對圖像x的預測結果，argmin表示求最小值。

6.根據權利要求5所述的一種面向圖像描述模型泛化能力評估方法，其特征在于：

所述預先設定的評價指標為基于n元語法的相似度指標函數，該相似度指標函數的計算公式如下：

其中，s_*表示描述句，W_n表示n元語法，O_s(W_n)為描述句s中W_n的個數，U_n(s)描述句s中各個W_n的個數之和，Cl_n(s₁,s₂)表示W_n在s₁與s₂同時出現的次數之和。

7.根據權利要求1至4任一項所述的一種面向圖像描述模型泛化能力評估方法，其特征在于：

獲得所述樣本集的圖像描述標簽包括：獲取第一階段主觀實驗得到的代表性樣本集的圖像描述標簽；并獲取第二階段主觀實驗得到對所述圖像描述標簽的驗證數據，以所述驗證數據作為最終的圖像描述標簽。