[發明專利]一種詞級別短文本語義匹配的迭代擴展方法和裝置

在審

• 申請號: 202210950247.4
• 申請日: 2022-08-09
• 公開（公告）號: CN115292493A
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 戴佳駿;徐盛
• 申請（專利權）人: 翼健（上海）信息科技有限公司;廈門翼方健數信息科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/247;G06F40/30;G06K9/62;G06N5/04
• 代理公司: 北京華清迪源知識產權代理有限公司 11577
• 代理人: 胡樂

1.一種詞級別短文本語義匹配的迭代擴展方法，其特征在于，包括：

步驟一，對于包含有標注數據的大數據集D，將其中帶有可信標注的數據部分作為初始訓練數據集D₀，所述初始訓練數據集D₀是由多組同義近義文本組成的集合T，T＝{A_n，B_m,……}，其中A、B為不同語義的文本數組，n、m為各文本數組里的文本數量；

步驟二，根據目標文本集合X中的目標樣本u，在所述初始訓練數據集D₀中選取與樣本u語義相同的文本作為正樣本v_pos，以及選擇與樣本u語義無關的文本作為負樣本v_neg，并以樣本u、正樣本v_pos和負樣本v_neg作為輸入，訓練得到匹配模型M₀；

步驟三，以所述初始訓練數據集D₀中的文本數量為基數，按特定比例P_new從所述大數據集D中抽取未標注數據集D_1,new；使用所述匹配模型M₀將未標注數據集D_1,new中的每個文本矢量化，并使用所述匹配模型M₀，對未標注數據集D_1,new中的每個文本矢量，在初始訓練數據集D₀和未標注數據集D_1,new中分別檢索近似詞組，完成對D_1,new的語義聚類；將聚類得到的結果和初始訓練數據集D₀共同作為標注數據集D_1,annotated；

步驟四，對所述標注數據集D_1,annotated中的每一組同義詞，分別計算每組同義詞的組內成員之間的相似度S_intra，以及計算各組同義詞之間的相似度S_inter；將每組同義詞的組內成員之間的相似度S_intra與預設組內成員相似度閾值T_intra進行比較，以及將各組同義詞之間的相似度S_inter與預設組間同義詞相似度T_inter進行比較；將S_intra低于T_intra并且S_inter高于T_inter的同義詞組作為不可靠標注數據集D_1,todo，并將其余同義詞組作為可靠標注數據集D_1,done；

步驟五，將所述不可靠標注數據集D_1,todo中的數據提供給人工進行審核，用于審核標注的正確性；將不可靠標注數據集D_1,todo中經人工審核為標注正確的數據、可靠標注數據集D_1,done和初始訓練數據集D₀合并為訓練數據集D₁；

步驟六，使用訓練數據集D₁作為新的訓練數據，多次依照步驟二至步驟五進行迭代訓練，直至得到的訓練數據集D_x包含所述大數據集D中的所有數據，得到最終的訓練數據集D_x和匹配模型M_x。

2.根據權利要求1所述的詞級別短文本語義匹配的迭代擴展方法，其特征在于，所述在所述初始訓練數據集D₀中選取與樣本u語義相同的文本作為正樣本v_pos，以及選擇與樣本u語義無關的文本作為負樣本v_neg包括：

針對目標文本集合X中的目標樣本u，在所述初始訓練數據集D₀中的樣本u所在的同語義文本組里遍歷選取正樣本v_pos：

在目標文本集合X以外，在所述初始訓練數據集D₀中搜索與目標樣本u距離最近的文本作為負樣本v_neg，即負樣本v_neg滿足：

其中：

d(u,v)＝‖u-v‖。