[發明專利]序列標注方法、裝置、電子設備和存儲介質

在審

• 申請號: 202210023406.6
• 申請日: 2022-01-10
• 公開（公告）號: CN114492309A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 劉曉俊;張浩宇;吳飛;方四安
• 申請（專利權）人: 合肥訊飛數碼科技有限公司
• 主分類號: G06F40/117
• 分類號: G06F40/117;G06F40/194;G06F40/295;G06N3/04;G06N3/08;G06N5/02
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 程琛

1.一種序列標注方法，其特征在于，包括：

確定待標注文本；

將所述待標注文本輸入序列標注模型，得到所述序列標注模型輸出的標注結果；

所述序列標注模型是基于教師模型和學生模型之間的隱藏層對應關系，應用所述教師模型對所述學生模型中的各隱藏層進行知識遷移得到的，所述隱藏層對應關系是基于所述教師模型中的各組隱藏層與所述學生模型中的各隱藏層之間的相似度確定的。

2.根據權利要求1所述的序列標注方法，其特征在于，所述序列標注模型是基于如下步驟得到的：

基于所述教師模型中的各組隱藏層與所述學生模型中的各隱藏層之間的相似度，確定當前的隱藏層對應關系；

基于所述當前的隱藏層對應關系，應用所述教師模型對所述學生模型中的各隱藏層進行知識遷移，得到知識遷移后的學生模型，并將知識遷移后的學生模型作為學生模型，更新所述教師模型中的各組隱藏層與所述學生模型中的各隱藏層之間的相似度，直至知識遷移完成，得到所述序列標注模型。

3.根據權利要求2所述的序列標注方法，其特征在于，所述將知識遷移后的學生模型作為學生模型，更新所述教師模型中的各隱藏層與所述學生模型中的各隱藏層之間的相似度，直至知識遷移完成，得到所述序列標注模型，包括：

將知識遷移后的學生模型作為學生模型，更新所述教師模型中的各組隱藏層與所述學生模型中的各隱藏層之間的相似度，直至所述當前的隱藏層對應關系固定；

基于固定的隱藏層對應關系，應用所述教師模型對所述學生模型中的各隱藏層進行知識遷移，直至知識遷移完成，得到所述序列標注模型。

4.根據權利要求1至3中任一項所述的序列標注方法，其特征在于，所述應用所述教師模型對所述學生模型中的各隱藏層進行知識遷移，包括：

基于維度轉換參數，將所述教師模型中的各組隱藏層的第一輸出和所述學生模型中的各隱藏層的第二輸出轉換至相同維度，所述維度轉換參數是基于所述教師模型的模型寬度和所述學生模型的模型寬度確定的；

基于維度轉換后的第一輸出和第二輸出，對所述學生模型中的各隱藏層進行知識遷移。

5.根據權利要求1至3中任一項所述的序列標注方法，其特征在于，所述應用所述教師模型對所述學生模型中的各隱藏層進行知識遷移，包括：

將樣本文本分別輸入所述教師模型和所述學生模型，得到所述教師模型輸出的第一標注分布和所述教師模型中的各組隱藏層的輸出，以及所述學生模型輸出的第二標注分布和所述學生模型中各隱藏層的輸出；

基于所述樣本文本的序列標注標簽，對所述第一標注分布進行校正；

基于所述第二標注分布和校正后的第一標注分布，以及所述教師模型中的各組隱藏層的輸出和所述學生模型中的各隱藏層的輸出，對所述學生模型進行知識遷移。

6.根據權利要求1至3中任一項所述的序列標注方法，其特征在于，所述教師模型是基于如下步驟得到的：

確定預訓練模型；

基于樣本文本及其序列標注標簽，對所述預訓練模型進行微調，得到所述教師模型。

7.根據權利要求6所述的序列標注方法，其特征在于，所述基于樣本文本及其序列標注標簽，對所述預訓練模型進行微調，得到所述教師模型，包括：

將同一樣本文本多次輸入所述預訓練模型，得到所述預訓練模型多次輸出的預測標注分布，所述預訓練模型包括丟棄層；

基于所述多次輸出的預測標注分布之間的差距，以及所述樣本文本的序列標注標簽與所述多次輸出的預測標注分布之間的差距，對所述預訓練模型進行微調，得到所述教師模型。

8.一種序列標注裝置，其特征在于，包括：

文本確定單元，用于確定待標注文本；

序列標注單元，用于將所述待標注文本輸入序列標注模型，得到所述序列標注模型輸出的標注結果；

所述序列標注模型是基于教師模型和學生模型之間的隱藏層對應關系，應用所述教師模型對所述學生模型中的各隱藏層進行知識遷移得到的，所述隱藏層對應關系是基于所述教師模型中的各組隱藏層與所述學生模型中的各隱藏層之間的相似度確定的。