[發明專利]基于條件隨機場的序列標注方法、裝置、設備及介質

在審

• 申請號: 202110341820.7
• 申請日: 2021-03-30
• 公開（公告）號: CN112949320A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 孫超;王健宗;于鳳英;程寧
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/44;G06N3/04;G06N3/08
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 涂年影

1.一種基于條件隨機場的序列標注方法，其特征在于，包括：

獲取目標文本序列和標準樣本序列，并將所述目標文本序列轉換為對應的初始向量序列，其中，所述初始向量序列包括句子向量、各個字向量集合的字向量和各個字的位置向量；

將所述初始向量序列輸入預設的序列標注模型中進行語義提取，得到特征序列，其中,所述特征序列包括每個元素的語義信息，所述元素包括所述目標文本序列中的每個字或句子；

將所述特征序列與所述標準樣本序列進行語義標注處理，并通過條件隨機場引入概率轉移矩陣，計算所述特征序列每個元素的轉移概率，得到第一標注序列和每個元素對應的標簽和轉移概率得分；

基于所述第一標注序列的每個所述元素的語義信息與標簽的語義信息，獲取所述每個元素的標簽概率分布，并構建映射空間將所述標簽進行分離，得到第二標注序列，其中，所述第二標注序列包括每個所述元素的標簽概率得分和轉移概率得分；

通過維特比算法對所述第二標注序列進行維特比求解，以得到所述第二標注序列中的最優求解路徑，并根據所述最優求解路徑生成目標標注序列。

2.根據權利要求1所述的基于條件隨機場的序列標注方法，其特征在于，所述獲取目標文本序列，并將所述目標文本序列轉換為對應的初始向量序列，其中，所述初始向量序列包括句子向量、各個字的字向量和各個字的位置向量包括：

將所述目標文本序列輸入到預設神經網絡的嵌入層，通過所述嵌入層輸出與所述目標文本序列對應的多個字向量，多個所述字向量中包括至少一個標點向量；

將多個所述字向量輸入到分割層，根據至少一個所述標點向量對多個所述字向量進行分割，得到n個字向量集合，所述n個字向量集合對應n個分割碼；

通過位置編碼對每個所述分割碼進行編碼運算，確定每個分割碼的位置信息編碼，以得到所述目標文本序列中每個字向量集合的位置向量；

根據所述目標文本序列中每個字的字向量以及所述每個字向量集合的位置向量，生成所述目標文本序列的句子向量。

3.根據權利要求1所述的基于條件隨機場的序列標注方法，其特征在于，所述預設的序列標注模型包括第一卷積網絡層、注意力層和第二卷積網絡層；

所述將所述初始向量序列輸入預設的序列標注模型中進行語義提取，得到特征序列包括：

通過所述第一卷積網絡層對所述初始向量序列進行卷積處理，得到所述目標文本序列中每個元素的卷積特征；

將每個所述元素的卷積特征輸入所述注意力層進行語義提取，得到每個所述元素的語義信息；

將每個所述元素的語義信息輸入所述第二卷積網絡層進行卷積處理，得到所述特征序列。

4.根據權利要求3所述的基于條件隨機場的序列標注方法，其特征在于，所述將每個所述元素的卷積特征輸入所述注意力層進行語義提取，得到每個所述元素的語義信息包括：

將每個所述元素的卷積特征輸入所述注意力層進行注意力權重提取，得到每個所述元素的注意力權重；

根據所述元素的注意力權重對所述元素的卷積特征進行加權處理，得到所述元素的語義信息。

5.根據權利要求1所述的基于條件隨機場的序列標注方法，其特征在于，所述將所述特征序列與所述標準樣本序列進行語義標注處理，并通過條件隨機場引入概率轉移矩陣，計算所述特征序列每個元素的轉移概率，得到第一標注序列和每個元素對應的標簽和轉移概率得分包括：

按照標簽領域方式，將同一領域的標簽劃分為預設數量的抽象標簽類別；

根據所述抽象標簽類別，將所述標準樣本序列中的元素進行標簽分類，得到基礎標簽；

根據所述特征序列中每個元素的語義信息與所述基礎標簽中的元素進行語義標注處理，得到所述第一標注序列及所述第一標注序列的初始得分，其中，所述初始得分包括所述第一標注序列中每個元素被預測為一個預設標簽的概率；

將所述初始得分輸入到條件隨機場所引入的概率轉移矩陣之中，計算出所述第一標注序列的每個元素的轉移概率，得到每個所述元素的轉移概率得分，其中，所述概率轉移矩陣表征由一個預設標簽轉移到另一個預設標簽的概率。