[發明專利]一種異常文本識別方法、裝置、計算設備及介質

有效

• 申請號: 201811093657.1
• 申請日: 2018-09-19
• 公開（公告）號: CN110929026B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 康楊楊;高喆;周笑添;孫常龍;劉曉鐘;司羅
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/289;G06F40/295
• 代理公司: 北京成創同維知識產權代理有限公司 11449
• 代理人: 劉靜

1.一種異常文本識別方法，包括：

將待識別的文本輸入到命名實體識別模型，以確定所述文本包括的候選實體，所述候選實體包括人名、組織機構名或日期；

將待識別的文本輸入到主題識別模型中進行處理，以識別所述文本的主題類別；

若所述文本的主題類別對應于預設主題，則對所述文本中的各候選實體，將所述候選實體對應的向量集輸入到情感識別模型中，以獲取所述文本對所述候選實體的情感傾向；

若所述情感傾向為負面，則判定所述文本為預設主題下的異常文本。

2.如權利要求1所述的方法，其中，所述將待識別的文本輸入到主題識別模型中進行處理，以識別所述文本的主題類別，包括：

將待識別的文本輸入到主題識別模型中，以獲取所述主題識別模型輸出的、所述文本對應的主題向量，所述主題向量包括所述文本屬于各主題類別的概率值；

將概率值最高的主題類別作為所述文本的主題類別。

3.如權利要求2所述的方法，其中，所述向量集包括所述候選實體對應的詞向量、所述文本對應的主題向量以及所述文本中所有候選實體對應的詞向量。

4.如權利要求1所述的方法，其中，所述情感識別模型包括多層感知器和與所述多層感知器相連的分類器，所述將所述候選實體對應的向量集輸入到情感識別模型中，以獲取所述文本對所述候選實體的情感傾向，包括：

將所述候選實體對應的向量集作為輸入，輸入到所述多層感知器進行處理；

將處理結果輸入到所述分類器進行情感傾向概率計算，根據概率計算的結果，確定所述文本對所述候選實體的情感傾向為正面或負面。

5.如權利要求1所述的方法，其中，所述命名實體識別模型為序列標注模型。

6.如權利要求5所述的方法，其中，所述命名實體識別模型基于預先獲取的實體訓練數據集合進行模型訓練，以便所述命名實體識別模型的輸出指示輸入文本中存在的候選實體。

7.如權利要求6所述的方法，其中，所述實體訓練數據集合包括多條實體訓練數據，每條實體訓練數據包括第一訓練文本和第二訓練文本，所述第二訓練文本為對第一訓練文本中的候選實體進行實體標記后形成的文本，基于預先獲取的實體訓練數據集合進行模型訓練，包括：

對實體訓練數據集合中的各條實體訓練數據，將所述實體訓練數據中的第一訓練文本作為輸入，輸入到所述命名實體識別模型，以得到所述命名實體識別模型輸出的、所述第一訓練文本對應的標記有候選實體的標記文本；

基于所述實體訓練數據中第一訓練文本對應的標記文本和第二訓練文本，調整所述命名實體識別模型的網絡參數。

8.如權利要求7所述的方法，其中，所述調整所述命名實體識別模型的網絡參數，包括：

使用反向傳播算法調整所述命名實體識別模型的網絡參數。

9.如權利要求4所述的方法，其中，所述情感識別模型基于預先獲取的情感訓練數據集合進行模型訓練，以便所述情感識別模型的輸出指示輸入向量集對應的詞所屬的文本、對所述詞的情感傾向。

10.如權利要求9所述的方法，其中，所述情感訓練數據集合包括多條情感訓練數據，每條情感訓練數據包括情感訓練文本，以及所述情感訓練文本對其包括的各詞的真實情感傾向，所述基于預先獲取的情感訓練數據集合進行模型訓練，包括：

對情感訓練數據集合中的各條情感訓練數據，將所述情感訓練數據中情感訓練文本進行分詞處理，以得到相應的分詞序列；

獲取所述分詞序列中各詞的向量集，所述向量集包括對應詞的詞向量、所述情感訓練文本對應的主題向量、以及所述情感訓練文本包括的所有候選實體的詞向量；

對所述分詞序列中的各詞，將所述詞的向量集作為輸入，輸入所述情感識別模型，以得到所述情感識別模型輸出的、所述情感訓練文本對所述詞的情感傾向；

基于所述情感訓練文本對所述詞的情感傾向和真實情感傾向，調整所述情感識別模型的網絡參數。