[發(fā)明專利]音譯名識別規(guī)則的生成方法、裝置、生成設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110242748.2
• 申請日: 2021-03-05
• 公開（公告）號: CN112883161A
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計）人: 聶鐳;齊凱杰;聶穎
• 申請（專利權(quán)）人: 龍馬智芯（珠海橫琴）科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/216;G06F40/295;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本申請實施例適用于自然語言處理領(lǐng)域，提供了一種音譯名識別規(guī)則的生成方法，該方法包括以下步驟：獲取待處理文本樣本，其中，待處理文本樣本標注有第一音譯名文本；提取第一音譯名文本；根據(jù)第一音譯名文本生成音譯名識別規(guī)則，其中，音譯名識別規(guī)則用于識別出待處理文本中的第二音譯名文本?？梢?，本申請通過訓練樣本數(shù)據(jù)生成音譯名識別規(guī)則，從而根據(jù)音譯名識別規(guī)則識別出中文文本中包含音譯的外國人人名，提高了中文的命名實體識別現(xiàn)階段中的識別準確率。

技術(shù)領(lǐng)域

本申請屬于自然語言處理領(lǐng)域，尤其涉及一種音譯名識別規(guī)則的生成方法、裝置、生成設(shè)備及存儲介質(zhì)。

背景技術(shù)

中文的命名實體識別現(xiàn)階段主要是實現(xiàn)人名、地名、組織等類型的實體識別，其中人名的識別對于中文名識別結(jié)果已有相對較成熟的手段，

但是當中文文本中包含音譯的外國人名時識別結(jié)果還相對較差。音譯名的外國人名長度不定且沒有明顯的邊界標志詞，導致在中文的命名實體識別現(xiàn)階段中由于無法識別出包含音譯的外國人名，從而導致識別準確率較低的問題。

發(fā)明內(nèi)容

有鑒于此，本申請實施例提供了一種音譯名識別規(guī)則的生成方法、裝置、生成設(shè)備及存儲介質(zhì)，以解決在中文的命名實體識別現(xiàn)階段中由于無法識別出包含音譯的外國人名，從而導致識別準確率較低的問題。

本申請實施例的第一方面提供了一種音譯名識別規(guī)則的生成方法，包括：

獲取待處理文本樣本，其中，所述待處理文本樣本標注有第一音譯名文本；

提取所述第一音譯名文本；

根據(jù)所述第一音譯名文本生成所述音譯名識別規(guī)則，其中，所述音譯名識別規(guī)則用于識別出待處理文本中的第二音譯名文本。

在第一方面的一種可能的實現(xiàn)方式中，根據(jù)所述音譯名文本生成所述音譯名識別規(guī)則，包括：

根據(jù)所述第一音譯名文本構(gòu)建音譯名數(shù)據(jù)庫；

在所述音譯名數(shù)據(jù)庫中確定出所述第一音譯名文本中各個字對應(yīng)的頻率；

根據(jù)所述第一音譯名文本中各個字對應(yīng)的頻率生成音譯名識別規(guī)則。

在第一方面的一種可能的實現(xiàn)方式中，根據(jù)所述第一音譯名文本中各個字對應(yīng)的頻率構(gòu)建音譯名識別規(guī)則，包括：

根據(jù)所述第一音譯名文本中各個字對應(yīng)的頻率得到頻率閾值；

根據(jù)下式得到音譯名識別規(guī)則：

，

其中，i=1,2,...,n，min（Pi）表示待處理文本的詞組中字的最小頻率，P_閾值表示頻率閾值，當所述待處理文本的詞組中字的最小頻率大于所述頻率閾值，則確認所述待處理文本中的詞組為第二音譯名文本。

在第一方面的一種可能的實現(xiàn)方式中，提取所述第一音譯名文本之前，還包括：

劃分所述待處理文本樣本為第一文本樣本和第二文本樣本，其中，所述第一文本樣本包含人名，第二文本樣本不包含人名；

將所述第一文本樣本輸入至預設(shè)的分類模型進行訓練，得到人名識別模型；

其中，所述人名識別模型用于作為與所述音譯名識別規(guī)則對應(yīng)的前置篩選規(guī)則，在音譯名識別規(guī)則識別出待處理文本中的第二音譯名文本之前，篩選出所述待處理文本中的人名。

在第一方面的一種可能的實現(xiàn)方式中，根據(jù)所述第一音譯名文本生成所述音譯名識別規(guī)則之后，還包括：

在所述待處理文本樣本中提取所述第一音譯名的左鄰字以及右鄰字；

根據(jù)所述左鄰字形成前綴語料庫；

根據(jù)所述右鄰字形成后綴語料庫；

基于所述前綴語料庫以及所述后綴語料庫，生成與所述音譯名識別規(guī)則對應(yīng)的檢驗規(guī)則，所述檢驗規(guī)則用于在所述音譯名識別機制識別出待處理文本中的第二音譯名文本之后，對所述第二音譯名文本進行校驗。

本申請實施例的第二方面提供了一種音譯名識別規(guī)則的生成裝置，包括：