[發明專利]一種柬埔寨語組織機構名識別方法

在審

• 申請號: 201611157511.X
• 申請日: 2016-12-15
• 公開（公告）號: CN106776560A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 嚴馨;王若蘭;余正濤;郭劍毅
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種柬埔寨語組織機構名識別方法，特別是一種基于Tri-training算法的柬埔寨語組織機構名識別方法，屬于自然語言處理技術領域。

背景技術

柬埔寨語又稱高棉語，屬南亞語系孟高棉語族高棉語支語言，是柬埔寨現今的官方語言。由于我國與柬埔寨國家在各個領域之間的交流日趨頻繁，而目前，有關柬語文本的詞法分析工作比較匱乏，因此進行柬埔寨語的命名實體識別研究對柬埔寨的政治經濟分析、輿情把握等具有非常重要的意義。針對柬語的詞法分析工作，特別是柬語的命名實體識別更是需要投入大量精力進行研究。命名實體識別是信息處理中最為基礎的關鍵技術之一，其中，組織機構名識別是命名實體識別研究的重點，也是難點。組織機構名是泛指機關、團體等實體的名稱。雖然組織機構名沒有人名、地名那樣明確的特點和固定的用詞，但也有一定的組成特點。完整的組織機構名通常由一個或一個以上的機構名前部詞加上一個機構名后綴詞(如大學、協會等)組成。因此本發明只討論柬埔寨語組織機構名識別問題。

發明內容

本發明要解決的技術問題是提供一種柬埔寨語組織機構名識別方法，用于解決柬埔寨語組織機構名的識別、提高柬埔寨語組織機構名識別的準確率等問題。

本發明的技術方案是：一種柬埔寨語組織機構名識別方法，具體步驟如下：

Step1、首先對抽取的柬埔寨語篇章進行切分，切分后的句子進行分詞和詞性標注，通過人工校對，然后標注柬埔寨語命名實體，得到相當規模的柬埔寨語組織機構名語料；

Step2、通過標注的語料提取命名實體指示詞，構建指示詞庫，構建特征模板，通過改進的Tri-training算法學習得到組織機構名識別模型；

Step3、對選取的測試語料通過組織機構名識別模型進行訓練得到組織機構名的標注結果。

所述步驟Step1中組織機構名標注語料獲取的具體步驟如下：

Step1.1、首先利用爬蟲程序，從柬埔寨新聞網上爬取出網頁信息；

Step1.2、把爬取出的網頁信息，經過過濾處理，構建出柬埔寨語篇章語料庫；

Step1.3、通過柬埔寨語的句子結束符等將篇章切分為句子，形成柬埔寨語句子級語料庫，并把柬埔寨語句子級語料庫的語料存放到數據庫中；

Step1.4、從數據庫中取出柬埔寨語句子級的語料，通過柬埔寨語分詞和詞性標注系統進行分詞和詞性標注，并進行人工校對，得到含有正確結果的柬埔寨語詞性標注分詞庫，并把柬埔寨語詞性標注分詞庫的詞語存放到數據庫中；

Step1.5、根據柬埔寨語命名實體特點和標注規則，從數據庫中取出柬埔寨語詞性標注分詞庫的語料，通過人工標注柬埔寨語命名實體，得到含有正確標注結果的柬埔寨語命名實體語料庫，并把柬埔寨語命名實體標注語料庫的結果存放在數據庫中。

所述步驟Step2組織機構名識別模型構建的具體步驟：

Step2.1、從存放柬埔寨語命名實體標注語料庫的數據庫中取出已標注好的柬埔寨語命名實體的語料；

Step2.2、對Step2.1中的語料提取命名實體指示詞，構建命名實體指示詞庫，其中提取的命名實體包括人名、地名和組織機構名；

Step2.3、通過組織機構名的詞和詞性特種構建基本特征模板，基本特征模板描述了當前詞及其上下文中若干個詞的詞性；

Step2.4、通過Step2.3構建的基本特征模板進行特征組合構建復合特征模板，復合特征能夠利用遠距離的依存關系和豐富的上下文信息；

Step2.5、柬埔寨語組織機構名具有非常復雜的構成特點，這些復雜的特點為柬埔寨語組織機構名識別提供非常豐富的外部信息，因此基于這個特點，結合Step2.2構建的命名實體指示詞庫，構建實體特征模板；

Step2.6、根據分類器的特點，選取條件隨機場、支持向量機和最大熵模型三個不同的分類器作為Tri-training算法中的三個基分類器；

Step2.7、通過三個基分類器和Step2.3、Step2.4、Step2.5構建的特征模板，利用已標注語料和未標注語料通過改進的Tri-training算法學習得到組織機構名識別模型。

所述步驟Step1.2的具體步驟為：

Step1.2.1、對爬取的網頁信息進行有效的過濾，去除無效網頁；

Step1.2.2、對得到的有效網頁進行去重、去噪音的預處理操作。

所述步驟Step2.7的具體步驟為：