[發明專利]一種基于樹庫轉化的越南語依存樹庫錯誤檢測的方法

在審

• 申請號: 201810021822.6
• 申請日: 2018-01-10
• 公開（公告）號: CN108280060A
• 公開（公告）日: 2018-07-13
• 發明（設計）人: 郭劍毅;邱國柯;余正濤;線巖團;毛存禮
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種基于樹庫轉化的越南語依存樹庫錯誤檢測的方法，屬于自然語言處理技術領域。本發明包括如下步驟：首先定義越南語的依存關系類型；其次構建一個規則知識庫，并利用該規則知識庫推導出測試依存結構樹中父節點和子節點構成的短語類型；然后將測試依存結構樹轉化為短語結構樹；最后將實際轉化成功得到的短語結構樹的短語類型與推導出的短語類型進行對比。本發明能夠對越南語的機器翻譯、信息抽取和信息檢索等上層應用提供有力支撐；可以有效提高越南語依存樹庫的質量；節省了人力物力的時間；為越南語依存樹庫錯誤檢測提供了一種有效的方法。

技術領域

本發明涉及一種基于樹庫轉化的越南語依存樹庫錯誤檢測的方法，屬于自然語言處理技術領域。

背景技術

依存樹庫作為一種基礎性語料，不管是作為構建依存句法分析器的訓練語料，還是為機器翻譯、信息檢索、信息抽取等上層應用提供支撐都有著舉足輕重的作用。通過任何方式構建的依存樹庫都難免會存在一些錯誤，這些錯誤可能是最基礎的分詞和詞性標注出錯，也可能是更上層的依存關系類型標注出錯，其直接影響著上層應用如機器翻譯的質量。因此，必須對這些錯誤進行檢測和分析以便對其進行校正，從而進一步提高依存樹庫的質量。如何提高依存樹庫的質量是一個具有挑戰性的研究課題。

依存樹庫錯誤檢測總體上有三種方法：(1)人工檢測方法；(2)基于統計學的方法；(3)基于規則的方法。人工檢測方法是最原始最機械的方法，雖精度高但極其費時費力且效率低下。Ambati(2011)等人研發了一個依存樹庫錯誤檢測工具來自動檢測印度語依存樹庫中存在的錯誤；Agarwal R(2012)等人對此工具做進一步研究后，提出了一種基于統計學的方法，充分節省了錯誤檢測的時間；Agrawal B(2013)等人基于統計學的方法并利用一個依存句法解析器來自動檢測依存樹庫中不易發現的錯誤，該方法雖提高了檢測效率，但僅能檢測到一部分錯誤。在中文方面，史林林(2016)等人基于產生式規則自動檢測依存樹庫中存在的錯誤，最終從50275個依存結構樹中檢測出1529處錯誤，但其缺失了樹庫轉化這一重要過程。在越南語方面，目前對依存樹庫錯誤檢測的研究還十分缺乏。

發明內容

本發明提供了一種基于樹庫轉化的越南語依存樹庫錯誤檢測的方法，以用于有效提高越南語依存樹庫的質量，為越南語依存樹庫錯誤檢測提供了一種有效的方法；有效避免了人工檢測的繁瑣過程，充分節省了人力物力的時間；彌補了基于規則的方法缺失樹庫轉化這一過程的不足；對越南語的機器翻譯、信息抽取和信息檢索等上層應用提供有力支撐；依存樹庫的質量是這些上層應用的基礎。

本發明的技術方案是：一種基于樹庫轉化的越南語依存樹庫錯誤檢測的方法，所述方法的具體步驟如下：

Step1、首先定義越南語的依存關系類型；

Step2、其次利用Step1的結果構建一個規則知識庫，并利用該規則知識庫推導出測試依存結構樹中父節點和子節點構成的短語類型；

Step3、然后將測試依存結構樹轉化為短語結構樹；若轉化失敗，則直接說明測試依存結構樹中最基礎的分詞與詞性標注錯誤；若轉化成功，則進入Step4；

Step4、最后將Step3中實際轉化成功得到的短語結構樹的短語類型與Step2中推導出的短語類型進行對比；若對比一致，則說明測試依存結構樹不存在錯誤；若對比不一致，則說明測試依存結構樹中最基礎的分詞與詞性標注正確，而更上層的依存關系標注錯誤。

所述步驟Step1的具體步驟為：

Step1.1、首先依據語義方式找出句子中哪些詞語之間存在依存關系；在一個句子中，語義層面上存在某種聯系的詞語之間應該存在依存關系；也就是說，詞語之間產生依存關系才能促使新語義的產生，本發明稱之為語義原則。在進行依存關系標注時，語義原則應優先考慮；