[發明專利]一種語法分析和詞匯辨析的方法

在審

• 申請號: 202310504117.2
• 申請日: 2023-05-06
• 公開（公告）號: CN116644741A
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 李熙;張海明
• 申請（專利權）人: 北京奇峰天下科技有限公司
• 主分類號: G06F40/253
• 分類號: G06F40/253;G06F40/30;G06F40/284;G06F40/211;G06F16/35;G06N20/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出了一種通過語義樹和語法邏輯解析器對文本進行語法分析的方法及系統，實現自動識別句子核心結構、成分分類、成分間修飾關系、詞性、準確詞義等。該方法直接基于語法規則及教學大綱，提高了句子成分識別的準確性，同時實現了自動為句子打上語法成分標簽，提高了分析效率。通過結合機器學習，讓AI更好地掌握語法分析模型，有效提升自然語言處理技術水平。具體實施方式包括編寫適用于多種語言的語法分析算法，設計描述語法知識點及其層次關系的腳本系統，設計解析器進行句子成分分析，結合教學大綱進行難度評定。

技術領域

本發明屬于自然語言處理技術領域，特別是涉及到語法分析、句子結構識別及語法知識點提取方面的技術。是關于一種通過語義樹和語法邏輯解析器對文本進行語法分析的方法及系統，具體表現為自動識別句子核心結構、成分分類、成分間修飾關系、詞性、準確詞義等，進而實現對文本的深入理解與更高效的機器學習訓練。

背景技術

隨著計算機科學及自然語言處理技術的快速發展，計算機對文本信息的處理能力不斷增強。語法分析是自然語言處理中重要的環節。傳統基于規則的語法分析方法局限性很大，主要表現在難以針對復雜多變的實際數據進行準確分析。近年來，基于機器學習的方法逐漸受到廣泛關注。然而，現有的技術主要基于統計模型，缺乏對語法規則及教學大綱的直接表達，對句子成分的識別及難度評定仍有局限。

發明內容

針對現有技術中的上述不足，本發明提出了一種全新的語法分析方法和系統，能夠更為準確地判斷句子成分、修飾關系、詞性、詞義、知識點分級等，并具備更高的處理效率。主要包括以下幾個創新內容：

(1）通過語法樹以及語法邏輯解析器，編譯確認各種語言文本中句子主體的核心結構，如主體（主語）、執行動作（謂語動詞）、執行結果或對象（賓語），并得出其他成分的修飾層級關系(2）根據權利要求1確認其他句子元素組合對應的成分，如定語、狀語、補語、從句等。確認每個單詞或文字在當前句子語境中的詞性和解釋。(3）自動為任何句子打上語法成分標簽，再與機器學習相結合，讓AI掌握語法成分模型，基于機器學習的模型再分析句子，提高效率。與現有技術相比，本發明具有以下優點和特點：a）直接基于語法規則及教學大綱，提高了句子成分識別的準確性。b）實現了自動為句子打上語法成分標簽，提高了分析效率。c）與機器學習相結合，讓AI更好地掌握語法分析模型，有效提升自然語言處理技術水平。

發明步驟

本發明的技術方案包括以下幾個步驟：a）以現有的NLP生成的token語法樹為基礎，設計一套用于識別句子成分的算法。 附圖說明：圖1是附圖1-語法樹token的結構。b）發明一套用于表達語法知識點的腳本，并實現對腳本的解釋、編譯、執行，輸出正確的結果。 附圖說明：圖2是附圖2-腳本編譯和執行。c）結合教學大綱，進行文章難度級別的評定。 附圖說明：圖3是附圖3-文章級別評定。d）實現自動為句子打上語法成分標簽，與機器學習相結合，讓AI掌握語法成分模型。基于機器學習的模型再分析句子，效率得到大幅提升。 附圖說明：圖4是附圖4-機器學習標簽1；圖5是附圖5-機器學習標簽2。

實施方式

具體實施方式包括：a）編寫一套適用于多種語言的語法分析算法。b）設計一套能夠描述語法知識點及其層次關系的腳本系統。c）設計解析器，能夠根據腳本及語法樹進行句子成分的分析。 附圖說明：圖6是附圖6-單詞詞性分析。d）設計難度評定模塊，結合教學大綱進行文章難度級別的評定。 附圖說明：圖7是附圖7-基于知識點和單詞難度判定文章難度。e）設計自動為句子打上語法成分標簽的模塊，并基于機器學習的算法實現語法分析模型的自動優化。