[發明專利]一種自然語言的語義解析方法

在審

• 申請號: 202010594776.6
• 申請日: 2020-06-28
• 公開（公告）號: CN111753550A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 汪秀英
• 申請（專利權）人: 汪秀英
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/289;G06F40/216;G06F40/242;G06N3/04;G06N3/08
• 代理公司: 長沙正務聯合知識產權代理事務所(普通合伙) 43252
• 代理人: 鄭雋;吳婷

本發明涉及一種語義解析的技術領域，揭露了一種自然語言的語義解析方法，包括：利用基于字符串的正向最大匹配算法對自然語言進行分詞處理；利用預設字典對自然語言進行去前綴詞處理；利用Hash編碼方式對經過分詞處理的自然語言進行編碼；利用中文詞向量模型將自然語言進行重新編碼，得到詞的向量化表示；計算自然語言中每個詞向量的相對熵，并對自然語言的長度進行修訂；利用改進的TFIDF算法進行詞向量的權重計算，將權重最高的k個詞向量作為關鍵詞向量；利用基于主動學習訓練得到的LSTM模型接收所述關鍵詞向量，并基于關鍵詞向量進行語義解析。本發明實現了對語義的解析。

技術領域

本發明涉及語義解析的技術領域，尤其涉及一種自然語言的語義解析方法。

背景技術

互聯網經過多年的快速發展，在網絡中存在的信息和知識的增長速度呈幾何級數趨勢。以前用戶在互聯網中查找信息的方式主要通過通用搜索引擎，使用關鍵字去尋找匹配的網頁信息，對網頁集合進行排序的依據是網頁鏈接和關鍵字之間的相關程度。這種查找信息的方式并沒有直接回答用戶的問題，而是縮小了查找信息的范圍，需要用戶自己對搜索到的信息進行二次提煉，以此獲得用戶真正需要的信息，因此實現對自然語言中語義的準確解析收到了研究者的關注。

在現有技術中，對自然語言進行語義解析的方法為利用TFIDF算法對自然語言中的關鍵字進行提取，并使用機器學習模型進行語義解析。而利用TFIDF算法對自然語言中的關鍵字進行提取的方式為統計關鍵字詞頻，當文本中某個詞語頻繁出現，說明該詞語和文本之間有很強的關聯，同時依賴詞語的逆文檔頻率避免常見詞出現權重過高的問題，但詞語的逆文檔頻率會降低文本中所有的常見詞權重，且沒有考慮詞語的位置信息；同時現有機器學習模型需要大量、高質量的訓練樣本數據進行訓練，過于耗時耗力。

鑒于此，如何對自然語言中的關鍵詞進行抽取，并利用所抽取的關鍵詞進行語義的準確解析，成為本領域技術人員亟待解決的問題。

發明內容

本發明提供一種自然語言的語義解析方法，通過對自然語言進行向量化處理，并利用改進的關鍵詞抽取算法對關鍵詞進行抽取，從而利用所抽取的關鍵詞進行語義的準確解析。

為實現上述目的，本發明提供的一種自然語言的語義解析方法，包括：

利用基于字符串的正向最大匹配算法對自然語言進行分詞處理；

利用預設字典對自然語言進行去停用詞處理；

利用Hash編碼方式對經過分詞處理的自然語言進行編碼；

利用中文詞向量模型將自然語言進行重新編碼，得到詞的向量化表示；

計算自然語言中每個詞向量的相對熵，并對自然語言的長度進行修訂；

利用改進的TFIDF算法進行詞向量的權重計算，將權重最高的k個詞向量作為關鍵詞向量；

利用基于主動學習訓練得到的LSTM模型接收所述關鍵詞向量，并基于關鍵詞向量進行語義解析。

可選地，所述利用基于字符串的正向最大匹配算法進行分詞處理，包括：

1)取待處理字符串的前n個字作為匹配字段，查找預構建的分詞詞典，所述分詞詞典中最大詞條所含的漢字個數為n個。若詞典中含有該詞，則匹配成功，并分出該詞；

2)從被比較字符串的n+1處開始再取n個字組成的字段重新在詞典中匹配；

3)如果沒有匹配成功，則將這n個字組成的字段的最后一位剔除，用剩下的n-1個字組成的字段在詞典中進行匹配，如此進行下去，直到切分成功為止。

可選地，所述利用預設字典對自然語言進行去停用詞處理，包括：

將上述分詞結果利用預設的停用詞詞典，進行遍歷匹配操作，將匹配到的詞進行刪除處理；