[發明專利]用于知識產權領域的自然語言處理系統以及自然語言處理方法

在審

• 申請號: 202010194795.X
• 申請日: 2020-03-19
• 公開（公告）號: CN113495957A
• 公開（公告）日: 2021-10-12
• 發明（設計）人: 張智堯;李嘉孟;蘇仁浚
• 申請（專利權）人: 荷盛崧鉅智財顧問股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/33;G06N3/04;G06N3/08;G06F40/157;G06Q50/18
• 代理公司: 廈門加減專利代理事務所(普通合伙) 35234
• 代理人: 李強

本發明揭露一種自然語言處理系統，用于知識產權領域，包括文意深度學習模塊、規范用語數據處理單元以及結合學習單元。文意深度學習模塊接收文本，以產生文本文意表征。規范用語數據處理單元包括字符串比對模塊與神經網絡數據處理模塊。字符串比對模塊接收文本，并利用預定的知識產權字典庫比對文本以產生第一輸入信息，神經網絡數據處理模塊接收第一輸入信息，并依據第一輸入信息產生文本規范表征。結合學習單元包括結合模塊與分類器。結合模塊結合文本文意表征與文本規范表征以產生一第二輸入信息，分類器接收第二輸入信息以產生文本標簽。藉此，可以有效地納入知識產權領域特有的文本規范，解決知識產權領域在文本分類上的缺點。

技術領域

本發明涉及一種自然語言處理系統以及自然語言處理方法，尤其涉及一種利用深度學習用于知識產權領域的自然語言處理系統以及自然語言處理方法。

背景技術

在面臨國際技術競爭與沖擊的當下，知識產權的發展成為產業升級上極重要的一環。在知識經濟的浪潮席卷全球的下，知識產權的重要性與價值已毋庸置疑，但隨著新的科技技術出現，也逐漸引發知識產權未來的服務走向。

以往的知識產權需要耗費大量的人力，從技術、法律、商業利益等角度來解析，進而產生對權利人有益的策略與行為。其中，對于如此大量的文件進行分類處理是一個基本但也重要的工作。傳統上對于文件的分類處理，大多僅能進行最初揭的判斷，容易產生分類錯誤的問題。若要進行深度的分析判斷，就需要耗費大量人力與時間。

因此，有必要藉由現今漸趨成熟的人工智能，來改善知識產權耗費人工、錯誤與爭議大、耗時效率低等問題。

因此，本發明的主要目的在于提供一種利用深度學習以智能處理知識產權數據的自然語言處理系統以及自然語言處理方法，以解決上述問題。

發明內容

本發明的目的在于提供一種自然語言處理(Natural Language Processing；NLP)系統，用于具有特定文本規范的知識產權領域，用以將文本轉化產生具有領域適應性的文本標簽。此自然語言處理系統包括文意深度學習模塊、規范用語數據處理單元以及結合學習單元。文意深度學習模塊是用以接收所述文本，以產生文本文意表征。規范用語數據處理單元包括字符串比對模塊與神經網絡數據處理模塊。其中，所述字符串比對模塊是用以接收所述文本，并利用預定的知識產權字典庫比對所述文本以產生第一輸入信息，所述神經網絡數據處理模塊是用以接收所述第一輸入信息，并依據所述第一輸入信息產生文本規范表征。結合學習單元包括結合模塊與分類器。其中，所述結合模塊是用以結合所述文本文意表征與所述文本規范表征，以產生一第二輸入信息，所述分類器是用以接收所述第二輸入信息，以產生所述文本標簽。

為達所述優點至少其中的一或其他優點，本發明的一實施例提出一種自然語言處理系統，其特征在于，其中所述文本是一訓練文本，所述訓練文本具有既定的比對標簽，所述自然語言處理系統更包括訓練模塊，所述訓練模塊是用以擷取所述比對標簽，并依據所述文本標簽與所述比對標簽間的損失函數(loss function)修正所述文意深度學習模塊的第一參數、所述神經網絡數據處理模塊的第二參數與所述分類器的第三參數。其中所述損失函數是均方誤差(Mean square error,MSE)或平均絕對值誤差(Mean absolute error,MAE)。

為達所述優點至少其中的一或其他優點，本發明的一實施例提出一種自然語言處理系統，其特征在于，其中所述文意深度學習模塊是選自于由BERT、RoBERTa、或ALBERT所組成的卷積神經網絡(Convolutional Neural Network；CNN)族群中的至少一個。

為達所述優點至少其中的一或其他優點，本發明的一實施例提出一種自然語言處理系統，其特征在于，其中所述神經網絡數據處理模塊是利用獨熱編碼(One Hot Encode)產生所述文本規范表征。

為達所述優點至少其中的一或其他優點，本發明的一實施例提出一種自然語言處理系統，其特征在于，其中所述分類器是Softmax分類器。