[發(fā)明專利]自然語言處理方法、裝置及電子設備

在審

• 申請?zhí)枺?/td>: 202011479380.3
• 申請日: 2020-12-15
• 公開（公告）號: CN112528654A
• 公開（公告）日: 2021-03-19
• 發(fā)明（設計）人: 呂少科;蔣宏飛;宋旸;邵睿;張振
• 申請（專利權）人: 作業(yè)幫教育科技(北京)有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/30;G06F40/211;G06N3/04
• 代理公司: 北京清誠知識產權代理有限公司 11691
• 代理人: 宋紅艷

1.一種自然語言處理方法，其特征在于，包括：

對文本數(shù)據(jù)中的文字進行分詞處理以獲取文字和/或詞匯；

將所述文本數(shù)據(jù)和其對應的領域屬性輸入文字向量模型中，獲取字向量；

將所述文本數(shù)據(jù)和其對應的領域屬性輸入詞匯向量模型中，獲取詞向量；

基于所述文本數(shù)據(jù)確定所述文字對應的第一權重和/或所述詞匯對應的第二權重；

通過所述字向量、所述第一權重和/或所述詞向量、所述第二權重確定所述文本數(shù)據(jù)的句子語義向量；

基于所述句子語義向量對所述實時文本數(shù)據(jù)進行自然語言處理。

2.根據(jù)權利要求1所述的自然語言處理方法，其特征在于，還包括：

提取數(shù)據(jù)庫中多個預設文本數(shù)據(jù)的句子語義向量；

基于所述句子語義向量將所述文本數(shù)據(jù)和所述多個預設文本數(shù)據(jù)進行相似度比較；

根據(jù)相似度比較結果由所述多個預設文本數(shù)據(jù)中確定目標文本數(shù)據(jù)。

3.根據(jù)權利要求1或2所述的自然語言處理方法，其特征在于，還包括：

基于多個帶有領域屬性的語料對深度神經網絡模型進行訓練，生成所述文字向量模型；

基于多個帶有領域屬性的語料對淺層神經網絡模型進行訓練，生成所述詞匯向量模型。

4.根據(jù)權利要求1-3任一所述的自然語言處理方法，其特征在于，對文本數(shù)據(jù)中的文字進行分詞處理以獲取文字和/或詞匯，包括：

獲取分詞字典；

基于所述分詞字典對所述文本數(shù)據(jù)進行分詞，生成詞匯網絡，所述詞匯網絡為有向無環(huán)圖；

基于所述詞匯網絡確定所述詞匯。

5.根據(jù)權利要求1-4任一所述的自然語言處理方法，其特征在于，基于所述詞匯網絡確定所述詞匯，包括：

基于動態(tài)規(guī)劃算法確定所述詞匯網絡中的最大概率路徑；

基于所述最大概率路徑確定所述詞匯；

可選地，對文本數(shù)據(jù)中的文字進行分詞處理以獲取文字和/或詞匯后，還包括：

基于所述文本數(shù)據(jù)的內容確定所述文本數(shù)據(jù)的領域屬性；和/或

基于所述文本數(shù)據(jù)的標簽確定所述文本數(shù)據(jù)的領域屬性。

6.根據(jù)權利要求1-5任一所述的自然語言處理方法，其特征在于，將所述文本數(shù)據(jù)和其對應的領域屬性輸入文字向量模型中，獲取字向量，包括：

將所述文本數(shù)據(jù)和其對應的領域屬性輸入訓練完畢的BERT模型中以生成字向量；

可選地，將所述文本數(shù)據(jù)和其對應的領域屬性輸入詞匯向量模型中，獲取詞向量，包括：

將所述文本數(shù)據(jù)和其對應的領域屬性輸入訓練完畢的Word2vec模型中以生成詞向量。

7.根據(jù)權利要求1所述的自然語言處理方法，其特征在于，基于所述文本數(shù)據(jù)確定所述文字對應的第一權重和/或所述詞匯對應的第二權重，包括：

基于所述文本數(shù)據(jù)中所述文字和/或所述詞匯對應的逆文檔頻率確定所述第一權重和/或所述第二權重；

可選地，通過所述字向量、所述第一權重和/或所述詞向量、所述第二權重確定所述文本數(shù)據(jù)的句子語義向量，包括：

根據(jù)所述第一權重和/或所述第二權重將所述字向量和/或所述詞向量進行拼接以生成所述句子語義向量。

8.一種自然語言處理裝置，其特征在于，包括：

分詞模塊，用于對文本數(shù)據(jù)中的文字進行分詞處理以獲取文字和/或詞匯；

文字模塊，用于將所述文本數(shù)據(jù)和其對應的領域屬性輸入文字向量模型中，獲取字向量；

詞匯模塊，用于將所述文本數(shù)據(jù)和其對應的領域屬性輸入詞匯向量模型中，獲取詞向量；

權重模塊，用于基于所述文本數(shù)據(jù)確定所述文字對應的第一權重和/或所述詞匯對應的第二權重；

向量模塊，用于通過所述字向量、所述第一權重和/或所述詞向量、所述第二權重確定所述文本數(shù)據(jù)的句子語義向量；

語義模塊，用于基于所述句子語義向量對所述實時文本數(shù)據(jù)進行自然語言處理。