[發(fā)明專利]一種基于深度學(xué)習(xí)的中文語義分析的方法及裝置

有效

• 申請?zhí)枺?/td>: 201610658579.X
• 申請日: 2016-08-11
• 公開（公告）號: CN107729309B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 鄭驍慶;陳軍;呂永;尚國強(qiáng)
• 申請（專利權(quán)）人: 中興通訊股份有限公司;復(fù)旦大學(xué)
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/295;G06F40/242
• 代理公司: 北京元本知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11308
• 代理人: 秦力軍

本發(fā)明公開了一種基于深度學(xué)習(xí)的中文語義分析的方法及裝置，涉及自然語言處理技術(shù)領(lǐng)域，其方法包括：移動終端通過對所獲取的中文文本進(jìn)行規(guī)范化處理，得到規(guī)范中文文本；移動終端對規(guī)范中文文本進(jìn)行特殊類型詞匯識別和/或自定義詞匯識別和/或中文命名識別，并將識別結(jié)果作為約束條件；移動終端根據(jù)所述約束條件和利用深度學(xué)習(xí)得到中文分詞和詞性標(biāo)注模型，對所規(guī)范中文文本進(jìn)行中文分詞和詞性分析，得到規(guī)范中文文本的分詞和詞性；移動終端利用所述規(guī)范中文文本的分詞、詞性和/或命名識別類型，對所規(guī)范中文文本進(jìn)行中文語義分析。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語言處理技術(shù)領(lǐng)域，特別涉及一種基于深度學(xué)習(xí)的中文語義分析的方法及裝置。

背景技術(shù)

中文自然語言理解目前已經(jīng)取得長足進(jìn)步，特別是在中文分詞和詞性分析方面產(chǎn)生了大量的研究成果。雖然較英語和日語而言，中文自動化分析技術(shù)仍然比較落后，但是之前的研究積累使得研發(fā)能夠進(jìn)行高層次語義分析和理解的系統(tǒng)，并且將其應(yīng)用于實(shí)際成為可能。運(yùn)用語義分析技術(shù)的系統(tǒng)將極大地提高系統(tǒng)的智能水平和應(yīng)對能力。語義分析技術(shù)是文本信息分析與處理的關(guān)鍵和難點(diǎn)，也是信息抽取、用戶意圖分析、信息融合、問題回答、智能推理等基礎(chǔ)。

另一方面，深度學(xué)習(xí)是近期人工智能研究取得突破性的進(jìn)展，它結(jié)束了人工智能長達(dá)十年未能有突破性進(jìn)展的局面，并迅速在工業(yè)界產(chǎn)生影響。深度學(xué)習(xí)有別于僅可以完成特定任務(wù)的狹隘的人工智能系統(tǒng)(面向特定任務(wù)的功能模擬)，作為通用的人工智能技術(shù)，可以應(yīng)對各種情況和問題，已在圖像識別、語音識別等領(lǐng)域得到極其成功的應(yīng)用，在自然語言處理領(lǐng)域(主要是英文)也取得成效。

發(fā)明內(nèi)容

根據(jù)本發(fā)明實(shí)施例提供的方案解決的技術(shù)問題是中文語義的自動化分析不準(zhǔn)確。

根據(jù)本發(fā)明實(shí)施例提供的一種基于深度學(xué)習(xí)的中文語義分析的方法，包括：

移動終端通過對所獲取的中文文本進(jìn)行規(guī)范化處理，得到規(guī)范中文文本；

移動終端對規(guī)范中文文本進(jìn)行特殊類型詞匯識別和/或自定義詞匯識別和/或中文命名識別，并將識別結(jié)果作為約束條件；

移動終端根據(jù)所述約束條件和利用深度學(xué)習(xí)得到中文分詞和詞性標(biāo)注模型，對所規(guī)范中文文本進(jìn)行中文分詞和詞性分析，得到規(guī)范中文文本的分詞和詞性；

移動終端利用所述規(guī)范中文文本的分詞、詞性和/或命名識別類型，對所規(guī)范中文文本進(jìn)行中文語義分析。

優(yōu)選地，所述移動終端對規(guī)范中文文本進(jìn)行特殊類型詞匯識別和/或自定義詞匯識別和/或中文命名識別，并將識別結(jié)果作為約束條件包括：

所述移動終端利用特殊類型詞匯模板對規(guī)范中文文本進(jìn)行特殊類型詞匯識別，得到所述規(guī)范中文文本的特殊類型詞匯識別結(jié)果，并將得到的特殊類型詞匯識別結(jié)果作為第一約束條件。

優(yōu)選地，所述移動終端對規(guī)范中文文本進(jìn)行特殊類型詞匯識別和/或自定義詞匯識別和/或中文命名識別，并將識別結(jié)果作為約束條件包括：

所述移動終端利用自定義詞典對規(guī)范中文文本進(jìn)行自定義詞匯識別，得到所述規(guī)范中文文本的自定義詞匯識別結(jié)果，并將得到的自定義詞匯識別結(jié)果作為第二約束條件。

優(yōu)選地，所述移動終端對規(guī)范中文文本進(jìn)行特殊類型詞匯識別和/或自定義詞匯識別和/或中文命名識別，并將識別結(jié)果作為約束條件包括：

所述移動終端利用深度學(xué)習(xí)得到中文命名識別模型對規(guī)范中文文本進(jìn)行中文命名識別，得到所述規(guī)范中文文本的中文命名識別結(jié)果，并將所得到的中文命名識別結(jié)果作為第三約束條件。

優(yōu)選地，所述約束條件包括第一約束條件、第二約束條件以及第三約束條件中的至少一種或其組合。

優(yōu)選地，所述移動終端利用所述規(guī)范中文文本的分詞、詞性和/或命名識別類型，對所規(guī)范中文文本進(jìn)行中文語義分析包括：