[發明專利]文本添加標點的方法、裝置、介質及電子設備

在審

• 申請號: 202011344671.1
• 申請日: 2020-11-25
• 公開（公告）號: CN112464642A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 顏澤龍;王健宗;吳天博;程寧
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/289;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 孫強

本申請提供了一種文本添加標點方法、裝置、介質及電子設備。該方法包括：獲取待添加文本，將待添加文本進行分詞得到多個詞語，獲取多個詞語中各個詞語之間的關系，得到各個詞語的依賴詞及各個詞語與其依賴詞之間的關系，基于各個詞語、各個詞語的依賴詞及各個詞語與其依賴詞之間的關系，確定各個詞語的關系向量，獲取多個詞語的關系向量之間的關系，基于關系向量之間的關系，在多個詞語之間添加標點，考慮到了待添加文本中詞與詞之間的關系，并且考慮到了待添加文本中詞與文本之間的關系，能夠在一定程度上提高標點添加的準確性。

技術領域

本申請涉及人工智能領域，特別涉及一種文本添加標點的方法、裝置、介質及電子設備。

背景技術

隨著人工智能的不斷發展，各種深度學習營運而生。在當下，無論是語音識別生成的文本，還是各種社交網絡語料，都是不帶任何標點符號的文本。由于缺乏必要的句子邊界和標點信息，文本的可讀性較低，對下游的一些自然語言處理任務，如意圖識別、命名實體識別等有一定的影響?，F有的標點添加方法需要人為構建特征作為輸入，沒有考慮到待添加文本自身的特征，添加的標點不夠準確。

發明內容

本申請旨在提供一種文本添加標點的方法、裝置、介質及電子設備，其能夠在一定程度上提高標點添加的準確性。

根據本申請實施例的一個方面，提供了一種文本添加標點方法包括：獲取待添加文本，將所述待添加文本進行分詞得到多個詞語；獲取所述多個詞語中各個詞語之間的關系，得到各個詞語的依賴詞及所述各個詞語與其依賴詞之間的關系；基于所述各個詞語、所述各個詞語的依賴詞及所述各個詞語與其依賴詞之間的關系，確定所述各個詞語的關系向量；獲取所述多個詞語的關系向量之間的關系；基于所述關系向量之間的關系，在所述多個詞語之間添加標點。

根據本申請實施例的一個方面，提供了一種文本添加標點裝置，包括：獲取模塊，配置為獲取待添加文本，將所述待添加文本進行分詞得到多個詞語；獲取所述多個詞語中各個詞語之間的關系，得到各個詞語的依賴詞及所述各個詞語與其依賴詞之間的關系；確定模塊，配置為基于所述各個詞語、所述各個詞語的依賴詞及所述各個詞語與其依賴詞之間的關系，確定所述各個詞語的關系向量；添加模塊，配置為獲取所述多個詞語的關系向量之間的關系，基于所述關系向量之間的關系，在所述多個詞語之間添加標點。

在本申請的一些實施例中，基于前述方案，所述獲取模塊配置為：將所述待添加文本按照文本順序進行分詞，得到第一分詞結果；將所述待添加文本按照文本倒序進行分詞，得到第二分詞結果；獲取所述第一分詞結果與所述第二分詞結果之間的差異，將所述差異對應的待添加文本從中間到兩邊進行分詞，得到差異結果；將所述第一分詞結果中與所述第二分詞結果之間的差異替換為所述差異結果，將替換后的第一分詞結果作為所述多個詞語。

在本申請的一些實施例中，基于前述方案，所述獲取模塊配置為：獲取所述各個詞語的詞性和位置；根據所述各個詞語的詞性和位置，確定所述各個詞語之間的關系。

在本申請的一些實施例中，基于前述方案，所述確定模塊配置為：獲取基于所述各個詞語得到的第一向量；獲取基于所述各個詞語的依賴詞得到的第二向量；獲取基于所述各個詞語與其依賴詞之間的關系得到的第三向量；將所述第一向量、所述第二向量和所述第三向量進行組合，得到所述各個詞語對應的關系向量。

在本申請的一些實施例中，基于前述方案，所述確定模塊配置為：將所述各個詞語進行編碼得到第一序列；將所述各個詞語的依賴詞進行編碼得到第二序列；將所述各個詞語與其依賴詞之間的關系進行編碼得到第三序列；對所述第一序列、所述第二序列和所述第三序列進行截斷或補零，將截斷或補零后的第一序列映射為所述第一向量，將截斷或補零后的第二序列映射為所述第二向量，將截斷或補零后的第三序列映射為所述第三向量。

在本申請的一些實施例中，基于前述方案，所述添加模塊配置為：將所述所述多個詞語的關系向量輸入預訓練的注意力模型，得到所述多個詞語的關系向量之間的關系。