[發(fā)明專利]基于深度學(xué)習(xí)的相似信息合并方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010917729.0
• 申請日: 2020-09-03
• 公開（公告）號: CN111985491A
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計）人: 高立志
• 申請（專利權(quán)）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06F40/295;G06F40/166;G06F40/126;G06N3/04;G06N3/08
• 代理公司: 深圳市沃德知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44347
• 代理人: 高杰;于志光

1.一種基于深度學(xué)習(xí)的相似信息合并方法，其特征在于，所述方法包括：

獲取第一原始圖像集和第二原始圖像集，對所述第一原始圖像集和所述第二原始圖像集進行預(yù)處理，得到第一待合并圖像集和第二待合并圖像集；

利用預(yù)先訓(xùn)練完成的文本識別模型對所述第一待合并圖像集和所述第二待合并圖像集進行文本識別，得到第一詞向量和第二詞向量，并對所述第一詞向量和第二詞向量編碼，生成第一鍵值、其對應(yīng)的第一結(jié)果值及第二鍵值、其對應(yīng)的第二結(jié)果值，根據(jù)所述第一鍵值和第一結(jié)果值及所述第二鍵值和第二結(jié)果值，將所述第一待合并圖像集和所述第二待合并圖像集轉(zhuǎn)換為第一輸出文本和第二輸出文本；

利用所述鍵值計算所述第一輸出文本和所述第二輸出文本的編輯距離；

比較所述編輯距離與預(yù)設(shè)的閾值之間的大??；

若所述編輯距離小于或者等于預(yù)設(shè)的閾值時，將所述第一輸出文本和所述第二輸出文本進行合并處理，得到并輸出合并數(shù)據(jù)集；

若所述編輯距離大于預(yù)設(shè)的閾值時，直接輸出所述第一輸出文本和所述第二輸出文本。

2.如權(quán)利要求1所述的基于深度學(xué)習(xí)的相似信息合并方法，其特征在于，所述對所述第一詞向量和第二詞向量編碼，包括：

獲取詞向量的唯一編碼函數(shù)；

利用編譯器將所述詞向量的唯一編碼函數(shù)編譯為編碼生成語句；

利用所述編碼生成語句對所述第一詞向量和第二詞向量編碼。

3.如權(quán)利要求1所述的基于深度學(xué)習(xí)的相似信息合并方法，其特征在于，所述文本識別模型包括：

詞向量層，用于將所述第一待合并圖像集包含的文本中的單詞和字符轉(zhuǎn)化為第一詞向量，將所述第二待合并圖像集包含的文本中的單詞和字符轉(zhuǎn)化為第二詞向量；

Bi-LSTM層，用于將所述第一詞向量和所述第二詞向量進行分割，對分割后的所述第一詞向量和所述第二詞向量進行編碼，得到所述第一詞向量的第一編碼表征和所述第二詞向量的第二編碼表征，利用所述第一編碼表征和所述第二編碼表征對分割后的所述第一詞向量和所述第二詞向量進行標(biāo)注，得到第一鍵值和對應(yīng)的第一結(jié)果值及第二鍵值和對應(yīng)的第二結(jié)果值；

CRF層，用于將所述第一鍵值和對應(yīng)的第一結(jié)果值及第二鍵值和對應(yīng)的第二結(jié)果值中相同類型的鍵值和結(jié)果值進行拼接，生成輸出文本。

4.如權(quán)利要求3所述的基于深度學(xué)習(xí)的相似信息合并方法，其特征在于，所述利用所述第一編碼表征和所述第二編碼表征對分割后的所述第一詞向量和所述第二詞向量進行標(biāo)注，包括：

設(shè)置標(biāo)注隊列任務(wù)；

將所述第一詞向量和所述第二詞向量按照所述標(biāo)注隊列任務(wù)的順序進行標(biāo)注。

5.如權(quán)利要求3所述的基于深度學(xué)習(xí)的相似信息合并方法，其特征在于，所述將相同類型的鍵值和結(jié)果值進行拼接，生成輸出文本，包括：

將相同類型的鍵值和結(jié)果值進行拼接；

將拼接完成的文本按照編碼的逆過程進行解碼，生成所述第一輸出文本和第二輸出文本。

6.如權(quán)利要求1所述的基于深度學(xué)習(xí)的相似信息合并方法，其特征在于，所述利用所述鍵值計算所述第一輸出文本和所述第二輸出文本的編輯距離，包括：

利用如下編輯距離算法計算所述編輯距離Sim_topic：

Sim_topic＝Pearson(R,S)

其中，R為所述第一輸出文本的鍵值，S為所述第二輸出文本的鍵值，Pearson為編輯距離運算。

7.如權(quán)利要求1至6中任意一項所述的基于深度學(xué)習(xí)的相似信息合并方法，其特征在于，所述預(yù)處理包括：

將所述第一原始圖像集中的圖像信號和所述第二原始圖像集中的圖像信號進行放大處理，得到第一放大圖像信號和第二放大圖像信號；

將所述第一放大圖像信號和所述第二放大圖像信號進行濾波處理，得到所述第一待合并圖像集和所述第二待合并圖像集。