[發(fā)明專利]確定相似文本的方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201910878064.4
• 申請(qǐng)日: 2019-09-17
• 公開(kāi)（公告）號(hào): CN110727762B
• 公開(kāi)（公告）日: 2022-04-29
• 發(fā)明（設(shè)計(jì)）人: 賈弼然;崔朝輝;趙立軍;張霞
• 申請(qǐng)（專利權(quán)）人: 東軟集團(tuán)股份有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F16/35;G06K9/62
• 代理公司: 北京英創(chuàng)嘉友知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 魏嘉熹

本公開(kāi)涉及一種確定相似文本的方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備，以減少查找相似文本的時(shí)間，提高查找相似文本的效率。該方法應(yīng)用于服務(wù)器，包括：接收客戶端發(fā)送的用于查找目標(biāo)文本的相似文本的請(qǐng)求；根據(jù)目標(biāo)文本的特征向量與數(shù)據(jù)庫(kù)中的每一類文本的中心向量之間的距離，確定目標(biāo)文本的相似文本；將相似文本發(fā)送給客戶端進(jìn)行顯示；其中，數(shù)據(jù)庫(kù)中的文本是通過(guò)如下方式進(jìn)行分類的：確定數(shù)據(jù)庫(kù)中的多個(gè)文本分別的特征向量；確定每個(gè)特征向量的相鄰向量個(gè)數(shù)占向量總數(shù)的比例；根據(jù)比例、以及距離閾值與比例之間的預(yù)設(shè)對(duì)應(yīng)關(guān)系，確定對(duì)應(yīng)比例的目標(biāo)距離閾值；根據(jù)目標(biāo)距離閾值對(duì)多個(gè)文本進(jìn)行分類。

技術(shù)領(lǐng)域

本公開(kāi)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體地，涉及一種確定相似文本的方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，產(chǎn)生了海量數(shù)據(jù)。相關(guān)技術(shù)中，如果用戶想要在海量數(shù)據(jù)中根據(jù)目標(biāo)文本查找相似文本，通常是用戶先選取目標(biāo)文本中比較有代表性的幾個(gè)詞作為搜索詞輸入搜索框中，比如選取目標(biāo)文本的關(guān)鍵詞或者主題詞輸入搜索框中。然后檢索引擎通過(guò)輸入的搜索詞，在數(shù)據(jù)庫(kù)的文本中進(jìn)行一一比對(duì)，查找出包括該搜索詞的相似文本返回給用戶。在大數(shù)據(jù)背景下，數(shù)據(jù)庫(kù)中的文本數(shù)量非常多，通過(guò)搜索詞進(jìn)行一一比對(duì)需要耗費(fèi)大量時(shí)間，查找相似文本的效率不高。

發(fā)明內(nèi)容

本公開(kāi)的目的是提供一種確定相似文本的方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備，以減少查找相似文本的時(shí)間，提高查找相似文本的效率。

為了實(shí)現(xiàn)上述目的，第一方面，本公開(kāi)提供一種確定相似文本的方法，應(yīng)用于服務(wù)器，包括：

接收客戶端發(fā)送的用于查找目標(biāo)文本的相似文本的請(qǐng)求；

響應(yīng)于接收到所述請(qǐng)求，根據(jù)所述目標(biāo)文本的特征向量與數(shù)據(jù)庫(kù)中的每一類文本的中心向量之間的距離，確定所述目標(biāo)文本的相似文本；

將所述相似文本發(fā)送給所述客戶端進(jìn)行顯示；

其中，所述數(shù)據(jù)庫(kù)中的文本是通過(guò)如下方式進(jìn)行分類的：

確定所述數(shù)據(jù)庫(kù)中的多個(gè)文本分別的特征向量；確定每個(gè)特征向量的相鄰向量個(gè)數(shù)占向量總數(shù)的比例；根據(jù)所述比例、以及距離閾值與比例之間的預(yù)設(shè)對(duì)應(yīng)關(guān)系，確定對(duì)應(yīng)所述比例的目標(biāo)距離閾值；根據(jù)所述目標(biāo)距離閾值對(duì)所述多個(gè)文本進(jìn)行分類，其中，每一類文本中各文本的特征向量與該類文本的中心向量之間的距離小于所述目標(biāo)距離閾值。

可選地，所述目標(biāo)文本為案情筆錄文本，所述數(shù)據(jù)庫(kù)為案情數(shù)據(jù)庫(kù)，用于存儲(chǔ)已結(jié)案件的案情筆錄文本以及對(duì)應(yīng)的案件處理結(jié)果，所述方法還包括：

從所述數(shù)據(jù)庫(kù)中獲取對(duì)應(yīng)所述相似文本的案情處理結(jié)果；

根據(jù)所述相似文本的案情處理結(jié)果生成對(duì)所述目標(biāo)文本的案件處理建議；

將所述案件處理建議發(fā)送給所述客戶端進(jìn)行顯示。

可選地，所述請(qǐng)求包括內(nèi)容為文本的目標(biāo)圖片，所述方法還包括：

對(duì)所述目標(biāo)圖片進(jìn)行光學(xué)字符ORC識(shí)別，獲取所述目標(biāo)文本；

對(duì)所述目標(biāo)文本進(jìn)行分詞，并在Word2vec模型中確定各分詞對(duì)應(yīng)的詞向量；

將所述各分詞對(duì)應(yīng)的詞向量均值作為所述目標(biāo)文本的特征向量。

可選地，所述距離閾值與比例之間的預(yù)設(shè)對(duì)應(yīng)關(guān)系為：

其中，i表示第一文本對(duì)應(yīng)的特征向量，j表示第二文本對(duì)應(yīng)的特征向量，N表示特征向量總數(shù)，d_ij表示特征向量i與特征向量j之間的距離，d_c表示距離閾值，C表示每個(gè)特征向量的相鄰向量個(gè)數(shù)占向量總數(shù)的比例，當(dāng)d_ij大于或等于d_c時(shí)，取0，當(dāng)d_ij小于d_c時(shí)，取1。