[發(fā)明專利]文本相似度計(jì)算方法及裝置、智能機(jī)器人

在審

• 申請?zhí)枺?/td>: 201810569749.6
• 申請日: 2018-06-05
• 公開（公告）號: CN108763569A
• 公開（公告）日: 2018-11-06
• 發(fā)明（設(shè)計(jì)）人: 楊凱程;李健銓;蔣宏飛
• 申請（專利權(quán)）人: 北京玄一科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京弘權(quán)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11363
• 代理人: 逯長明;許偉群

1.一種文本相似度計(jì)算方法，其特征在于，所述方法包括：

獲取第一文本和第二文本的最長公共子序列；

分別對所述第一文本、第二文本和最長公共子序列進(jìn)行分詞處理，得到第一詞匯集合、第二詞匯集合和第三詞匯集合；

計(jì)算所述第一詞匯集合與所述第二詞匯集合的交集，得到第一目標(biāo)集合；計(jì)算所述第一詞匯集合與所述第二詞匯集合的并集，得到第二目標(biāo)集合；

利用所述第一目標(biāo)集合中每個詞匯的預(yù)定權(quán)重和所述第二目標(biāo)集合中每個詞匯的預(yù)定權(quán)重計(jì)算第一相似度；利用第三詞匯集合中每個詞匯的預(yù)定權(quán)重和所述第二目標(biāo)集合中每個詞匯的預(yù)定權(quán)重計(jì)算第二相似度；

根據(jù)所述第一相似度和第二相似度，計(jì)算所述第一文本和第二文本的目標(biāo)相似度。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述第一相似度和第二相似度，計(jì)算所述第一文本和第二文本的目標(biāo)相似度，包括：

獲取所述第一相似度對應(yīng)的第一相似權(quán)重；

獲取所述第二相似度對應(yīng)的第二相似權(quán)重；

利用所述第一相似度、第一相似權(quán)重、第二相似度和第二相似權(quán)重，計(jì)算所述第一文本和第二文本的目標(biāo)相似度。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法利用如下公式計(jì)算所述第一文本和第二文本的目標(biāo)相似度：

Score＝t1×Score1+t2×Score2

式中，Score表示所述目標(biāo)相似度，Score1表示所述第一相似度，Score2表示所述第二相似度，t1表示所述第一相似權(quán)重，t2表示所述第二相似權(quán)重。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用第三詞匯集合中每個詞匯的預(yù)定權(quán)重和所述第二目標(biāo)集合中每個詞匯的預(yù)定權(quán)重計(jì)算第二相似度，包括：

計(jì)算所述第三詞匯集合中所有詞匯的預(yù)定權(quán)重的和，得到第一權(quán)重和；

計(jì)算所述第二目標(biāo)集合中所有詞匯的預(yù)定權(quán)重的和，得到第二權(quán)重和；

計(jì)算所述第一權(quán)重和與所述第二權(quán)重和的商，得到所述第二相似度。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述利用所述第一目標(biāo)集合中每個詞匯的預(yù)定權(quán)重和所述第二目標(biāo)集合中每個詞匯的預(yù)定權(quán)重計(jì)算第一相似度，包括：

計(jì)算所述第一目標(biāo)集合中所有詞匯的預(yù)定權(quán)重的和，得到第三權(quán)重和；

計(jì)算所述第三權(quán)重和與所述第二權(quán)重和的商，得到所述第一相似度。

6.一種文本相似度計(jì)算裝置，其特征在于，所述裝置包括：

子序列獲取模塊，用于獲取第一文本和第二文本的最長公共子序列；

分詞模塊，用于分別對所述第一文本、第二文本和最長公共子序列進(jìn)行分詞處理，得到第一詞匯集合、第二詞匯集合和第三詞匯集合；

集合處理模塊，用于計(jì)算所述第一詞匯集合與所述第二詞匯集合的交集，得到第一目標(biāo)集合；計(jì)算所述第一詞匯集合與所述第二詞匯集合的并集，得到第二目標(biāo)集合；

子相似度確定模塊，用于利用所述第一目標(biāo)集合中每個詞匯的預(yù)定權(quán)重和所述第二目標(biāo)集合中每個詞匯的預(yù)定權(quán)重計(jì)算第一相似度，以及利用第三詞匯集合中每個詞匯的預(yù)定權(quán)重和所述第二目標(biāo)集合中每個詞匯的預(yù)定權(quán)重計(jì)算第二相似度；

目標(biāo)相似度確定模塊，用于根據(jù)所述第一相似度和第二相似度，計(jì)算所述第一文本和第二文本的目標(biāo)相似度。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述目標(biāo)相似度確定模塊包括：

相似權(quán)重獲取子模塊，用于獲取所述第一相似度對應(yīng)的第一相似權(quán)重，以及獲取所述第二相似度對應(yīng)的第二相似權(quán)重；

目標(biāo)相似度計(jì)算子模塊，用于利用所述第一相似度、第一相似權(quán)重、第二相似度和第二相似權(quán)重，計(jì)算所述第一文本和第二文本的目標(biāo)相似度。