[發(fā)明專利]一種基于自然語言處理的跨平臺(tái)商品匹配方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110357895.4
• 申請(qǐng)日: 2021-04-01
• 公開（公告）號(hào): CN112906396A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 蔣哲宇;考文鵬
• 申請(qǐng)（專利權(quán)）人: 翻車信息科技（杭州）有限公司
• 主分類號(hào): G06F40/295
• 分類號(hào): G06F40/295;G06F40/242;G06F16/25;G06K9/62;G06N3/04;G06N3/08;G06Q30/06
• 代理公司: 北京匯信合知識(shí)產(chǎn)權(quán)代理有限公司 11335
• 代理人: 盧亮輝

本發(fā)明提供一種基于自然語言處理的跨平臺(tái)商品匹配方法，涉及跨平臺(tái)商品匹配技術(shù)領(lǐng)域，包括：獲取待匹配的各平臺(tái)商品數(shù)據(jù)，并進(jìn)行數(shù)據(jù)預(yù)處理；根據(jù)預(yù)處理后的數(shù)據(jù)獲取各商品的標(biāo)題特征向量和屬性特征向量；將各商品的標(biāo)題特征向量和屬性特征向量進(jìn)行整合，得到各商品的全量特征向量；對(duì)所有商品按照平臺(tái)進(jìn)行分類，再按照統(tǒng)一分類規(guī)則，將各平臺(tái)商品劃分為多個(gè)子集，得到各平臺(tái)下多個(gè)商品全量特征向量子集；計(jì)算不同平臺(tái)下相對(duì)應(yīng)的商品全量特征向量子集中各商品的相似度，根據(jù)計(jì)算結(jié)果獲取到不同平臺(tái)中相匹配的商品。本發(fā)明基于自然語言處理的跨平臺(tái)商品匹配的方法，使大規(guī)模的多渠道商品，能夠?qū)崿F(xiàn)低成本、高精度的匹配。

技術(shù)領(lǐng)域

本發(fā)明涉及跨平臺(tái)商品匹配技術(shù)領(lǐng)域，尤其是涉及一種基于自然語言處理的跨平臺(tái)商品匹配方法及系統(tǒng)。

背景技術(shù)

目前商品匹配的方法有很多，不同形式的商品描述信息通常需要采用不同的匹配方法。商品的描述包括商品標(biāo)題和商品詳細(xì)信息列表(屬性)，商品的描述也有多種存儲(chǔ)形式，既可以以結(jié)構(gòu)化的數(shù)據(jù)保存在平臺(tái)的數(shù)據(jù)庫(kù)中，也可以以非結(jié)構(gòu)化的數(shù)據(jù)(如文本、網(wǎng)頁(yè))存在于平臺(tái)中；對(duì)于存儲(chǔ)在數(shù)據(jù)庫(kù)中的商品，匹配問題主要是對(duì)數(shù)據(jù)庫(kù)中商品個(gè)體間匹配技術(shù)的解決，但由于不同的數(shù)據(jù)庫(kù)采取的設(shè)計(jì)模式不同，使數(shù)據(jù)庫(kù)中商品個(gè)體匹配問題具有了一定挑戰(zhàn)性。

為了解決不同平臺(tái)之間商品個(gè)體匹配問題，有研究者將平臺(tái)中非結(jié)構(gòu)化的商品標(biāo)題轉(zhuǎn)換為有結(jié)構(gòu)的描述，將非結(jié)構(gòu)化數(shù)據(jù)匹配轉(zhuǎn)化為數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)匹配，然后將其與其他平臺(tái)數(shù)據(jù)庫(kù)中結(jié)構(gòu)化的商品進(jìn)行比較；也有研究者只關(guān)注平臺(tái)上非結(jié)構(gòu)化商品描述的匹配。

第一種方法存在的缺點(diǎn)是：商品的標(biāo)題是一個(gè)短文本，將文本轉(zhuǎn)換為有結(jié)構(gòu)的數(shù)據(jù)將會(huì)丟失一些語義和句法信息，同時(shí)由于轉(zhuǎn)換方法的效果相對(duì)差也會(huì)引入一些誤差；第二種方法，直接對(duì)平臺(tái)上商品標(biāo)題進(jìn)行匹配，或同時(shí)考慮商品標(biāo)題和商品屬性進(jìn)行匹配，但是它們大多是使用不同的相似度計(jì)算的方法得到最后的結(jié)果，沒有考慮語義信息進(jìn)行匹配；因此，使用現(xiàn)有的方法匹配得到的商品在精確度、數(shù)據(jù)完整性上均存在較大誤差。

發(fā)明內(nèi)容

針對(duì)上述問題，本發(fā)明提供了一種基于自然語言處理的跨平臺(tái)商品匹配方法及系統(tǒng)，能夠在上億級(jí)別的大數(shù)據(jù)中，計(jì)算出不同平臺(tái)的多個(gè)商品的相似度，從而精確判斷出這兩個(gè)商品描述是否為一個(gè)商品。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于自然語言處理的跨平臺(tái)商品匹配方法，包括：

獲取待匹配的各平臺(tái)商品數(shù)據(jù)，并進(jìn)行數(shù)據(jù)預(yù)處理；

根據(jù)預(yù)處理后的數(shù)據(jù)獲取各商品的標(biāo)題特征向量和屬性特征向量；

將各商品的所述標(biāo)題特征向量和所述屬性特征向量進(jìn)行整合，得到各商品的所述全量特征向量；

對(duì)所有商品按照平臺(tái)進(jìn)行分類，再按照統(tǒng)一分類規(guī)則，將各平臺(tái)商品劃分為多個(gè)子集，得到各平臺(tái)下多個(gè)商品全量特征向量子集；

計(jì)算不同平臺(tái)下相對(duì)應(yīng)的所述商品全量特征向量子集中各商品的相似度，根據(jù)計(jì)算結(jié)果獲取到不同平臺(tái)中相匹配的商品。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述根據(jù)預(yù)處理后的數(shù)據(jù)獲取各商品的標(biāo)題特征向量和屬性特征向量；包括：

在預(yù)處理后的數(shù)據(jù)中對(duì)商品標(biāo)題信息進(jìn)行命名實(shí)體識(shí)別，針對(duì)各所述商品標(biāo)題中識(shí)別到的各商品詞分別計(jì)算TF-IDF特征，并將各所述商品標(biāo)題映射到向量空間中得到標(biāo)題特征向量；

在預(yù)處理后的數(shù)據(jù)中對(duì)商品屬性信息進(jìn)行ETL和特征工程處理得到各商品的屬性特征向量。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述在預(yù)處理后的數(shù)據(jù)中對(duì)商品標(biāo)題信息進(jìn)行命名實(shí)體識(shí)別，針對(duì)各所述商品標(biāo)題中識(shí)別到的各商品詞分別計(jì)算TF-IDF特征；包括：

在預(yù)處理后的數(shù)據(jù)中對(duì)商品標(biāo)題信息進(jìn)行命名實(shí)體識(shí)別，得到所有商品關(guān)鍵詞；

構(gòu)建商品詞字典和停用詞字典；