[發(fā)明專利]商品數(shù)據(jù)的處理方法、裝置及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010551355.5
• 申請(qǐng)日: 2020-06-16
• 公開（公告）號(hào): CN111915391A
• 公開（公告）日: 2020-11-10
• 發(fā)明（設(shè)計(jì)）人: 高源;朱禹軻
• 申請(qǐng)（專利權(quán)）人: 北京邁格威科技有限公司
• 主分類號(hào): G06Q30/06
• 分類號(hào): G06Q30/06;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 何少巖

1.一種商品數(shù)據(jù)的處理方法，其特征在于，包括：

獲取不同來(lái)源的原始商品數(shù)據(jù)；

對(duì)所述原始商品數(shù)據(jù)進(jìn)行統(tǒng)一化預(yù)處理，得到預(yù)處理后的商品數(shù)據(jù)；

對(duì)所述預(yù)處理后的商品數(shù)據(jù)進(jìn)行相似度匹配計(jì)算；

基于所述相似度匹配計(jì)算的結(jié)果對(duì)所述預(yù)處理后的商品數(shù)據(jù)進(jìn)行聚類，以使屬于同一商品實(shí)體的商品數(shù)據(jù)聚合為一簇。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述原始商品數(shù)據(jù)進(jìn)行統(tǒng)一化預(yù)處理，得到預(yù)處理后的商品數(shù)據(jù)的步驟，包括：

按照指定的數(shù)據(jù)格式對(duì)所述原始商品數(shù)據(jù)進(jìn)行對(duì)齊處理，得到結(jié)構(gòu)化商品數(shù)據(jù)；所述指定的數(shù)據(jù)格式包括數(shù)據(jù)字段的排列順序；每種所述數(shù)據(jù)字段對(duì)應(yīng)一種商品數(shù)據(jù)屬性；

對(duì)所述結(jié)構(gòu)化商品數(shù)據(jù)進(jìn)行清洗處理，將清洗后的結(jié)構(gòu)化商品數(shù)據(jù)作為預(yù)處理后的商品數(shù)據(jù)；其中，所述清洗處理包括以下操作中的一種或多種：冗余數(shù)據(jù)刪除操作、商品屬性衍生操作、商品單位統(tǒng)一操作和無(wú)效字符刪除操作。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述預(yù)處理后的商品數(shù)據(jù)進(jìn)行相似度匹配計(jì)算的步驟，包括：

將所述預(yù)處理后的商品數(shù)據(jù)中的至少兩條數(shù)據(jù)條目分別組成數(shù)據(jù)條目對(duì)，根據(jù)字符串相似度算法對(duì)所述數(shù)據(jù)條目對(duì)進(jìn)行相似度匹配計(jì)算，得到每個(gè)所述數(shù)據(jù)條目對(duì)所對(duì)應(yīng)的匹配相似度。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)字符串相似度算法對(duì)所述數(shù)據(jù)條目對(duì)進(jìn)行相似度匹配計(jì)算的步驟，包括：

將多個(gè)所述數(shù)據(jù)條目對(duì)分配給不同的計(jì)算節(jié)點(diǎn)；

通過(guò)每個(gè)所述計(jì)算節(jié)點(diǎn)基于字符串相似度算法對(duì)接收到的所述數(shù)據(jù)條目對(duì)進(jìn)行相似度匹配計(jì)算。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于所述相似度匹配計(jì)算的結(jié)果對(duì)所述預(yù)處理后的商品數(shù)據(jù)進(jìn)行聚類，以使屬于同一商品實(shí)體的商品數(shù)據(jù)聚合為一簇的步驟，包括：

針對(duì)所述預(yù)處理后的商品數(shù)據(jù)中的每條數(shù)據(jù)條目，基于所述相似度匹配計(jì)算的結(jié)果確定該數(shù)據(jù)條目的關(guān)聯(lián)數(shù)據(jù)條目；其中，所述關(guān)聯(lián)數(shù)據(jù)條目為與該數(shù)據(jù)條目的匹配相似度大于預(yù)設(shè)第一閾值的數(shù)據(jù)條目；

根據(jù)每條數(shù)據(jù)條目及其對(duì)應(yīng)的關(guān)聯(lián)數(shù)據(jù)條目進(jìn)行數(shù)據(jù)聚類，以使屬于同一商品實(shí)體的商品數(shù)據(jù)聚合為一簇。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)每條數(shù)據(jù)條目及其對(duì)應(yīng)的關(guān)聯(lián)數(shù)據(jù)條目進(jìn)行數(shù)據(jù)聚類，以使屬于同一商品實(shí)體的商品數(shù)據(jù)聚合為一簇的步驟，包括：

將每條所述數(shù)據(jù)條目分別作為一個(gè)數(shù)據(jù)節(jié)點(diǎn)，選取一個(gè)數(shù)據(jù)節(jié)點(diǎn)作為當(dāng)前節(jié)點(diǎn)；

基于所述當(dāng)前節(jié)點(diǎn)對(duì)應(yīng)的關(guān)聯(lián)數(shù)據(jù)條目執(zhí)行聚集操作，得到所述當(dāng)前節(jié)點(diǎn)對(duì)應(yīng)的商品節(jié)點(diǎn)簇；其中，所述當(dāng)前節(jié)點(diǎn)對(duì)應(yīng)的商品節(jié)點(diǎn)簇中包含有所述當(dāng)前節(jié)點(diǎn)及所述當(dāng)前節(jié)點(diǎn)的關(guān)聯(lián)節(jié)點(diǎn)；

將未能加入至所述當(dāng)前節(jié)點(diǎn)對(duì)應(yīng)的商品節(jié)點(diǎn)簇的其它數(shù)據(jù)節(jié)點(diǎn)作為新的當(dāng)前節(jié)點(diǎn)，重復(fù)執(zhí)行所述聚集操作，直至所有數(shù)據(jù)節(jié)點(diǎn)都加入至相應(yīng)的商品節(jié)點(diǎn)簇；

將每個(gè)所述商品節(jié)點(diǎn)簇中所包含的數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)條目分別進(jìn)行聚集，得到屬于同一商品實(shí)體的商品數(shù)據(jù)；其中，不同的所述商品節(jié)點(diǎn)簇對(duì)應(yīng)的商品實(shí)體不同。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述聚集操作包括：

將所述當(dāng)前節(jié)點(diǎn)的鄰居節(jié)點(diǎn)作為所述當(dāng)前節(jié)點(diǎn)的關(guān)聯(lián)節(jié)點(diǎn)，與所述當(dāng)前節(jié)點(diǎn)進(jìn)行聚合形成初始節(jié)點(diǎn)簇；其中，所述當(dāng)前節(jié)點(diǎn)的鄰居節(jié)點(diǎn)為所述當(dāng)前節(jié)點(diǎn)對(duì)應(yīng)的關(guān)聯(lián)數(shù)據(jù)條目；

查找其它可加入至所述初始節(jié)點(diǎn)簇的目標(biāo)數(shù)據(jù)節(jié)點(diǎn)，將查找到的所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)作為所述當(dāng)前節(jié)點(diǎn)的關(guān)聯(lián)節(jié)點(diǎn)加入至所述初始節(jié)點(diǎn)簇；其中，所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)條目與所述初始節(jié)點(diǎn)簇內(nèi)所有節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)條目之間的匹配相似度都大于預(yù)設(shè)第二閾值；

將滿足指定條件的所述初始節(jié)點(diǎn)簇作為所述當(dāng)前節(jié)點(diǎn)對(duì)應(yīng)的商品節(jié)點(diǎn)簇。

8.根據(jù)權(quán)利要求1至7任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

基于聚合后的屬于同一商品實(shí)體的商品數(shù)據(jù)建立商品數(shù)據(jù)庫(kù)。