[發(fā)明專利]一種多模態(tài)商品知識圖譜構(gòu)建方法

在審

• 申請?zhí)枺?/td>: 202011498403.5
• 申請日: 2020-12-17
• 公開（公告）號: CN112528042A
• 公開（公告）日: 2021-03-19
• 發(fā)明（設(shè)計）人: 陳其賓;李志蕓;李銳;王建華
• 申請（專利權(quán)）人: 濟南浪潮高新科技投資發(fā)展有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/951;G06F16/955
• 代理公司: 濟南泉城專利商標(biāo)事務(wù)所 37218
• 代理人: 李桂存

一種多模態(tài)商品知識圖譜構(gòu)建方法，利用爬蟲工具爬取特定電商網(wǎng)站的商品數(shù)據(jù)，然后抽取商品數(shù)據(jù)中的三元組信息，并對抽取得到的三元組數(shù)據(jù)進行過濾融合，將三元組數(shù)據(jù)導(dǎo)入圖數(shù)據(jù)庫構(gòu)建多模態(tài)商品知識圖譜。圖像數(shù)據(jù)往往包括最重要的商品信息，因此在文本數(shù)據(jù)的基礎(chǔ)上，抽取圖像信息中的三元組數(shù)據(jù)，構(gòu)建結(jié)合文本和圖像的多模態(tài)商品知識圖譜，可以提高商品知識圖譜的覆蓋度，增強商品知識圖譜的使用價值。

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)爬蟲、自然語言處理、知識圖譜、計算機視覺領(lǐng)域，具體涉及一種多模態(tài)商品知識圖譜構(gòu)建方法。

背景技術(shù)

網(wǎng)絡(luò)爬蟲是目前較為流行的收集網(wǎng)上公開資源的方法，利用爬蟲工具可以在網(wǎng)頁上快速收集需要的信息，對海量信息進行過濾，然后通過人工智能算法，對信息進行分析，構(gòu)建商品知識圖譜，可以支撐商家競品分析以及用戶商品推薦等應(yīng)用。但是，目前商品知識圖譜構(gòu)建中數(shù)據(jù)源的采集對象主要是文字描述，集中在商品的屬性信息以及評價信息，而忽視了包含大量重要信息的圖像數(shù)據(jù)。

針對上述問題，本發(fā)明提出一種多模態(tài)商品知識圖譜構(gòu)建方法，通過網(wǎng)絡(luò)爬蟲方法爬取商品文本描述信息以及圖片描述信息，采用自然語言處理技術(shù)對文本信息進行過濾和解析，采用計算機視覺技術(shù)對圖像進行處理，將所有商品信息進行融合消歧，構(gòu)建多模態(tài)商品知識圖譜。

發(fā)明內(nèi)容

本發(fā)明目的是提供了一種多模態(tài)商品知識圖譜構(gòu)建方法，不僅更加快捷方便，而且能夠提取商品信息中的圖像信息，使商品知識圖譜更加完善，更具參考價值。

本發(fā)明為實現(xiàn)上述目的，通過以下技術(shù)方案實現(xiàn)：

1）基于商品屬性和業(yè)務(wù)需求，梳理商品知識圖譜schema；

2）商品多模態(tài)數(shù)據(jù)爬取，確定商品數(shù)據(jù)來源網(wǎng)站，然后復(fù)制URL到編寫的爬蟲工具中，采用自定義爬蟲模式，依次打開商品的URL，選擇采集商品標(biāo)題、所屬商家等商品信息以及圖像數(shù)據(jù)，將采集后的數(shù)據(jù)信息進行導(dǎo)出；

3）商品多模態(tài)數(shù)據(jù)清洗過濾，通過正則表達式等方法刪除爬取的一些雜亂無關(guān)信息，通過同義詞替換等方式對商品的關(guān)鍵信息進行規(guī)范化和補全，通過圖像分類對無關(guān)圖像進行過濾；

4） 基于文本的商品三元組信息抽取，結(jié)合遠程監(jiān)督等方法，利用基于預(yù)訓(xùn)練模型的實體抽取、關(guān)系抽取、屬性抽取方法，抽取文本數(shù)據(jù)中商品相關(guān)的實體-關(guān)系-實體和實體-關(guān)系-屬性三元組信息，篩選掉不符合要求的三元組數(shù)據(jù)，并對重復(fù)三元組數(shù)據(jù)進行整合

5）商品三元組信息抽取，篩選掉不符合要求的三元組數(shù)據(jù)，并對重復(fù)三元組數(shù)據(jù)進行整合；

6）商品三元組數(shù)據(jù)融合和消歧，針對文本和圖像重復(fù)抽取的三元組數(shù)據(jù)進行融合，針對文本和圖像相悖的抽取結(jié)果進行消歧；

7）多模態(tài)商品知識圖譜構(gòu)建，將商品三元組數(shù)據(jù)導(dǎo)入到圖數(shù)據(jù)庫中，構(gòu)建多模態(tài)商品知識圖譜。

優(yōu)選的，所述步驟4包括基于文本的商品三元組信息抽取和基于圖像的商品三元組信息抽取，所述基于文本的商品三元組信息抽取，包括結(jié)合遠程監(jiān)督，利用基于預(yù)訓(xùn)練模型的實體抽取、關(guān)系抽取、屬性抽取方法，抽取文本數(shù)據(jù)中商品相關(guān)的實體-關(guān)系-實體和實體-關(guān)系-屬性三元組信息，篩選掉不符合要求的三元組數(shù)據(jù)，并對重復(fù)三元組數(shù)據(jù)進行整合；所述基于圖像的商品三元組信息抽取包括，將文本數(shù)據(jù)和圖像數(shù)據(jù)作為模型輸入，采用多模態(tài)深度學(xué)習(xí)模型，抽取圖像中商品三元組數(shù)據(jù)，并對抽取得到的三元組數(shù)據(jù)進行過濾和整合。

本發(fā)明的優(yōu)點在于：本發(fā)明通過構(gòu)建多模態(tài)商品知識圖譜采用計算機視覺技術(shù)對圖像進行處理，將所有商品信息進行融合消歧，不僅更加快捷方便，而且能夠提取商品信息中的圖像信息，使商品知識圖譜更加完善，更具參考價值。

附圖說明

附圖用來提供對本發(fā)明的進一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。

圖1為本發(fā)明流程結(jié)構(gòu)示意圖。

具體實施方式