[發(fā)明專利]煙草科技文獻(xiàn)數(shù)據(jù)推薦模型的構(gòu)建方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011070273.5
• 申請(qǐng)日: 2020-10-09
• 公開（公告）號(hào): CN112115237A
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計(jì)）人: 張勝華;閆愛華;周俊;李琳;楊睿;陳一
• 申請(qǐng)（專利權(quán)）人: 湖北中煙工業(yè)有限責(zé)任公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F16/335;G06F40/247;G06N3/08
• 代理公司: 浙江千克知識(shí)產(chǎn)權(quán)代理有限公司 33246
• 代理人: 裴金華

本發(fā)明實(shí)施例提供一種煙草科技文獻(xiàn)數(shù)據(jù)推薦模型的構(gòu)建方法及裝置，所述方法包括：從煙草科技文獻(xiàn)庫(kù)中采樣文獻(xiàn)數(shù)據(jù)，得到訓(xùn)練數(shù)據(jù)集；根據(jù)文獻(xiàn)數(shù)據(jù)的語義獲取對(duì)應(yīng)的關(guān)聯(lián)語句，通過關(guān)聯(lián)語句、文獻(xiàn)數(shù)據(jù)以及預(yù)設(shè)的正向標(biāo)注構(gòu)建正例標(biāo)注數(shù)據(jù)；通過預(yù)設(shè)的非關(guān)聯(lián)方法獲取與文獻(xiàn)數(shù)據(jù)不相關(guān)的非關(guān)聯(lián)文獻(xiàn)數(shù)據(jù)，并通過關(guān)聯(lián)語句、非關(guān)聯(lián)文獻(xiàn)數(shù)據(jù)以及預(yù)設(shè)的負(fù)向標(biāo)注構(gòu)建負(fù)例標(biāo)注數(shù)據(jù)；將正例標(biāo)注數(shù)據(jù)和負(fù)例標(biāo)注數(shù)據(jù)通過神經(jīng)網(wǎng)絡(luò)模型進(jìn)行模型訓(xùn)練，得到煙草科技的文獻(xiàn)數(shù)據(jù)的推薦模型。采用本方法構(gòu)建一種能夠更準(zhǔn)確的針對(duì)煙草科技文獻(xiàn)數(shù)據(jù)進(jìn)行推薦的推薦模型。

技術(shù)領(lǐng)域

本發(fā)明涉及煙草科技數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種煙草科技文獻(xiàn)數(shù)據(jù)推薦模型的構(gòu)建方法及裝置。

背景技術(shù)

近年來，隨著煙草科技領(lǐng)域的信息化建設(shè)不斷深化，漸漸的煙草相關(guān)部門也積累了大量的煙草科技文獻(xiàn)數(shù)據(jù)；但由于參與煙草信息化建設(shè)的各部門、各企業(yè)和各業(yè)務(wù)單元的系統(tǒng)之間缺乏統(tǒng)一標(biāo)準(zhǔn)，煙草科技文獻(xiàn)信息的數(shù)據(jù)質(zhì)量也面臨著巨大挑戰(zhàn)。

其中，如何從充滿重復(fù)數(shù)據(jù)、數(shù)據(jù)質(zhì)量參差不齊的文獻(xiàn)數(shù)據(jù)庫(kù)中搜索到高質(zhì)量的文獻(xiàn)已經(jīng)成為煙草科技文獻(xiàn)應(yīng)用領(lǐng)域的一個(gè)重大問題。為了更好地利用煙草科技領(lǐng)域的文獻(xiàn)數(shù)據(jù)，需要有效的文獻(xiàn)智能推薦方法來處理煙草科技領(lǐng)域的文獻(xiàn)數(shù)據(jù)。

目前，已經(jīng)有一些傳統(tǒng)方法可以對(duì)通用領(lǐng)域的文獻(xiàn)數(shù)據(jù)記錄進(jìn)行搜索推薦，這些包括利用文獻(xiàn)數(shù)據(jù)記錄ID比對(duì)、關(guān)鍵詞列表和摘要信息比對(duì)等匹配度計(jì)算方法。但上述傳統(tǒng)方法屬于泛用的文獻(xiàn)數(shù)據(jù)推薦方法，用于煙草科技文獻(xiàn)領(lǐng)域，沒有領(lǐng)域的針對(duì)性，導(dǎo)致推薦的內(nèi)容準(zhǔn)確度不夠高。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的問題，本發(fā)明實(shí)施例提供一種煙草科技文獻(xiàn)數(shù)據(jù)推薦模型的構(gòu)建方法。

本發(fā)明實(shí)施例提供一種煙草科技文獻(xiàn)數(shù)據(jù)推薦模型的構(gòu)建方法，包括：

從煙草科技文獻(xiàn)庫(kù)中采樣文獻(xiàn)數(shù)據(jù)，得到訓(xùn)練數(shù)據(jù)集；

根據(jù)所述文獻(xiàn)數(shù)據(jù)的語義獲取對(duì)應(yīng)的關(guān)聯(lián)語句，通過所述關(guān)聯(lián)語句、文獻(xiàn)數(shù)據(jù)以及預(yù)設(shè)的正向標(biāo)注構(gòu)建正例標(biāo)注數(shù)據(jù)；

通過預(yù)設(shè)的非關(guān)聯(lián)方法獲取與所述文獻(xiàn)數(shù)據(jù)不相關(guān)的非關(guān)聯(lián)文獻(xiàn)數(shù)據(jù)，并通過所述關(guān)聯(lián)語句、非關(guān)聯(lián)文獻(xiàn)數(shù)據(jù)以及預(yù)設(shè)的負(fù)向標(biāo)注構(gòu)建負(fù)例標(biāo)注數(shù)據(jù)；

將所述正例標(biāo)注數(shù)據(jù)和所述負(fù)例標(biāo)注數(shù)據(jù)通過神經(jīng)網(wǎng)絡(luò)模型進(jìn)行模型訓(xùn)練，得到所述煙草科技的文獻(xiàn)數(shù)據(jù)的推薦模型。

在其中一個(gè)實(shí)施例中，所述方法還包括：

從所述訓(xùn)練數(shù)據(jù)集中隨機(jī)抽取文獻(xiàn)，通過預(yù)設(shè)的文本匹配方法計(jì)算所述關(guān)聯(lián)語句與所述隨機(jī)抽取文獻(xiàn)之間的匹配度；

當(dāng)所述匹配度低于預(yù)設(shè)值時(shí)，將所述隨機(jī)抽取文獻(xiàn)作為與所述文獻(xiàn)數(shù)據(jù)不相關(guān)的非關(guān)聯(lián)文獻(xiàn)數(shù)據(jù)。

在其中一個(gè)實(shí)施例中，所述方法還包括：

檢測(cè)所述正例標(biāo)注數(shù)據(jù)和所述負(fù)例標(biāo)注數(shù)據(jù)的數(shù)據(jù)量是否達(dá)到預(yù)設(shè)的數(shù)據(jù)量標(biāo)準(zhǔn)；

當(dāng)所述正例標(biāo)注數(shù)據(jù)和所述負(fù)例標(biāo)注數(shù)據(jù)的數(shù)據(jù)量未達(dá)到預(yù)設(shè)的數(shù)據(jù)量標(biāo)準(zhǔn)時(shí)，重復(fù)構(gòu)建負(fù)例標(biāo)注數(shù)據(jù)的步驟直至所述正例標(biāo)注數(shù)據(jù)和所述負(fù)例標(biāo)注數(shù)據(jù)的數(shù)據(jù)量達(dá)到預(yù)設(shè)的數(shù)據(jù)量標(biāo)準(zhǔn)。

在其中一個(gè)實(shí)施例中，所述方法還包括：

獲取預(yù)設(shè)的數(shù)據(jù)權(quán)重表，根據(jù)所述數(shù)據(jù)權(quán)重表為所述從煙草科技文獻(xiàn)庫(kù)中的數(shù)據(jù)分配權(quán)重，得到權(quán)重分配后的煙草科技文獻(xiàn)庫(kù)，所述煙草科技文獻(xiàn)庫(kù)的權(quán)重用于調(diào)整從所述煙草科技文獻(xiàn)庫(kù)中采樣時(shí)的采樣概率。

在其中一個(gè)實(shí)施例中，所述關(guān)聯(lián)語句，包括：

關(guān)鍵詞、關(guān)鍵詞的同義詞、包含關(guān)鍵詞的語句。

在其中一個(gè)實(shí)施例中，所述方法還包括：

獲取搜索關(guān)鍵詞列表；