[發(fā)明專利]基于知識(shí)圖譜和Transformer的專利推薦方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910831234.3
• 申請(qǐng)日: 2019-09-04
• 公開（公告）號(hào): CN110737778B
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計(jì)）人: 歐中洪;劉科孟;吳金盛;譚言信;宋美娜;宋俊德
• 申請(qǐng)（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06F16/9535;G06F40/295;G06N3/04;G06N3/08;G06Q50/18
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 王艷斌

本發(fā)明公開了一種基于知識(shí)圖譜和Transformer的專利推薦方法，包括以下步驟：爬取專利資源庫構(gòu)建知識(shí)圖譜；通過圖卷積網(wǎng)絡(luò)和注意力機(jī)制的混合模型挖掘知識(shí)圖譜，得到用戶和專利的內(nèi)容特征表示向量；通過Transformer模型挖掘用戶信息，得到用戶歷史偏好的序列特征向量；將內(nèi)容特征表示向量和序列特征向量級(jí)聯(lián)結(jié)合，輸入Transformer模型的Softmax層計(jì)算，得到多個(gè)候選專利被推薦的概率值；對(duì)多個(gè)概率值進(jìn)行Top?k排序，得到Top?k個(gè)專利作為目標(biāo)用戶的推薦結(jié)果。該方法采用知識(shí)圖譜豐富特征表示，采用Transformer挖掘行為序列特征，提高推薦結(jié)果的精準(zhǔn)性和可解釋性。

技術(shù)領(lǐng)域

本發(fā)明涉及專利推薦技術(shù)領(lǐng)域，特別涉及一種基于知識(shí)圖譜和Transformer的專利推薦方法。

背景技術(shù)

隨著我國科技事業(yè)的蓬勃發(fā)展，各項(xiàng)科技資源、成果呈現(xiàn)出極速增長的態(tài)勢(shì)。專利作為科技成果的主要呈現(xiàn)形式之一，2018年我國發(fā)明專利申請(qǐng)量高達(dá)154.2萬件，其中授權(quán)發(fā)明專利43.2萬件。而伴隨專利資源庫的飛速擴(kuò)張，如何從海量專利資源中獲取與自身興趣、需求匹配的專利資源已成為科技成果轉(zhuǎn)化中的一個(gè)重要問題。專利推薦算法作為專利資源信息過濾的重要手段之一，是解決專利信息過載的一種有效方法，目前主要的專利推薦算法有：

(1)基于內(nèi)容的專利推薦方法。該方法是專利推薦的基礎(chǔ)方法之一，其核心思想是為用戶推薦與其過去感興趣專利相似的專利。通過獲取專利和用戶的元數(shù)據(jù)(包含屬性、特征、歷史興趣等)，進(jìn)而基于元數(shù)據(jù)將專利、用戶實(shí)現(xiàn)特征表示，根據(jù)特征表示，計(jì)算專利特征和用戶歷史偏好的相似度，相似度高則證明專利與用戶歷史偏好匹配，最終將高相似度的專利作為推薦結(jié)果返回。

(2)基于協(xié)同過濾的專利推薦方法。該方法基于已有用戶對(duì)已有專利的歷史行為，實(shí)現(xiàn)對(duì)當(dāng)前用戶的專利推薦。該方法主要分為三個(gè)小類：基于用戶的協(xié)同過濾，主要思想是歷史專利訪問記錄相似的用戶也是相似的，從而計(jì)算用戶間的相似度，為用戶推薦與其相似的用戶感興趣的專利；基于物品的協(xié)同過濾，主要思想是專利的訪問用戶記錄相似的專利也是相似的，從而計(jì)算專利間的相似度，為用戶推薦與其歷史訪問專利相似的專利；基于模型的協(xié)同過濾，其典型算法是矩陣分解，通過對(duì)用戶-專利交互評(píng)分矩陣的分解，再相乘實(shí)現(xiàn)矩陣補(bǔ)全，為用戶推薦用戶評(píng)分高的專利。

(3)基于深度神經(jīng)網(wǎng)絡(luò)的專利推薦方法。該方法通過對(duì)用戶和專利的特征表示得到對(duì)應(yīng)的編碼向量，基于用戶和專利的編碼向量作為深度神經(jīng)網(wǎng)絡(luò)的輸入，是否推薦作為深度神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果，采用監(jiān)督學(xué)習(xí)的方式對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最終基于訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)用戶-專利對(duì)的推薦結(jié)果預(yù)測(cè)。

如上述，目前針對(duì)專利的推薦方法主要有：1)基于內(nèi)容的專利推薦方法；2)基于(用戶/物品/模型)協(xié)同過濾的專利推薦方法；3)基于深度神經(jīng)網(wǎng)絡(luò)的專利推薦方法。

方法(1)基礎(chǔ)、易于理解，對(duì)于不過高要求推薦相關(guān)性的簡(jiǎn)單推薦而言易于實(shí)現(xiàn)，但是對(duì)專利、用戶需收集的信息要求高，對(duì)于絕大部分普通用戶而言，其用戶屬性信息大多是缺失的，從而導(dǎo)致推薦的專利結(jié)果不夠精準(zhǔn)，而且具有嚴(yán)重的用戶冷啟動(dòng)問題。方法(2)依賴的是用戶-專利的歷史交互評(píng)分矩陣，通過用戶或?qū)＠嗨贫鹊鹊玫轿粗挠脩?專利交互評(píng)分實(shí)現(xiàn)推薦，避免了用戶、專利的信息獲取和特征提取，但也忽略了對(duì)用戶、專利本身特征的考慮，對(duì)用戶偏好的預(yù)測(cè)存在偏差，同時(shí)，用戶的評(píng)分行為難以獲取，存在嚴(yán)重的數(shù)據(jù)稀疏和冷啟動(dòng)問題。方法(3)采用了當(dāng)下流行的深度神經(jīng)網(wǎng)絡(luò)算法，能更好地實(shí)現(xiàn)對(duì)用戶、專利到是否被推薦這一結(jié)果的映射，但卻缺乏對(duì)用戶之間的相關(guān)性、專利之間的相關(guān)性的考慮，同時(shí)深度神經(jīng)網(wǎng)絡(luò)作為典型的“黑盒”計(jì)算模型，其推薦結(jié)果缺乏很好的可解釋性，用戶難以對(duì)最終推薦結(jié)果予以肯定。

另外，上述目前主流的三類專利推薦方法還存在一個(gè)共同問題，即忽略了對(duì)用戶歷史交互行為序列的考慮，用戶歷史行為序列反映的是用戶偏好的重點(diǎn)和變化，對(duì)于不同用戶的精準(zhǔn)專利推薦實(shí)現(xiàn)具有重要的作用。