[發(fā)明專利]基于多模態(tài)的冷鏈配載用戶畫像標簽抽取方法及裝置

有效

• 申請?zhí)枺?/td>: 202111471016.7
• 申請日: 2021-12-03
• 公開（公告）號: CN114218380B
• 公開（公告）日: 2022-07-29
• 發(fā)明（設計）人: 李翔;張寧;謝乾;朱全銀;高尚兵;馬甲林;王媛媛;丁行碩;束瑋;張豪杰;丁婧嫻;張曼;費晶茹;洪玉昆;楊秋實;徐偉
• 申請（專利權）人: 淮陰工學院
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06V10/762;G06K9/62;G06V10/764;G06V10/80;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 淮安市科文知識產權事務所 32223
• 代理人: 吳晶晶

本發(fā)明公開了一種基于多模態(tài)的冷鏈配載用戶畫像標簽抽取方法及裝置，將帶標簽的文本集作為BERT模型的輸入，并利用長短期記憶網(wǎng)絡進一步提取特征；使用YOLO提取圖片特征，將提取的雙模態(tài)特征使用激活函數(shù)tanh與其他模態(tài)嵌入的關聯(lián)表示進行補充，并將補充過后的雙模態(tài)特征向量進行拼接，將其與雙模態(tài)條件向量進行矩陣相乘，結果作為Softmax函數(shù)輸入得到雙模態(tài)交互注意力矩陣；將雙模態(tài)交互注意力矩陣與被補充過的雙模態(tài)特征拼接，將其作為全連接層的輸入得到模態(tài)間交互特征和模態(tài)內部特征，最后輸入至Softmax進行分類。本發(fā)明利用多模態(tài)特征融合算法對不同模態(tài)的用戶特征合并融合，建立起不同模態(tài)間的交互關系，減少了抽取的噪聲。

技術領域

本發(fā)明涉及用戶畫像和多模態(tài)融合技術領域，具體涉及一種基于多模態(tài)的冷鏈配載用戶畫像標簽抽取方法及裝置。

背景技術

近年來，用戶畫像已成為世界各國研究的特點，正日益引起業(yè)界、學術界的廣泛關注，更重要的是，它還是眾多應用的關鍵技術之一。

在現(xiàn)有的用戶畫像建模技術中，對如何融合多個數(shù)據(jù)源或模態(tài)，以便獲得更精確的用戶畫像的研究相當有限，并且存在如下不足：1、部分用戶畫像研究工作僅就單一的模態(tài)進行研究，難以全面地刻畫其特征；2、簡單易行的整合方法是在信息輸入時直接將多種模態(tài)特征向量進行拼接，但是這種方法忽略了不同模態(tài)特征的語義差異，沒有建立起不同模態(tài)間的交互關系，并且存在較大噪聲干擾。

發(fā)明內容

發(fā)明目的：針對現(xiàn)有技術中存在的問題，本發(fā)明提供一種基于多模態(tài)的冷鏈配載用戶畫像標簽抽取方法及裝置，利用多模態(tài)特征融合算法對不同模態(tài)的用戶特征合并融合，建立起不同模態(tài)間的交互關系，減少了用戶畫像標簽抽取的噪聲。

技術方案：本發(fā)明提供了一種基于多模態(tài)的冷鏈配載用戶畫像標簽抽取方法，包括如下步驟：

步驟1：輸入原始的冷鏈配載數(shù)據(jù)集D1，對數(shù)據(jù)集進行去重、去空，清洗后得到樣本集D2；

步驟2：使用K-means對樣本集D2進行聚類，得到N個聚類點簇，進而將聚類后的樣本集D2打上標簽；

步驟3：將帶標簽的文本樣本集作為BERT模型的輸入，得到特征向量T1，將得到的特征向量T1傳入長短期記憶網(wǎng)絡進一步提取特征，得到文本特征向量T2；

步驟4：使用YOLO提取冷鏈配載圖的特征R1，并使用激活函數(shù)將其轉為特征向量，將提取的雙模態(tài)特征向量使用激活函數(shù)tanh與其他模態(tài)嵌入的關聯(lián)表示進行補充，同時，將被補充過后的文本特征向量與圖片特征向量進行拼接得到雙模態(tài)特征向量，然后將補充后的雙模態(tài)條件向量進行矩陣相乘，得到跨模態(tài)聯(lián)合矩陣，最后使用Softmax函數(shù)得到雙模態(tài)交互注意力矩陣Bim；

步驟5：將雙模態(tài)交互注意力矩陣Bim與被補充過的雙模態(tài)特征向量拼接，將其作為全連接層的輸入得到雙模態(tài)特征表示，最后輸入至Softmax進行分類，最終獲得模型的標簽抽取。

進一步地，所述步驟3具體方法為：

步驟3.1：通過處理步驟2中打上標簽的樣本集D4，將待處理文本內容d_c固定為統(tǒng)一長度L_max；

步驟3.2：定義循環(huán)變量i，且i賦初值為1；

步驟3.3：如果i≤len(T)則跳轉到步驟3.4，否則跳轉到步驟3.7；

步驟3.4：定義len(T_i)為文本中第i個文本信息的長度，如果len(T_i)+2≤L_max則補0后跳轉下一步，否則截取文本前L_max個單位，跳轉下一步；

步驟3.5：建立預訓練模型BERT，將樣本集傳入BERT模型中，獲取文本的特征向量T1；