[發(fā)明專(zhuān)利]一種基于消費(fèi)事理圖譜的消費(fèi)意圖識(shí)別和預(yù)測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011069677.2
• 申請(qǐng)日: 2020-09-30
• 公開(kāi)（公告）號(hào): CN112132633B
• 公開(kāi)（公告）日: 2021-07-06
• 發(fā)明（設(shè)計(jì)）人: 丁效;秦兵;劉挺;石乾坤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06Q30/02
• 分類(lèi)號(hào): G06Q30/02;G06F16/951
• 代理公司: 哈爾濱華夏松花江知識(shí)產(chǎn)權(quán)代理有限公司 23213
• 代理人: 岳昕

1.一種基于消費(fèi)事理圖譜的消費(fèi)意圖識(shí)別和預(yù)測(cè)方法，其特征在于，該方法包括以下步驟：

步驟一、利用標(biāo)注了事件的數(shù)據(jù)對(duì)預(yù)訓(xùn)練好的BERT-Base模型進(jìn)行微調(diào)后，利用微調(diào)后的BERT-Base模型從敘事性文本中抽取得到事件；

步驟二、利用標(biāo)注了事件以及事件之間順承關(guān)系的數(shù)據(jù)對(duì)預(yù)訓(xùn)練好的BERT-Base模型進(jìn)行微調(diào)后，利用微調(diào)后的BERT-Base模型對(duì)步驟一中抽取的事件組成的事件對(duì)的順承關(guān)系進(jìn)行判別，構(gòu)建事理圖譜；

步驟三、根據(jù)步驟一中抽取出的事件構(gòu)建二分圖作為弱監(jiān)督信息；

步驟四、結(jié)合步驟二構(gòu)建的事理圖譜和步驟三得到的弱監(jiān)督信息，構(gòu)建消費(fèi)事理圖譜；其具體過(guò)程為：

定義：U表示所有的事件節(jié)點(diǎn)，V表示所有的消費(fèi)意圖節(jié)點(diǎn)，E1為關(guān)聯(lián)權(quán)重，即事件在各消費(fèi)意圖評(píng)論區(qū)中出現(xiàn)的頻率，G1＝(U,V,E1)表示基于事件在各自消費(fèi)意圖評(píng)論區(qū)中出現(xiàn)的頻率而得到的二分圖；

G2＝(U,V,E2)表示人工標(biāo)注的事件所對(duì)應(yīng)消費(fèi)意圖的數(shù)據(jù)構(gòu)成的二分圖，E2代表特定事件和消費(fèi)意圖具有或不具有對(duì)應(yīng)關(guān)系；

將G2分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集兩部分，訓(xùn)練數(shù)據(jù)集G2_train＝(U_train,V,E2_train)，測(cè)試數(shù)據(jù)集G2_test＝(U_test,V,E2_test)；U_train、E2_train表征訓(xùn)練數(shù)據(jù)集中的事件節(jié)點(diǎn)以及這些事件節(jié)點(diǎn)和消費(fèi)意圖是否構(gòu)成對(duì)應(yīng)關(guān)系；U_test、E2_test表征測(cè)試數(shù)據(jù)集中的事件節(jié)點(diǎn)以及這些事件節(jié)點(diǎn)和消費(fèi)意圖是否構(gòu)成對(duì)應(yīng)關(guān)系；

G3＝(U,U,E3)表征事理圖譜，E3為事理圖譜的邊上的權(quán)值；

事件和消費(fèi)意圖的顯式關(guān)系建模：

給定訓(xùn)練數(shù)據(jù)集中的事件u_i和消費(fèi)意圖v_j，則通過(guò)公式計(jì)算二者之間存在邊的概率P(i,j)為：

基于G2_train：

其中：E2_train[i,j]代表事件u_i和消費(fèi)意圖v_j具有或不具有對(duì)應(yīng)關(guān)系，若事件u_i和消費(fèi)意圖v_j具有對(duì)應(yīng)關(guān)系，則的值為1，若事件u_i和消費(fèi)意圖v_j不具有對(duì)應(yīng)關(guān)系，則的值為0；

其中，L₁代表第一個(gè)損失函數(shù)項(xiàng)，e_ij代表事件u_i和消費(fèi)意圖v_j之間的邊，e_ij∈G1時(shí)，事件u_i和消費(fèi)意圖v_j具有對(duì)應(yīng)關(guān)系，即

事件間的隱式關(guān)系建模：

若兩個(gè)事件節(jié)點(diǎn)u_i1和u_i2均與同一個(gè)消費(fèi)意圖節(jié)點(diǎn)相連，則兩個(gè)事件節(jié)點(diǎn)u_i1和u_i2之間存在隱式相鄰關(guān)系，即u_i1和u_i2為二階事件相鄰節(jié)點(diǎn)；得到任意一個(gè)事件節(jié)點(diǎn)u在二分圖上的二階事件相鄰節(jié)點(diǎn)后，得到一個(gè)僅由節(jié)點(diǎn)u和二階事件相鄰節(jié)點(diǎn)構(gòu)成的圖G_u；

基于圖G_u，通過(guò)隨機(jī)游走得到語(yǔ)料庫(kù)S_u，采用和Skip-gram相同的思路，對(duì)第二個(gè)損失函數(shù)項(xiàng)L₂進(jìn)行優(yōu)化：

式中，Neighbor(u_i)代表節(jié)點(diǎn)u_i的二階相鄰節(jié)點(diǎn)的集合，P(u_c|u_i)代表給定事件節(jié)點(diǎn)u_i時(shí)事件節(jié)點(diǎn)u_c出現(xiàn)的概率；

消費(fèi)意圖間的隱式關(guān)系建模：

同理，通過(guò)隨機(jī)游走得到由消費(fèi)意圖節(jié)點(diǎn)v構(gòu)成的語(yǔ)料庫(kù)S_v，對(duì)第三個(gè)損失函數(shù)項(xiàng)L₃進(jìn)行優(yōu)化：

式中，Neighbor(v_j)代表節(jié)點(diǎn)v_j的二階消費(fèi)意圖相鄰節(jié)點(diǎn)的集合，P(v_c|v_j)代表給定消費(fèi)意圖節(jié)點(diǎn)v_j時(shí)消費(fèi)意圖節(jié)點(diǎn)v_c出現(xiàn)的概率；

則整體的優(yōu)化目標(biāo)L為：

minimizeL＝L₁-αlnL₂-βlnL₃

式中，α和β為損失函數(shù)的權(quán)重系數(shù)；

滿足優(yōu)化目標(biāo)時(shí)，得到基于G1、G2_train和G3的U、V的表示，構(gòu)建出消費(fèi)事理圖譜；

步驟五：建立同異質(zhì)關(guān)系注意力模型，基于構(gòu)建的消費(fèi)事理圖譜來(lái)訓(xùn)練建立的同異質(zhì)關(guān)系注意力模型；

將事件和消費(fèi)意圖輸入訓(xùn)練好的同異質(zhì)關(guān)系注意力模型后，模型輸出事件和消費(fèi)意圖存在或不存在對(duì)應(yīng)關(guān)系；

所述建立的同異質(zhì)關(guān)系注意力模型由事件編碼器和消費(fèi)意圖編碼器組成，事件編碼器和消費(fèi)意圖編碼器均由同質(zhì)關(guān)系聚合器和異質(zhì)關(guān)系聚合器組成；

事件編碼器

給定事件event，基于事理圖譜，得到該事件event的二階事件相鄰節(jié)點(diǎn)集合Neighbor_event_to_event(event)；基于消費(fèi)圖譜，得到與該事件event具有對(duì)應(yīng)關(guān)系的消費(fèi)意圖節(jié)點(diǎn)，得到的全部消費(fèi)意圖節(jié)點(diǎn)組成該事件event的消費(fèi)意圖相鄰節(jié)點(diǎn)集合Neighbor_event_to_consumption(event)；

事件編碼器的同質(zhì)關(guān)系聚合器的輸入為該事件event和該事件的二階事件相鄰節(jié)點(diǎn)集合Neighbor_event_to_event(event)；事件編碼器的異質(zhì)關(guān)系聚合器的輸入為該事件event的消費(fèi)意圖相鄰節(jié)點(diǎn)集合Neighbor_event_to_consumption(event)，二者均通過(guò)Attention機(jī)制、分別利用同質(zhì)關(guān)系信息和異質(zhì)關(guān)系信息，得到該事件的隱含表示e₁和e₁′；

對(duì)于事件編碼器的同質(zhì)關(guān)系聚合器，給定事件event的隱含表示e₁為：

其中，為事件同質(zhì)相似度，w₁、W₁和W₂都是事件編碼器的同質(zhì)關(guān)系聚合器的權(quán)重，b₁、b₂和b₃都是事件編碼器的同質(zhì)關(guān)系聚合器的偏置，α_ee為歸一化后的事件同質(zhì)相似度，x為事件event的二階事件相鄰節(jié)點(diǎn)集合中的節(jié)點(diǎn)，event_homo代表事件編碼器的同質(zhì)關(guān)系聚合器的輸出，符號(hào)代表向量之間的連接，σ是激活函數(shù)；

對(duì)于事件編碼器的異質(zhì)關(guān)系聚合器，給定事件event的隱含表示e₁′為：

其中，為事件異質(zhì)相似度，w₂、W₁′和W₂′都是事件編碼器的異質(zhì)關(guān)系聚合器的權(quán)重，b₁′、b₂′和b₃′都是事件編碼器的異質(zhì)關(guān)系聚合器的偏置，α_ec為歸一化后的事件異質(zhì)相似度，x′為事件event的消費(fèi)意圖鄰居節(jié)點(diǎn)集合中的節(jié)點(diǎn)，event_hetero代表事件編碼器的異質(zhì)關(guān)系聚合器的輸出；

事件編碼器輸出事件的表示為：

其中，vent_repr為事件編碼器輸出事件的表示；

消費(fèi)意圖編碼器

給定消費(fèi)意圖consumption，若另一個(gè)消費(fèi)意圖consumption2和該消費(fèi)意圖均與同一個(gè)事件具有對(duì)應(yīng)關(guān)系，則認(rèn)為消費(fèi)意圖consumption2是該消費(fèi)意圖consumption的二階消費(fèi)意圖相鄰節(jié)點(diǎn)，將消費(fèi)意圖consumption的全部二階消費(fèi)意圖相鄰節(jié)點(diǎn)consumption2構(gòu)成的集合稱(chēng)為二階消費(fèi)意圖相鄰節(jié)點(diǎn)集合Neighbor_con_to_con(consumption)；基于消費(fèi)圖譜，得到消費(fèi)意圖consumption的事件相鄰節(jié)點(diǎn)集合Neighbor_con_to_event(consumption)；

同質(zhì)關(guān)系聚合器的輸入為該消費(fèi)意圖consumption和該消費(fèi)意圖節(jié)點(diǎn)的二階消費(fèi)意圖相鄰節(jié)點(diǎn)集合Neighbor_con_to_con(consumption)；異質(zhì)關(guān)系聚合器的輸入為該消費(fèi)意圖節(jié)點(diǎn)consumption的事件相鄰節(jié)點(diǎn)集合Neighbor_con_to_event(consumption)，二者均通過(guò)Attention機(jī)制、分別利用同質(zhì)關(guān)系信息和異質(zhì)關(guān)系信息，得到該消費(fèi)意圖的隱含表示e₂和e₂′；

對(duì)于消費(fèi)意圖編碼器的同質(zhì)關(guān)系聚合器，給定消費(fèi)意圖節(jié)點(diǎn)的向量表示e₂：

其中，為消費(fèi)意圖同質(zhì)相似度，w₃、W₃和W₄都是消費(fèi)意圖編碼器的同質(zhì)關(guān)系聚合器的權(quán)重，b₄、b₅和b₆都是消費(fèi)意圖編碼器的同質(zhì)關(guān)系聚合器的偏置，α_cc為歸一化后的消費(fèi)意圖同質(zhì)相似度，x″為消費(fèi)意圖consumption的二階消費(fèi)意圖相鄰節(jié)點(diǎn)集合中的節(jié)點(diǎn)，consumption_homo代表消費(fèi)意圖編碼器的同質(zhì)關(guān)系聚合器的輸出；

對(duì)于消費(fèi)意圖編碼器的異質(zhì)關(guān)系聚合器，給定消費(fèi)意圖節(jié)點(diǎn)的向量表示e₂′：

其中，為消費(fèi)意圖異質(zhì)相似度，w₄、W₃′和W₄′都是消費(fèi)意圖編碼器的異質(zhì)關(guān)系聚合器的權(quán)重，b₄′、b₅′和b₆′都是消費(fèi)意圖編碼器的異質(zhì)關(guān)系聚合器的偏置，α_ce為歸一化后的消費(fèi)意圖異質(zhì)相似度，x″′為消費(fèi)意圖節(jié)點(diǎn)的事件相鄰節(jié)點(diǎn)集合中的節(jié)點(diǎn)，consumption_hetero代表消費(fèi)意圖編碼器的異質(zhì)關(guān)系聚合器的輸出；

消費(fèi)意圖編碼器輸出消費(fèi)意圖表示為：

其中，consumption_repr為消費(fèi)意圖編碼器輸出消費(fèi)意圖；

基于獲得的事件表示和消費(fèi)意圖表示，得出事件與消費(fèi)意圖是否存在對(duì)應(yīng)關(guān)系：

g₂＝σ(W₅·g₁+b₇)

pred＝w^T·g₂

其中，g₁和g₂為中間變量，W₅和w為權(quán)重，b₇為偏置，pred為模型輸出結(jié)果。