[發(fā)明專利]一種基于共生注意力表示學(xué)習(xí)的服務(wù)分類方法

有效

• 申請?zhí)枺?/td>: 202110249579.5
• 申請日: 2021-03-08
• 公開（公告）號: CN112836054B
• 公開（公告）日: 2022-07-26
• 發(fā)明（設(shè)計）人: 鄢萌;唐斌;吳云松;張小洪;徐玲;任海軍;楊丹
• 申請（專利權(quán)）人: 重慶大學(xué)
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04;G06N3/08
• 代理公司: 重慶晟軒知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 50238
• 代理人: 王海鳳

1.一種基于共生注意力表示學(xué)習(xí)的服務(wù)分類方法，其特征在于：包括如下步驟：

S100：從公開數(shù)據(jù)集中選取部分web服務(wù)作為訓(xùn)練集，訓(xùn)練集中的每個web服務(wù)都有確定的服務(wù)類別，對訓(xùn)練集中包含的所有服務(wù)類別進(jìn)行順序編號；

S200：從該訓(xùn)練集中任選一個Web服務(wù)作為訓(xùn)練樣本，該訓(xùn)練樣本包括服務(wù)描述和服務(wù)名稱；

S300：對每個訓(xùn)練樣本從其服務(wù)描述中提取服務(wù)信息詞，具體步驟如下：

S310：設(shè)服務(wù)描述中有E個原單詞，對E個原單詞進(jìn)行標(biāo)記化處理，此處的“標(biāo)記化處理”是指將每個單詞用空格隔開；

S320：根據(jù)英語停用詞列表刪除E個原單詞中的停用詞，剩余的原單詞個數(shù)為Z，并對Z個原單詞進(jìn)行詞干提取，如果詞干出現(xiàn)重復(fù)，則只保留一個，最終得到G個單詞詞干；

S330：計算G個單詞詞干的信息增益得分，具體公式如下：

其中，N表示該訓(xùn)練集中服務(wù)類別的數(shù)量，C_k表示類別，P(C_k)表示類別C_k的概率，P(w)表示單詞詞干w存在的概率，表示單詞詞干w不存在的概率，P(C_k|w)表示存在單詞詞干w時類別C_k的條件概率，表示不存在單詞詞干w時類別C_k的條件概率；

其中，各項計算表達(dá)式如下：

其中，num(C_k)表示在類別C_k上的服務(wù)數(shù)量，表示所有類別包含的服務(wù)總數(shù)，表示在類別C_i中的服務(wù)描述中帶有單詞詞干w的服務(wù)數(shù)量，表示所有類別包含的服務(wù)總數(shù)中的服務(wù)描述中帶有單詞詞干w的服務(wù)總數(shù)，為服務(wù)描述中未包含單詞詞干w的服務(wù)總數(shù)；

S340：根據(jù)信息增益得分將G個單詞詞干進(jìn)行降序排列，選擇前J個單詞詞干作為服務(wù)信息詞的提取結(jié)果；

S400：對每個訓(xùn)練樣本構(gòu)建描述特征矩陣D，具體步驟如下：

S410：設(shè)服務(wù)描述中包含的單詞數(shù)量為n₁，將服務(wù)描述作為BERT模型的輸入，輸出為服務(wù)描述的單詞序列和長度為n₁的k₁維服務(wù)描述嵌入矩陣，具體表達(dá)式如下：

Y₁＝f_{bert_seq}(X₁)

其中，Y₁表示服務(wù)描述嵌入矩陣，X₁表示服務(wù)描述；

S420：采用雙向LSTM提取服務(wù)描述特征，具體步驟如下：

S421：計算所述服務(wù)描述中第i個單詞的隱藏狀態(tài)h_i，具體表達(dá)式如下：

其中，a_i是服務(wù)描述嵌入矩陣Y₁中第i個單詞的k₁維詞向量，h_i是LSTM中第i個單詞的隱藏狀態(tài)，表示第i個單詞前向傳播的隱藏狀態(tài)，表示第i個單詞后向傳播的隱藏狀態(tài)，表示第i個單詞的前一個單詞的前向傳播存儲單元，表示第i個單詞的前一個單詞的前向傳播隱藏狀態(tài)，表示第i個單詞的后一個單詞的后向傳播存儲單元，表示第i個單詞的后一個單詞的后向傳播隱藏狀態(tài)；

S422：重復(fù)S421，計算得到服務(wù)描述中所有單詞的隱藏狀態(tài)，并進(jìn)行拼接，得到服務(wù)描述的特征矩陣D，具體表達(dá)式如下：

S500：對每個訓(xùn)練樣本構(gòu)建服務(wù)信息詞特征矩陣I，具體步驟如下：

S510：將步驟S340得到的J個服務(wù)信息詞作為BERT模型的輸入，輸出為長度為n₂的k₂維服務(wù)信息詞嵌入矩陣Y₂，具體表達(dá)式如下：

Y₂＝f_{bert_seq}(X₂)

其中，Y₂表示服務(wù)信息詞嵌入矩陣，X₂表示服務(wù)信息詞；

S520：采用2-D CNN卷積函數(shù)提取服務(wù)信息詞的特征，具體步驟如下：

S521：為服務(wù)信息詞嵌入矩陣Y₂增加一個額外維度得到Y(jié)₂′，即此時的卷積核為其中，1表示額外的維度，p₁表示卷積核包含的信息詞向量的維度，q₁表

示卷積核包含的信息詞的個數(shù)；

S522：計算Y₂′中服務(wù)信息詞的局部特征c_{i′，j′，1}，表達(dá)式如下：

其中，e_u，v，1表示服務(wù)信息詞中的第u個詞相對應(yīng)的v維詞向量，u∈[i，i+p₁-1]，v∈[j，j+q₁-1]，b表示偏置項，i′表示Y₂′中的信息詞，j′表示信息詞i′對應(yīng)的維度，j′＝1，2，...，k₂；

S523：應(yīng)用數(shù)量為t的卷積核和卷積核數(shù)量為t時的服務(wù)信息詞的局部特征得到局部特征c_{i″，j″，1}，具體表達(dá)式如下：

其中，c_{i″，j″，1}表示卷積核數(shù)量為1時的服務(wù)信息詞的局部特征，p₂為卷積核數(shù)量為1時卷積核包含的信息詞向量的維度，q₂為卷積核數(shù)量為1時的卷積核包含的信息詞的個數(shù)；

S524：壓縮Y₂′中額外的一個維度，得到Y(jié)₂中服務(wù)信息詞的局部特征c_i″，j″，拼接所有局部特征得到信息詞特征矩陣I，表達(dá)式如下：

S600：對每個訓(xùn)練樣本構(gòu)建服務(wù)名稱特征矩陣S，具體步驟如下：

S610：將服務(wù)名稱作為BERT模型的輸入，輸出為長度為n₃的k₃維服務(wù)名稱嵌入矩陣Y₃，具體表達(dá)式如下：

Y₃＝f_{bert_seq}(X₃)

其中，Y₃表示服務(wù)名稱嵌入矩陣，X₃表示服務(wù)名稱；

S620：采用2-D CNN提取服務(wù)名稱的特征，具體步驟如下：

S621：為服務(wù)名稱嵌入矩陣Y₃增加一個額外維度得到Y(jié)₃′，即此時的卷積核為其中，1表示額外的維度，p₁表示卷積核包含的服務(wù)名稱詞向量的維度，q₁表示卷積核包含的服務(wù)名稱中詞的個數(shù)；

S622：計算Y₃′中服務(wù)名稱的局部特征d_{i′，j′，1}，表達(dá)式如下：

其中，s_u，v，1表示服務(wù)名稱中的第u個詞相對應(yīng)的v維詞向量，u∈[i，i+p₁-1]，v∈[j，j+q₁-1]，b表示偏置項，i′表示Y₃′中的服務(wù)名稱，j′表示信息詞i′對應(yīng)的維度，j′＝1，2，...，k₂；

S623：應(yīng)用數(shù)量為t的卷積核和卷積核數(shù)量為t時的服務(wù)名稱的局部特征得到局部特征d_{i″，j″，1}，具體表達(dá)式如下：

其中，d_{i″，j″，1}表示卷積核為1時的服務(wù)名稱的局部特征，p₂為卷積核為1時的包含服務(wù)名稱詞向量的維度，q₁為卷積核為1時的卷積核包含的服務(wù)名稱中詞的個數(shù)；

S624：壓縮Y₃′中額外的一個維度，得到Y(jié)₃中服務(wù)名稱的局部特征d_i″，j″，拼接所有局部特征得到服務(wù)名稱特征矩陣S，表達(dá)式如下：

S700：將每個訓(xùn)練樣本對應(yīng)的信息詞特征矩陣I和名稱特征矩陣S進(jìn)行融合，獲得增強數(shù)據(jù)特征矩陣A，表達(dá)式如下；

S800：對每個訓(xùn)練樣本計算服務(wù)特征相關(guān)矩陣F，具體表達(dá)式如下：

F＝tanh(A^TUD)

其中，服務(wù)描述特征矩陣D∈R^d*p，服務(wù)增強數(shù)據(jù)矩陣參數(shù)矩陣U∈R^d*d，服務(wù)特征相關(guān)矩陣F∈R^p*q；

S900：對每個訓(xùn)練樣本計算r^A和r^D，具體步驟如下：

S910：對服務(wù)特征相關(guān)矩陣F執(zhí)行最大池化操作，得到服務(wù)增強數(shù)據(jù)和服務(wù)描述具體表示如下：

S920：計算的服務(wù)語義向量g^A和的服務(wù)語義向量g^D，具體表達(dá)式如下：

其中，g^A∈R^p，g^D∈R^q

S930：對得到的g^A和g^D服務(wù)語義向量采用softmax激活函數(shù)進(jìn)行轉(zhuǎn)化，得到服務(wù)增強數(shù)據(jù)注意力向量a^A和服務(wù)描述注意力向量a^D，具體表達(dá)式分別如下：

a^A＝softmax(g^A)

a^D＝softmax(g^D)

其中，a^A∈R^p，a^D∈R^q；

S940：計算a^A的服務(wù)表示向量rA和a^D的服務(wù)表示向量r^D，具體表達(dá)式分別如下：

r^A＝A*a^A

r^D＝D*a^D

其中，A為增強數(shù)據(jù)特征矩陣，D為服務(wù)描述特征矩陣，a^A表示服務(wù)增強數(shù)據(jù)注意力向量，a^D表示服務(wù)描述注意力向量；

S1000：對每個訓(xùn)練樣本計算相對應(yīng)的預(yù)測向量L，其中，L為N維的向量，L中包含的所有概率值是按照服務(wù)類別的順序編號進(jìn)行排列，選擇其中最大的概率值所對應(yīng)的服務(wù)類別作為最終的服務(wù)類別預(yù)測結(jié)果，L具體表達(dá)式如下：

L＝softmax(f_fc(r^A+r^D))

其中，f_fc表示全連接層神經(jīng)網(wǎng)絡(luò)；

S1010：根據(jù)S1000的結(jié)果采用梯度下降反向傳播的方式對S200-S800步驟中所用到的參數(shù)進(jìn)行更新，當(dāng)訓(xùn)練達(dá)到預(yù)設(shè)的最大迭代次數(shù)，模型訓(xùn)練完畢，得到訓(xùn)練好的服務(wù)分類模型；

S1020：對一個未知類別的待預(yù)測web服務(wù)進(jìn)行服務(wù)分類預(yù)測，具體步驟如下：

S1030：采用S300的方法從待預(yù)測服務(wù)描述中提取服務(wù)信息詞；

S1040：采用S400的方法構(gòu)建待預(yù)測描述特征矩陣D’；

S1050：采用S500的方法構(gòu)建待預(yù)測服務(wù)信息詞特征矩陣I’；

S1060：采用S600的方法構(gòu)建待預(yù)測服務(wù)名稱特征矩陣S’；

S1070：采用S700的方法得到待預(yù)測增強數(shù)據(jù)特征矩陣A’；

S1080：采用S800的方法計算待預(yù)測相關(guān)矩陣F’；

S1090：采用S900的方法計算待預(yù)測的r^A’和r^D’；

S1100：采用S1000的方法計算預(yù)測向量L’，將其中的最大概率值所對應(yīng)的服務(wù)類別作為待預(yù)測Web服務(wù)的預(yù)測類別。