[發(fā)明專利]一種基于強(qiáng)化學(xué)習(xí)的規(guī)則提取方法及應(yīng)用

有效

• 申請(qǐng)?zhí)枺?/td>: 202010071247.8
• 申請(qǐng)日: 2020-01-21
• 公開（公告）號(hào): CN111325336B
• 公開（公告）日: 2022-10-14
• 發(fā)明（設(shè)計(jì)）人: 陳華鈞;汪寒
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04;G06K9/62
• 代理公司: 杭州天勤知識(shí)產(chǎn)權(quán)代理有限公司 33224
• 代理人: 曹兆霞

1.一種基于強(qiáng)化學(xué)習(xí)的商品場(chǎng)景掛載方法，其特征在于，該方法用于商品規(guī)則的提取，應(yīng)用在電商實(shí)際應(yīng)用中，在電商實(shí)際應(yīng)用中，每個(gè)商品都會(huì)被掛載到若干個(gè)場(chǎng)景，以圖結(jié)構(gòu)中的節(jié)點(diǎn)形式存在，商品由結(jié)構(gòu)化信息表示，以鍵值對(duì)PV形式存在，生成的規(guī)則中Body部分為PV對(duì)，Head部分為單個(gè)場(chǎng)景，規(guī)則的作用包括掛載新的商品以及為已有的商品新增掛載場(chǎng)景，具體包括：

基于強(qiáng)化學(xué)習(xí)構(gòu)建規(guī)則知識(shí)學(xué)習(xí)模型，所述規(guī)則知識(shí)學(xué)習(xí)模型包括用于提取規(guī)則的智能體和用于計(jì)算規(guī)則的分類結(jié)果的分類網(wǎng)絡(luò)；

所述智能體包括輸入模塊，記憶模塊以及動(dòng)作模塊，其中：

所述輸入模塊包括屬性項(xiàng)嵌入層、屬性值嵌入層、及場(chǎng)景嵌入層，屬性項(xiàng)嵌入層和屬性值嵌入層拼接起來(lái)當(dāng)作當(dāng)前PV的嵌入向量，其中，P是one-hot的屬性項(xiàng)向量輸入進(jìn)屬性項(xiàng)嵌入層的矩陣后的輸出，V是one-hot的屬性值向量輸入進(jìn)屬性值嵌入層的矩陣后的輸出，在輸入進(jìn)智能體前，將當(dāng)前的商品的P和V拼接在一起作為單個(gè)PV的嵌入向量；

所述記憶模塊采用雙向LSTM網(wǎng)絡(luò)，當(dāng)前商品PV的嵌入向量作為記憶模塊的輸入，利用LSTM網(wǎng)絡(luò)的記憶功能，讓每個(gè)時(shí)間步輸出的隱狀態(tài)向量都能包含上下文的信息；

所述動(dòng)作模塊包括單向LSTM和全連接層，單向LSTM的作用是讓動(dòng)作在當(dāng)前時(shí)間步t時(shí)刻輸出動(dòng)作時(shí)，能夠考慮到0到t-1時(shí)刻的信息，用公式表達(dá)如下：

h′_t＝LSTM([h_t；a_t-1])

其中，a_t-1是上一個(gè)時(shí)間步輸出的動(dòng)作的one-hot表示，這里將a_t-1與記憶模塊在t時(shí)間步的輸出h_t拼接起來(lái)作為動(dòng)作模塊的輸入；

全連接層的作用則是將h′_t映射到場(chǎng)景嵌入向量L的特征空間，再與L進(jìn)行點(diǎn)乘求和，用公式表達(dá)如下：

p_t＝sigmoid(f(h_t′)*L)

輸出的p_t即動(dòng)作模塊在時(shí)間步t輸出動(dòng)作1的概率，f(·)表示全連接層；

智能體在接受到每個(gè)商品PV對(duì)時(shí)，都會(huì)輸出一個(gè)動(dòng)作，取值為0或1；

將輸出動(dòng)作為1的商品PV篩選出來(lái)，形成一個(gè)新的PV子序列；

所述分類網(wǎng)絡(luò)采用FastText網(wǎng)絡(luò)，將新的PV子序列輸入進(jìn)對(duì)應(yīng)的嵌入層，得到PV向量，然后對(duì)PV向量進(jìn)行求均值得到PV子序列的特征向量h_m，具體表達(dá)式為：

h_m＝mean([P；V])

最后特征向量h_m被輸入進(jìn)softmax分類器，輸出一個(gè)概率向量p，表示各類的概率值：

p＝softmax(f(h_m))

從得到的概率向量中取概率最大的那個(gè)類，若當(dāng)前類與輸入的場(chǎng)景一致，則分類器反饋給智能體一個(gè)獎(jiǎng)勵(lì)，否則反饋給智能體一個(gè)懲罰；

在模型訓(xùn)練完畢后，智能體對(duì)所有商品包含的PV及其對(duì)應(yīng)的場(chǎng)景都輸出一個(gè)子序列，此時(shí)智能體采取動(dòng)作的策略不是依概率采樣，而是選擇概率最大的動(dòng)作；將子序列輸入分類網(wǎng)絡(luò)，若分類網(wǎng)絡(luò)分類正確，則將子序列作為規(guī)則的Body部分，對(duì)應(yīng)場(chǎng)景作為規(guī)則的Head部分，輸出一條備選規(guī)則；

根據(jù)設(shè)定的最小支持度閾值和最小置信度閾值對(duì)候選規(guī)則進(jìn)行篩選，提取最終的規(guī)則；

根據(jù)最終的規(guī)則，將商品掛載到相應(yīng)的場(chǎng)景中。