[發(fā)明專利]一種針對基于提示符的探證的因果分析方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210001713.4
• 申請日: 2022-01-04
• 公開（公告）號: CN114492806A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 曹博希;林鴻宇;韓先培;孫樂
• 申請（專利權(quán)）人: 中國科學(xué)院軟件研究所
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06N5/02
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理有限公司 11200
• 代理人: 邱曉鋒

1.一種針對基于提示符的探證的因果分析方法，其特征在于，包括以下步驟：

建立結(jié)構(gòu)因果模型，用于形式化基于提示符的探證過程中各個(gè)變量交互關(guān)系；

基于結(jié)構(gòu)因果模型，識(shí)別出探證過程中期望評估的真正因果關(guān)系和混淆評估結(jié)果的后門路徑，并分析后門路徑導(dǎo)致的偏差；

利用后門準(zhǔn)則阻塞導(dǎo)致偏差的后門路徑，得到無偏的因果關(guān)系評估結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述結(jié)構(gòu)因果模型包含多個(gè)關(guān)鍵變量，描述基于提示符的探證中的模型預(yù)訓(xùn)練、提示符選取、自然語言化的測試集生成、性能評估四個(gè)關(guān)鍵過程中的因果關(guān)系。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述結(jié)構(gòu)因果模型包含11個(gè)關(guān)鍵變量：預(yù)訓(xùn)練語料分布D_a；預(yù)訓(xùn)練語料C；預(yù)訓(xùn)練模型M；語言表達(dá)分布L；任務(wù)R；提示符P；任務(wù)特定的預(yù)測器I；測試數(shù)據(jù)分布D_b；采樣得到的測試數(shù)據(jù)T；自然語言化的測試數(shù)據(jù)X；評測性能E。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述混淆評估結(jié)果的后門路徑為三條后門路徑，所述三條后門路徑體現(xiàn)預(yù)訓(xùn)練模型M和評測性能E之間的偽相關(guān)關(guān)系，從而導(dǎo)致三種偏差：提示符偏好偏差、實(shí)例自然語言化偏差、采樣差異偏差。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述提示符偏好偏差的表現(xiàn)包括：對于同一個(gè)預(yù)訓(xùn)練模型，使用語義相同但是表達(dá)不同的提示符進(jìn)行評測，評測結(jié)果呈現(xiàn)明顯的不穩(wěn)定性，以及在同一個(gè)任務(wù)上，使用語義相同但是表達(dá)不同的提示符，模型之間的排名呈現(xiàn)出不一致性，因此無法得到可靠的評測結(jié)果；所述實(shí)例自然語言化偏差的表現(xiàn)包括：對于同一個(gè)測試樣例，不同的自然語言化表達(dá)會(huì)帶來不一致的測試結(jié)果；所述采樣差異偏差的表現(xiàn)包括：不同預(yù)訓(xùn)練模型之間的性能差異，不僅取決于其對應(yīng)任務(wù)上的能力差異，還取決于與其綁定的從不同分布中采樣得到的預(yù)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)分布之間的差異。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用后門準(zhǔn)則阻塞導(dǎo)致偏差的后門路徑，是找到一個(gè)變量集合Z，Z滿足不包含預(yù)訓(xùn)練模型M的后代節(jié)點(diǎn)，并且Z阻斷了預(yù)訓(xùn)練模型M和評測性能E之間的每條含有指向M的路徑。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，根據(jù)結(jié)構(gòu)因果模型，選擇Z＝{X,P}，則預(yù)訓(xùn)練模型M到評測性能E的真實(shí)因果效應(yīng)則由以下公式計(jì)算得到：

其中，p表示一種特定的提示符，x表示自然語言化的數(shù)據(jù)，表示提示符p和自然語言化數(shù)據(jù)x的聯(lián)合分布，表示模型m在任務(wù)r下使用提示符p和自然語言化的數(shù)據(jù)x的評估結(jié)果。

8.一種采用權(quán)利要求1～7中任一權(quán)利要求所述方法的針對基于提示符的探證的因果分析系統(tǒng)，其特征在于，包括：

結(jié)構(gòu)因果模型構(gòu)建模塊，用于建立結(jié)構(gòu)因果模型，用于形式化基于提示符的探證過程中各個(gè)變量交互關(guān)系；

偏差分析模塊，用于基于結(jié)構(gòu)因果模型，識(shí)別出探證過程中期望評估的真正因果關(guān)系和混淆評估結(jié)果的后門路徑，并分析后門路徑導(dǎo)致的偏差；

因果干預(yù)模塊，用于利用后門準(zhǔn)則阻塞導(dǎo)致偏差的后門路徑，得到無偏的因果關(guān)系評估結(jié)果。

9.一種電子裝置，其特征在于，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被配置為由所述處理器執(zhí)行，所述計(jì)算機(jī)程序包括用于執(zhí)行權(quán)利要求1～7中任一權(quán)利要求所述方法的指令。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被計(jì)算機(jī)執(zhí)行時(shí)，實(shí)現(xiàn)權(quán)利要求1～7中任一權(quán)利要求所述的方法。