[發(fā)明專利]基于神經(jīng)網(wǎng)絡(luò)的工具變量生成與手寫數(shù)字識(shí)別方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011493947.2
• 申請(qǐng)日: 2020-12-16
• 公開（公告）號(hào): CN112633503B
• 公開（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 況琨;袁俊坤;吳飛;林蘭芬
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06N5/04
• 分類號(hào): G06N5/04;G06N3/04
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 傅朝棟;張法高

本發(fā)明公開了一種基于神經(jīng)網(wǎng)絡(luò)的工具變量生成與反事實(shí)推理方法及裝置。針對(duì)之前的基于工具變量的反事實(shí)推理(如手寫數(shù)字識(shí)別)方法需要預(yù)先定義和可獲取的工具變量的問題，本發(fā)明直接從可觀測變量中學(xué)習(xí)和解耦出工具變量，大大提升了因果推斷效率，節(jié)省了時(shí)間和成本。本發(fā)明首次自動(dòng)地從可觀測變量中提取出工具變量，在算法和運(yùn)用上有獨(dú)創(chuàng)性和獨(dú)特性。將本發(fā)明應(yīng)用于現(xiàn)有的基于工具變量的反事實(shí)預(yù)測方法，與使用真實(shí)工具變量的方法相比性能因果推斷有明顯提升。本發(fā)明著重于從可觀測變量中解耦出工具變量的表征，解決了基于工具變量的反事實(shí)預(yù)測技術(shù)需要預(yù)先使用先驗(yàn)知識(shí)和高昂成本獲取工具變量數(shù)據(jù)的難題，提升了手寫數(shù)字識(shí)別等領(lǐng)域精度。

技術(shù)領(lǐng)域

本發(fā)明涉及因果推斷領(lǐng)域，尤其涉及一種自動(dòng)的工具變量解耦方法，實(shí)現(xiàn)可直接從可觀測變量中提取出工具變量的反事實(shí)預(yù)測方法，從而提升手寫數(shù)字識(shí)別的效率和精度。

背景技術(shù)

因果推斷致力于對(duì)干預(yù)產(chǎn)生的反事實(shí)結(jié)果進(jìn)行估計(jì)，輔助決策者進(jìn)行選擇，以達(dá)到使得結(jié)果最優(yōu)化的目標(biāo)。因果推斷的黃金方法是使用隨機(jī)控制實(shí)驗(yàn)隨機(jī)分配干預(yù)值進(jìn)行因果推斷，但是此類方法的成本過高甚至無法實(shí)現(xiàn)。一些方法通過加權(quán)、匹配的方式來對(duì)影響因果推斷的混淆變量進(jìn)行約束的目的，但是此類方法僅僅只能在混淆完全可觀測的情形下使用，當(dāng)混淆存在不可觀測的情況下該類方法仍然存在較大缺陷。

工具變量提出用來解決不可觀測的混淆問題，它和干預(yù)變量相關(guān)同時(shí)和結(jié)果變量條件獨(dú)立。當(dāng)下的基于工具變量的因果推斷方法都需要一個(gè)預(yù)先定義的工具變量，但是這在現(xiàn)實(shí)情況下往往并不實(shí)用。如何直接從所有可觀測變量中解耦出工具變量，并自動(dòng)地進(jìn)行因果推斷是一個(gè)亟待解決的問題。

手寫數(shù)字識(shí)別作為因果推斷的一個(gè)典型應(yīng)用領(lǐng)域，其存在同樣的技術(shù)問題。針對(duì)手寫數(shù)字的識(shí)別，如何通過自動(dòng)的工具變量解耦，獲取僅僅和標(biāo)簽條件相關(guān)的工具變量信息，從而輔助手寫數(shù)字識(shí)別以達(dá)到最大的精度，是本發(fā)明需要解決的主要技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明的目的是解決當(dāng)下基于工具變量的因果推斷技術(shù)手寫數(shù)字識(shí)別需要預(yù)先定義的工具變量這個(gè)問題，提出一種基于神經(jīng)網(wǎng)絡(luò)的工具變量生成與反事實(shí)推理方法及裝置，它能夠直接從可觀測的變量中解耦出工具變量，實(shí)現(xiàn)自動(dòng)工具變量解耦和因果推斷從而提升手寫數(shù)字識(shí)別的效率和精度。

本發(fā)明具體采用的技術(shù)方案如下：

一種基于神經(jīng)網(wǎng)絡(luò)的工具變量生成與反事實(shí)推理方法，其包括如下步驟：

S1：獲取手寫數(shù)字圖片數(shù)據(jù)作為干預(yù)，獲取手寫數(shù)字圖片的標(biāo)簽數(shù)據(jù)作為結(jié)果，將手寫數(shù)字圖片和標(biāo)簽構(gòu)建成反事實(shí)預(yù)測數(shù)據(jù)集；

S2：使用互信息約束的方法，對(duì)工具變量和其他協(xié)變量的表征設(shè)置約束，用于進(jìn)行初步的表征學(xué)習(xí)；

S3：基于兩階段反事實(shí)預(yù)測技術(shù)設(shè)置額外約束，用于對(duì)初步學(xué)習(xí)到的解耦表征進(jìn)一步優(yōu)化；

S4：基于所述的反事實(shí)預(yù)測數(shù)據(jù)集，通過交替優(yōu)化S2和S3中設(shè)置的約束，獲得優(yōu)化后的工具變量和其他協(xié)變量的表征模型；

S5：針對(duì)待識(shí)別的手寫數(shù)字圖片，利用優(yōu)化后的表征模型，得到工具變量和其他協(xié)變量的表征，并將其應(yīng)用于基于工具變量的反事實(shí)預(yù)測模型中，輸出手寫數(shù)字圖片中手寫數(shù)字的識(shí)別結(jié)果。

作為優(yōu)選，步驟S1中，所述反事實(shí)預(yù)測數(shù)據(jù)集表示為其中v_i,x_i,y_i分別為第i個(gè)樣本的可觀測變量、干預(yù)和結(jié)果，其中樣本的可觀測變量以該樣本對(duì)應(yīng)的手寫數(shù)字圖片本身代替，N為樣本總數(shù)。

進(jìn)一步的，所述的步驟S2具體包括以下子步驟：

S201：基于神經(jīng)網(wǎng)絡(luò)構(gòu)建以可觀測變量V為輸入以工具變量Z為輸出的第一表征模型φ^Z(·)，同時(shí)基于神經(jīng)網(wǎng)絡(luò)構(gòu)建以可觀測變量V為輸入以其他協(xié)變量C為輸出的第二表征模型φ^C(·)；