[發(fā)明專利]生成和使用知識(shí)增強(qiáng)型模型

有效

• 申請(qǐng)?zhí)枺?/td>: 201580043229.6
• 申請(qǐng)日: 2015-08-11
• 公開（公告）號(hào): CN106663124B
• 公開（公告）日: 2020-02-28
• 發(fā)明（設(shè)計(jì)）人: 單瀛;毛建昌
• 申請(qǐng)（專利權(quán)）人: 微軟技術(shù)許可有限責(zé)任公司
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06F16/9535;G06N3/04;G06N5/02
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 王茂華

1.一種由一個(gè)或多個(gè)計(jì)算設(shè)備實(shí)施的方法，所述方法包括：

從存儲(chǔ)庫(kù)采樣用戶行為數(shù)據(jù)，所述用戶行為數(shù)據(jù)標(biāo)識(shí)由用戶提交的用戶提交語(yǔ)言項(xiàng)以及由所述用戶響應(yīng)于所述用戶提交語(yǔ)言項(xiàng)而做出的用戶選擇；以及

從一個(gè)或多個(gè)結(jié)構(gòu)化知識(shí)資源采樣結(jié)構(gòu)化知識(shí)數(shù)據(jù)，所述結(jié)構(gòu)化知識(shí)數(shù)據(jù)表達(dá)由所述一個(gè)或多個(gè)結(jié)構(gòu)化知識(shí)資源表達(dá)的特定語(yǔ)言項(xiàng)之間的關(guān)系；

處理所述結(jié)構(gòu)化知識(shí)數(shù)據(jù)以獲得轉(zhuǎn)換的知識(shí)數(shù)據(jù)，所述轉(zhuǎn)換的知識(shí)數(shù)據(jù)將由所述結(jié)構(gòu)化知識(shí)數(shù)據(jù)表達(dá)的所述關(guān)系表示為，響應(yīng)于提交在所述結(jié)構(gòu)化知識(shí)數(shù)據(jù)中標(biāo)識(shí)的其他語(yǔ)言項(xiàng)而對(duì)在所述結(jié)構(gòu)化知識(shí)數(shù)據(jù)中標(biāo)識(shí)的個(gè)體語(yǔ)言項(xiàng)做出的其他選擇；以及

使用所述用戶行為數(shù)據(jù)和所述轉(zhuǎn)換的知識(shí)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，來(lái)訓(xùn)練模型，所述模型使用機(jī)器學(xué)習(xí)訓(xùn)練過程而被訓(xùn)練，

所述模型將輸入的語(yǔ)言項(xiàng)投射到在語(yǔ)義空間中表達(dá)的概念矢量中，

所述用戶行為數(shù)據(jù)的采樣、所述結(jié)構(gòu)化知識(shí)數(shù)據(jù)的采樣、所述處理所述結(jié)構(gòu)化知識(shí)數(shù)據(jù)、以及所述模型的訓(xùn)練使用與所述一個(gè)或多個(gè)計(jì)算設(shè)備相關(guān)聯(lián)的至少一個(gè)處理設(shè)備而被執(zhí)行。

2.根據(jù)權(quán)利要求1所述的方法，其中所述用戶行為數(shù)據(jù)的每個(gè)實(shí)例至少表示查詢、對(duì)所述查詢的回答、以及指示用戶響應(yīng)于所述查詢是否選擇了所述回答的點(diǎn)擊值。

3.根據(jù)權(quán)利要求1所述的方法，其中所述結(jié)構(gòu)化知識(shí)數(shù)據(jù)的每個(gè)實(shí)例至少表示語(yǔ)言項(xiàng)對(duì)、表示所述語(yǔ)言項(xiàng)對(duì)之間的關(guān)聯(lián)性的程度的距離測(cè)量、以及與所述語(yǔ)言項(xiàng)對(duì)相關(guān)聯(lián)的至少一個(gè)頻率測(cè)量。

4.根據(jù)權(quán)利要求1所述的方法，其中所述結(jié)構(gòu)化知識(shí)數(shù)據(jù)包括：

表示相關(guān)的語(yǔ)言項(xiàng)對(duì)的實(shí)例的第一子集；以及

表示不相關(guān)的語(yǔ)言項(xiàng)對(duì)的實(shí)例的第二子集，

其中所述一個(gè)或多個(gè)結(jié)構(gòu)化知識(shí)資源提供指示每個(gè)語(yǔ)言項(xiàng)對(duì)是相關(guān)還是不相關(guān)的信息。

5.根據(jù)權(quán)利要求1所述的方法，所述轉(zhuǎn)換的知識(shí)數(shù)據(jù)具有特定格式，所述特定格式具有表示所述其他選擇的個(gè)體點(diǎn)擊值。

6.根據(jù)權(quán)利要求5所述的方法，所述特定格式與所述用戶行為數(shù)據(jù)的對(duì)應(yīng)格式相匹配，其中所述處理包括將所述結(jié)構(gòu)化知識(shí)數(shù)據(jù)的每個(gè)實(shí)例轉(zhuǎn)換為所述用戶行為數(shù)據(jù)的所述對(duì)應(yīng)格式。

7.根據(jù)權(quán)利要求5所述的方法，其中：

所述用戶行為數(shù)據(jù)的每個(gè)實(shí)例至少表示查詢、對(duì)所述查詢的回答、以及指示用戶響應(yīng)于所述查詢是否選擇了所述回答的用戶點(diǎn)擊值，

所述結(jié)構(gòu)化知識(shí)數(shù)據(jù)的每個(gè)實(shí)例至少表示語(yǔ)言項(xiàng)對(duì)、表示所述語(yǔ)言項(xiàng)對(duì)之間的關(guān)聯(lián)性的程度的距離測(cè)量、以及與所述語(yǔ)言項(xiàng)對(duì)相關(guān)聯(lián)的至少一個(gè)頻率測(cè)量，并且

其中所述處理包括將與所述結(jié)構(gòu)化知識(shí)數(shù)據(jù)相關(guān)聯(lián)的所述距離測(cè)量轉(zhuǎn)換為所述個(gè)體點(diǎn)擊值，并且將所述至少一個(gè)頻率測(cè)量轉(zhuǎn)換為權(quán)重值。

8.根據(jù)權(quán)利要求7所述的方法，進(jìn)一步包括整合所述用戶行為數(shù)據(jù)與所述結(jié)構(gòu)化知識(shí)數(shù)據(jù)以產(chǎn)生所述訓(xùn)練數(shù)據(jù)。

9.根據(jù)權(quán)利要求8所述的方法，其中所述整合涉及根據(jù)與所述實(shí)例相關(guān)聯(lián)的對(duì)應(yīng)的權(quán)重值來(lái)復(fù)制所述結(jié)構(gòu)化知識(shí)數(shù)據(jù)的每個(gè)實(shí)例。

10.根據(jù)權(quán)利要求1所述的方法，其中所述模型對(duì)應(yīng)于深度學(xué)習(xí)模型，所述深度學(xué)習(xí)模型使用多層神經(jīng)網(wǎng)絡(luò)來(lái)將所述輸入的語(yǔ)言項(xiàng)投射到在語(yǔ)義空間中表達(dá)的概念矢量。