[發(fā)明專利]多模態(tài)知識(shí)表示自動(dòng)學(xué)習(xí)模型的構(gòu)建方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710570848.1
• 申請(qǐng)日: 2017-07-13
• 公開(kāi)（公告）號(hào): CN107480194B
• 公開(kāi)（公告）日: 2020-03-13
• 發(fā)明（設(shè)計(jì)）人: 徐常勝;鮑秉坤
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類號(hào): G06F16/9535
• 分類號(hào): G06F16/9535;G06N20/00
• 代理公司: 北京瀚仁知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11482
• 代理人: 郭文浩;王世超

1.一種多模態(tài)知識(shí)表示自動(dòng)學(xué)習(xí)模型的構(gòu)建方法，其特征在于，所述構(gòu)建方法包括：

從互聯(lián)網(wǎng)的數(shù)據(jù)中挖掘出結(jié)構(gòu)化的文本集；

從互聯(lián)網(wǎng)的數(shù)據(jù)中挖掘出結(jié)構(gòu)化的圖片集；

根據(jù)所述結(jié)構(gòu)化的文本集和圖片集，構(gòu)建統(tǒng)一特征空間的自動(dòng)學(xué)習(xí)模型，用于確定多模態(tài)待檢測(cè)信息的知識(shí)向量；

其中，所述根據(jù)所述結(jié)構(gòu)化的文本集和圖片集，構(gòu)建統(tǒng)一特征空間的自動(dòng)學(xué)習(xí)模型，具體包括：

根據(jù)所述結(jié)構(gòu)化的圖片集中的各圖片信息學(xué)習(xí)結(jié)構(gòu)化文本的知識(shí)表示，確定第一優(yōu)化目標(biāo)函數(shù)；

根據(jù)所述結(jié)構(gòu)化的文本集中的各結(jié)構(gòu)化文本表示學(xué)習(xí)圖片的知識(shí)表示，確定第二優(yōu)化目標(biāo)函數(shù)；

根據(jù)所述學(xué)習(xí)圖片的知識(shí)表示與總體優(yōu)化目標(biāo)函數(shù)進(jìn)行迭代確定自動(dòng)學(xué)習(xí)模型。

2.根據(jù)權(quán)利要求1所述的多模態(tài)知識(shí)表示自動(dòng)學(xué)習(xí)模型的構(gòu)建方法，其特征在于，所述從互聯(lián)網(wǎng)的文本數(shù)據(jù)中挖掘出結(jié)構(gòu)化的文本集，具體包括：

利用信息抽取工具，將互聯(lián)網(wǎng)的文本數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化表示，確定候選結(jié)構(gòu)化文本集；

利用詞典數(shù)據(jù)庫(kù)，對(duì)所述候選結(jié)構(gòu)化文本集進(jìn)行初次過(guò)濾，刪除不包含屬于實(shí)體的結(jié)構(gòu)化文本數(shù)據(jù)，獲得初濾結(jié)構(gòu)化文本集；

利用文本搜索引擎，對(duì)所述初濾結(jié)構(gòu)化文本集進(jìn)行二次過(guò)濾，獲得結(jié)構(gòu)化文本集。

3.根據(jù)權(quán)利要求2所述的多模態(tài)知識(shí)表示自動(dòng)學(xué)習(xí)模型的構(gòu)建方法，其特征在于，所述利用文本搜索引擎，對(duì)所述初濾結(jié)構(gòu)化文本集進(jìn)行二次過(guò)濾，具體包括：

將所述初濾結(jié)構(gòu)化文本集中的各結(jié)構(gòu)化文本數(shù)據(jù)連接成句子；

將各所述句子分別輸入至搜索引擎中進(jìn)行搜索，如果返回相關(guān)網(wǎng)頁(yè)，則保留所述句子對(duì)應(yīng)的結(jié)構(gòu)化文本數(shù)據(jù)；否則，刪除所述句子對(duì)應(yīng)的結(jié)構(gòu)化文本數(shù)據(jù)，保留的各結(jié)構(gòu)化文本數(shù)據(jù)形成結(jié)構(gòu)化文本集。

4.根據(jù)權(quán)利要求1所述的多模態(tài)知識(shí)表示自動(dòng)學(xué)習(xí)模型的構(gòu)建方法，其特征在于，所述從互聯(lián)網(wǎng)的圖片數(shù)據(jù)中挖掘出結(jié)構(gòu)化的圖片集，具體包括：

根據(jù)所述結(jié)構(gòu)化的文本集，采用圖片搜索引擎從互聯(lián)網(wǎng)的圖片數(shù)據(jù)中獲得候選結(jié)構(gòu)化圖片數(shù)據(jù)集；

根據(jù)結(jié)構(gòu)化圖片的可表示力，刪除所述候選結(jié)構(gòu)化圖片數(shù)據(jù)集中無(wú)效圖片，獲得初濾結(jié)構(gòu)化圖片數(shù)據(jù)集；

對(duì)所述初濾結(jié)構(gòu)化圖片數(shù)據(jù)集進(jìn)行噪聲過(guò)濾，獲得結(jié)構(gòu)化的圖片集。

5.根據(jù)權(quán)利要求4所述的多模態(tài)知識(shí)表示自動(dòng)學(xué)習(xí)模型的構(gòu)建方法，其特征在于，所述根據(jù)結(jié)構(gòu)化圖片的可表示力，刪除所述候選結(jié)構(gòu)化圖片數(shù)據(jù)集中無(wú)效圖片，具體包括：

根據(jù)以下公式確定圖片組V_i的可表示力φ(V_i)：

其中，每一個(gè)結(jié)構(gòu)化文本S_i具有表示相同知識(shí)的一組圖片記為V_i,i是索引號(hào)，圖片組V_i中含有N_i張圖片，Cent(V_i)是第i組圖片的中心，dist(k,Cent(V_i))表示第i組圖片組V_i中圖片k和中心Cent(V_i)之間的距離；

判斷所述圖片組V_i的可表示力φ(V_i)是否大于可表示力閾值，如果大于，則可表示力對(duì)應(yīng)的圖片組為無(wú)效，刪除無(wú)效圖片組；否則保留對(duì)應(yīng)的圖片組；保留的各圖片組形成初濾結(jié)構(gòu)化圖片數(shù)據(jù)集。

6.根據(jù)權(quán)利要求5所述的多模態(tài)知識(shí)表示自動(dòng)學(xué)習(xí)模型的構(gòu)建方法，其特征在于，所述對(duì)所述初濾結(jié)構(gòu)化圖片數(shù)據(jù)集進(jìn)行噪聲過(guò)濾，具體包括：

根據(jù)以下公式，計(jì)算圖片組V_i中圖片k的噪聲分?jǐn)?shù)S_noisy(k)：

其中，j表示圖片組V_i中的圖片，dist(k,j)表示第i組圖片組V_i中圖片k和圖片j之間的距離；

判斷所述噪聲分?jǐn)?shù)是否大于噪聲閾值，如果大于，則刪除對(duì)應(yīng)噪聲分?jǐn)?shù)圖片組中的圖片；否則保留，保留下的圖片組形成結(jié)構(gòu)化的圖片集。