[發明專利]多任務多模態機器學習系統

有效

• 申請號: 201880028587.3
• 申請日: 2018-05-21
• 公開（公告）號: CN110574049B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 諾姆·M·沙澤爾;艾當·尼古拉斯·戈麥斯;盧卡什·米奇斯瓦夫·凱澤;雅各布·D·烏斯克雷特;利昂·歐文·瓊斯;尼基·J·帕馬;阿希什·泰庫·瓦斯瓦尼
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/044
• 分類號: G06N3/044;G06N3/0455;G06N3/0464;G06N3/047;G06N3/048;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;任慶威

1.一種系統，所述系統包括一個或多個計算機以及存儲指令的一個或多個存儲設備，所述指令在被所述一個或多個計算機執行時使得所述一個或多個計算機實現：

機器學習模型，所述機器學習模型包括：

多個輸入模態神經網絡，其中，每個輸入模態神經網絡對應于多個模態中的不同模態并且被配置成將接收的所對應的模態的數據輸入映射到來自可變大小的統一表示空間的映射數據輸入，其中多個不同模態的數據輸入被映射到相同的可變大小的統一表示空間，并且其中所接收的不同模態的數據輸入具有不同的大小和維度，并且其中來自所述可變大小的統一表示空間的針對不同模態的所接收的數據輸入的所述映射數據輸入在大小上是變化的；

編碼器神經網絡，所述編碼器神經網絡被配置成處理來自所述統一表示空間的映射數據輸入以生成相應的編碼器數據輸出；

解碼器神經網絡，所述解碼器神經網絡被配置成處理編碼器數據輸出以從所述統一表示空間生成相應的解碼器數據輸出；以及

多個輸出模態神經網絡，其中，每個輸出模態神經網絡對應于不同模態并且被配置成將對應于接收的所對應的模態的數據輸入的來自所述統一表示空間的解碼器數據輸出映射到所對應的模態的數據輸出。

2.根據權利要求1所述的系統，其中，所述多個模態包括：(i)圖像識別；(ii)語音識別；(iii)翻譯；(iv)圖像標注或(v)解析中的一個或多個。

3.根據權利要求1所述的系統，其中，所述多個輸入模態神經網絡包括對應于不同模態的神經網絡，并且其中，所述多個輸出模態神經網絡包括對應于不同模態的神經網絡。

4.根據權利要求3所述的系統，其中，所述多個輸入模態神經網絡和所述多個輸出模態神經網絡的模態包括：(i)語言模態網絡；(ii)圖像模態網絡；(iii)音頻模態網絡；以及(iv)分類數據模態網絡。

5.根據權利要求1所述的系統，其中，所述多個輸入模態神經網絡包括語言輸入模態網絡，所述語言輸入模態網絡被配置成：

從令牌詞匯表接收令牌序列作為輸入，其中，所接收的令牌序列結束于終止令牌；并且

將所述令牌序列映射到預定維度，所述預定維度取決于所述編碼器和解碼器神經網絡的維度。

6.根據權利要求5所述的系統，其中，語言輸出模態網絡被配置成：

接收來自所述解碼器神經網絡的解碼器輸出作為輸入；

執行學習的線性映射，然后執行softmax激活函數，以生成所述令牌詞匯表上的概率分布。

7.根據權利要求4所述的系統，其中，圖像輸入模態網絡被配置成使用一個或多個殘差卷積層來加深接收的輸入圖像特征深度。

8.根據權利要求4所述的系統，其中，分類數據輸出模態網絡被配置成將一維解碼器神經網絡輸出重構為二維輸出并且對所述二維輸出執行漸進式下采樣。

9.根據權利要求1至8中的任一項所述的系統，其中，所述解碼器神經網絡是自回歸解碼器神經網絡。

10.根據權利要求1至9中的任一項所述的系統，其中，所述編碼器神經網絡和解碼器神經網絡包括來自多個機器學習域的神經網絡組件，所述神經網絡組件包括：(i)一個或多個卷積神經網絡層；(ii)一個或多個注意力神經網絡層，所述一個或多個注意力神經網絡層被配置成執行相應的注意力機制；以及(iii)一個或多個稀疏門控神經網絡層。

11.根據權利要求10所述的系統，其中，每個卷積神經網絡層被配置成接收形狀[批尺寸，序列長度，1，特征通道]的張量作為輸入并且返回相同形狀的張量。

12.根據權利要求10所述的系統，其中，每個卷積神經網絡層包括校正的線性單元非線性和層歸一化。