[發(fā)明專(zhuān)利]具有可分離卷積層的圖像處理神經(jīng)網(wǎng)絡(luò)

有效

• 申請(qǐng)?zhí)枺?/td>: 201780061438.2
• 申請(qǐng)日: 2017-10-06
• 公開(kāi)（公告）號(hào): CN110088773B
• 公開(kāi)（公告）日: 2023-07-11
• 發(fā)明（設(shè)計(jì)）人: F.喬列特;A.G.霍華德
• 申請(qǐng)（專(zhuān)利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類(lèi)號(hào): G06N3/0464
• 分類(lèi)號(hào): G06N3/0464;G06N3/08
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 金玉潔

1.一種由一個(gè)或多個(gè)計(jì)算機(jī)實(shí)施的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)被配置為接收輸入圖像以及生成所述輸入圖像的網(wǎng)絡(luò)輸出，并且其中所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)包括：

可分離卷積子網(wǎng)絡(luò)，其包括一個(gè)接一個(gè)地以堆疊排列的多個(gè)可分離卷積神經(jīng)網(wǎng)絡(luò)層，其中每個(gè)可分離卷積神經(jīng)網(wǎng)絡(luò)層被配置為：

在處理所述可分離卷積神經(jīng)網(wǎng)絡(luò)層的輸入期間分別應(yīng)用深度卷積和點(diǎn)卷積兩者以生成層輸出；和

輸出子網(wǎng)絡(luò)，其被配置為接收由所述可分離卷積子網(wǎng)絡(luò)生成的可分離卷積輸出，以及處理所述可分離卷積輸出以生成所述輸入圖像的網(wǎng)絡(luò)輸出。

2.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，還包括：

輸入子網(wǎng)絡(luò)，其被配置為接收所述輸入圖像以及處理所述輸入圖像以生成初始輸出。

3.根據(jù)權(quán)利要求2所述的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述輸入子網(wǎng)絡(luò)包括一個(gè)或多個(gè)卷積神經(jīng)網(wǎng)絡(luò)層。

4.根據(jù)權(quán)利要求2所述的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述可分離卷積子網(wǎng)絡(luò)包括一個(gè)或多個(gè)入口模塊，并且其中所述入口模塊被配置為接收所述初始輸出，以及共同處理所述初始輸出以生成入口輸出。

5.根據(jù)權(quán)利要求4所述的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，每個(gè)入口模塊包括：

相應(yīng)的第一直通卷積層，被配置為處理所述入口模塊的模塊輸入以生成第一直通輸出；

相應(yīng)的可分離卷積神經(jīng)網(wǎng)絡(luò)層的第一堆疊，其中，所述第一堆疊中的層被配置為共同處理所述模塊輸入以生成第一堆疊輸出；

相應(yīng)的最大池化層，被配置為對(duì)第一堆疊輸出執(zhí)行最大池化以生成最大池化輸出；和

相應(yīng)的第一拼接層，被配置為拼接第一直通輸出和最大池化輸出以生成所述入口模塊的入口模塊輸出。

6.根據(jù)權(quán)利要求4所述的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述可分離卷積子網(wǎng)絡(luò)包括三個(gè)入口模塊。

7.根據(jù)權(quán)利要求5所述的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述第一直通卷積層是1×1卷積層。

8.根據(jù)權(quán)利要求5所述的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述第一堆疊中的可分離卷積神經(jīng)網(wǎng)絡(luò)層由修正線性單元激活層分離。

9.根據(jù)權(quán)利要求5所述的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述第一堆疊中的一個(gè)或多個(gè)可分離卷積神經(jīng)網(wǎng)絡(luò)層之后是批量歸一化層。

10.根據(jù)權(quán)利要求4所述的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述可分離卷積子網(wǎng)絡(luò)包括一個(gè)或多個(gè)中間模塊，并且其中所述中間模塊被配置為接收所述入口輸出以及共同處理所述入口輸出以生成中間輸出。

11.根據(jù)權(quán)利要求10所述的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，每個(gè)中間模塊包括：

相應(yīng)的第二直通卷積層，被配置為處理所述中間模塊的模塊輸入以生成第二直通輸出；

相應(yīng)的可分離卷積神經(jīng)網(wǎng)絡(luò)層的第二堆疊，其中，所述第二堆疊中的層被配置為共同處理所述模塊輸入以生成第二堆疊輸出；和

相應(yīng)的第二拼接層，被配置為拼接第二直通輸出和第二堆疊輸出以生成所述中間模塊的中間模塊輸出。

12.根據(jù)權(quán)利要求10所述的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述可分離卷積子網(wǎng)絡(luò)包括八個(gè)中間模塊。

13.根據(jù)權(quán)利要求11所述的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述第二直通卷積層是1×1卷積層。

14.根據(jù)權(quán)利要求11所述的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述第二堆疊中的每個(gè)可分離卷積神經(jīng)網(wǎng)絡(luò)層之前是修正線性單元激活層。

15.根據(jù)權(quán)利要求11所述的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述第二堆疊中的一個(gè)或多個(gè)可分離卷積神經(jīng)網(wǎng)絡(luò)層之后是批量歸一化層。