[發明專利]可使具有全連接層的CNN接受不定形狀輸入的方法及系統

有效

• 申請號: 201811353465.X
• 申請日: 2018-11-14
• 公開（公告）號: CN109583584B
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 盧宇彤;瞿毅力;陳志廣
• 申請（專利權）人: 中山大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 譚武藝

本發明公開了一種可使具有全連接層的CNN接受不定形狀輸入的方法及系統，本發明通過在現有的具有全連接層的CNN網絡的卷積池化后新增加一個包含在對特征圖添加坐標通道后進行處理輸出固定尺寸的新特征圖的變步池化層以及一個由多個全連接層和一個softmax函數層構成的坐標預測網絡，通過坐標預測網絡確定包含有效像素區域的特征圖塊中心點坐標(X,Y)的概率分布向量，并根據特征圖的橫向尺寸W與縱向尺寸H的情況做不同處理，最終使網絡能接受不定形狀輸入。本發明能夠有效解決在具有全連接層的CNN中不能接受不定形狀輸入的缺陷，可使給定的只可接受固定形狀輸入的具有全連接層的CNN能接受不定形狀輸入，且其他要求不變，具有兼容性好的優點。

技術領域

本發明屬于深度學習的模型設計領域，具體而言涉及一種可使給定的只可接受固定形狀輸入的具有全連接層的CNN能接受不定形狀輸入的方法及系統。

背景技術

在實際生活中，我們所能接觸的圖片是千姿百態多種多樣的，有的是長條形，有的是正方形，有的分辨率高，有的分辨率很低。這些數量龐大、種類繁多的圖片促進了以卷積神經網絡(convolution neural network，簡稱CNN)為基礎的計算機視覺技術的發展?；贑NN的計算機視覺技術在圖像分類、目標檢測和許多其他識別任務，甚至是非識別任務中展現出了巨大的潛能，因此對CNN中的基本算子的發展就顯得更為必要和有意義。

當前許多的CNN的結構都由兩部分組成，卷積部分和其后的全連接部分。卷積部分最基本的操作是卷積和池化。卷積通過一個參數可學習的卷積核采用窗口滑動方式對圖片計算加權和，得到一個變換后的特征圖。特征圖是一個三維矩陣，除了橫向和縱向兩個維度的尺寸外，還有第三個通道方向的維度，這個維度上是相互獨立的特征矩陣，這些矩陣在該維度上堆疊成完整的特征圖。池化是通過一個參數固定的池化核，采用窗口滑動方式對圖片進行采樣，得到一個較原圖更為抽象的縮略圖。卷積和池化組合可以使得網絡能對不同尺度級別的特征進行學習，設置多個卷積核實現了多重特征的學習。卷積部分學習之后，歷經了多次變換的神經元將被傳送到全連接層，全連接層采用all-to-all方式將傳進來的神經元經過多次變換得到一個固定長度的向量，再通過一個softmax函數將向量變換為一個概率分布向量。在圖片分類任務中，概率分布向量中每個維度的值表示一個類別的概率，向量長度與類標個數一致；在圖片定位任務中，概率分布向量中每個維度的值表示一個坐標的概率，向量長度與坐標個數一致。

從前述CNN的作用原理可以看出，卷積部分網絡參數數目與輸入圖片的形狀無關，并不需要固定的圖像尺寸，他可以接收任意形狀的圖片輸入產生對應尺寸的特征圖。而另一方面，全連接層的參數數目直接取決于輸入神經元的個數和輸出個數。神經元輸出個數和類標個數一致，是定值。一個網絡的參數數目是固定的才能采用迭代更新的方式學習。因此，CNN的全連接部分需要固定尺寸的輸入。

當前絕大部分CNN在訓練和預測時都有一個使用限定，它們都需要輸入的圖像尺寸是固定的(比如224×224)。從前面的分析可知，固定尺寸輸入的問題來源于全連接層，也是網絡的最后階段。而全連接層在圖片分類任務、檢測任務。定位任務等領域依然有著廣泛的應用和前景。因此，當前通用的解決方案是對圖片進行裁剪或縮放變形。裁剪的過程中會損失掉許多像素，縮放變形會破壞圖片內容的角度、比例等結構信息，造成幾何失真。

在當前計算機視覺領域，使用CNN對圖片分類、物體檢測、語義分割等，都使用ImageNet、cifar10等基準數據集，這些數據集中的圖片基本都是生活中常見的物品，這些物品在這些圖片在進行縮放形變后，基本不影響我們識別。比如一只貓，在圖片被縱向壓縮一半后，我們依然能識別出這是一只貓。絕大多數應用場景，就和識別貓一樣，對形變不敏感。