[發(fā)明專利]一種基于對(duì)數(shù)極空間卷積對(duì)數(shù)據(jù)進(jìn)行處理的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110239690.6
• 申請(qǐng)日: 2021-03-04
• 公開（公告）號(hào): CN113011561B
• 公開（公告）日: 2023-06-20
• 發(fā)明（設(shè)計(jì)）人: 蘇冰;文繼榮
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民大學(xué)
• 主分類號(hào): G06N3/0464
• 分類號(hào): G06N3/0464;G06N3/08;G06F17/15
• 代理公司: 北京紀(jì)凱知識(shí)產(chǎn)權(quán)代理有限公司 11245
• 代理人: 冀志華

本發(fā)明涉及一種基于對(duì)數(shù)極空間卷積對(duì)數(shù)據(jù)進(jìn)行處理的方法，其特征在于，包括以下步驟：1)構(gòu)建基于對(duì)數(shù)極空間的卷積核；2)判斷是否存在常規(guī)卷積神經(jīng)網(wǎng)絡(luò)，若不存在，則進(jìn)入步驟3)，否則，進(jìn)入步驟4)；3)以步驟1)中構(gòu)建的基于對(duì)數(shù)極空間卷積核為基礎(chǔ)構(gòu)建卷積層，進(jìn)而構(gòu)建新的卷積神經(jīng)網(wǎng)絡(luò)，并將輸入圖像或特征圖輸入新的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)處理得到輸出特征圖；4)利用步驟1)中構(gòu)建的基于對(duì)數(shù)極空間的卷積核替換常規(guī)卷積網(wǎng)絡(luò)中的卷積核，并將輸入圖像或特征圖輸入替換后的常規(guī)卷積網(wǎng)絡(luò)中，通過(guò)對(duì)數(shù)極空間池化操作，用常規(guī)卷積實(shí)現(xiàn)對(duì)數(shù)極空間卷積，得到輸出特征圖。本發(fā)明可以應(yīng)用于任何網(wǎng)絡(luò)體系結(jié)構(gòu)中以替代常規(guī)卷積。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種基于對(duì)數(shù)極空間卷積對(duì)數(shù)據(jù)進(jìn)行處理的方法。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得了巨大的成功。在卷積層中，每個(gè)隱藏節(jié)點(diǎn)僅連接到圖像的某個(gè)局部區(qū)域，與全連接層相比，參數(shù)的數(shù)量大大減少，訓(xùn)練更容易。卷積核的大小決定了圖像或特征圖的局部加權(quán)范圍，稱為卷積核的局部感受野。

在許多計(jì)算機(jī)視覺(jué)任務(wù)中，例如圖像分類和密集預(yù)測(cè)，通常需要更大的局部感受野來(lái)捕獲長(zhǎng)距離空間位置和大范圍的上下文信息之間的依存關(guān)系。簡(jiǎn)單地增加卷積核的大小是不可行的，因?yàn)閰?shù)的數(shù)量會(huì)隨著大小的增加而平方增加。增加局部感受野的常用技術(shù)包括用多層小卷積核替換單層大卷積核，添加池化層以及使用膨脹卷積。然而，使用多層小卷積核替換大卷積核的方式時(shí)，更深的層可能會(huì)導(dǎo)致梯度消失，從而使網(wǎng)絡(luò)更難以訓(xùn)練；而使用添加池化層的方式時(shí)，池化過(guò)程通常會(huì)導(dǎo)致信息丟失；使用膨脹卷積的方式時(shí)，由于膨脹卷積是通過(guò)在內(nèi)核的參數(shù)之間插入孔(零)來(lái)增加局部感受野，卷積核不是連續(xù)的，因?yàn)椴⒉皇蔷植扛惺芤爸械乃邢袼囟紖⑴c了卷積計(jì)算，而且使用相同數(shù)量的參數(shù)，膨脹卷積的局部感受野越大，跳過(guò)的像素越多，這可能會(huì)丟失一些細(xì)節(jié)并導(dǎo)致信息不連續(xù)。

目前還有一些較為常用的高級(jí)卷積方式，其中，主動(dòng)卷積通過(guò)引入帶位置參數(shù)的卷積單元來(lái)學(xué)習(xí)卷積的形狀；可變形卷積通過(guò)學(xué)習(xí)其他偏移量以增加采樣位置，從而將局部感受野自適應(yīng)地更改為多邊形。對(duì)于主動(dòng)卷積和可變形卷積，適配的LRF包含孔，并且變化強(qiáng)度不容易控制。位置和偏移量通過(guò)其他卷積層學(xué)習(xí)，從而增加了參數(shù)。

綜上，常規(guī)卷積、膨脹卷積和這些高級(jí)卷積都使用規(guī)則平方核，在局部感受野中為每個(gè)選定的位置分配不同的權(quán)重。無(wú)論卷積核大小如何，都會(huì)平等對(duì)待所有選定位置，無(wú)論距中心的距離如何，參數(shù)的間隔或共享范圍在不同位置之間都相同。

發(fā)明內(nèi)容

針對(duì)上述問(wèn)題，本發(fā)明的目的是提供一種基于對(duì)數(shù)極空間卷積對(duì)數(shù)據(jù)進(jìn)行處理的方法，以克服現(xiàn)有卷積技術(shù)的不足，對(duì)卷積核施加特殊的空間結(jié)構(gòu)，在不增加參數(shù)數(shù)量且不損失信息連續(xù)性的情況下增大卷積核的空間感受野，通過(guò)結(jié)構(gòu)化的卷積核進(jìn)行卷積操作，有效編碼更大范圍內(nèi)的空間分布信息和上下文信息。

為實(shí)現(xiàn)上述目的，本發(fā)明采取以下技術(shù)方案：一種基于對(duì)數(shù)極空間卷積對(duì)數(shù)據(jù)進(jìn)行處理的方法，其包括以下步驟：

1)構(gòu)建基于對(duì)數(shù)極空間的卷積核；

2)判斷是否存在常規(guī)卷積神經(jīng)網(wǎng)絡(luò)，若不存在，則進(jìn)入步驟3)，否則，進(jìn)入步驟4)；

3)以步驟1)中構(gòu)建的基于對(duì)數(shù)極空間卷積核為基礎(chǔ)構(gòu)建卷積層，進(jìn)而構(gòu)建新的卷積神經(jīng)網(wǎng)絡(luò)，并將輸入圖像或特征圖輸入新的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)處理得到輸出特征圖；

4)利用步驟1)中構(gòu)建的基于對(duì)數(shù)極空間的卷積核替換常規(guī)卷積網(wǎng)絡(luò)中的卷積核，并將輸入圖像或特征圖輸入替換后的常規(guī)卷積網(wǎng)絡(luò)中，通過(guò)對(duì)數(shù)極空間池化操作，用常規(guī)卷積實(shí)現(xiàn)對(duì)數(shù)極空間卷積，得到輸出特征圖。

進(jìn)一步，所述步驟1)中，構(gòu)建基于對(duì)數(shù)極空間的卷積核時(shí)，包括以下步驟：