[發(fā)明專利]針對基于CNN的立體匹配算法的量化方法

在審

• 申請?zhí)枺?/td>: 202010558891.8
• 申請日: 2020-06-18
• 公開（公告）號: CN111696149A
• 公開（公告）日: 2020-09-22
• 發(fā)明（設計）人: 魯志敏;王君鵬;陳松
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06N3/04;G06N3/08
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

本發(fā)明公開了一種針對基于CNN的立體匹配算法的量化方法，包括：在推理過程中，采用線性定點化的方式，將浮點形式的權重量化為整數(shù)值；單個卷積運算中，將量化后的輸入特征圖與量化后的權重進行整數(shù)運算，整數(shù)運算使用累加器進行乘積累加，累加器中引入了帶量化的偏置加法，偏置項使用與權重相同的方式量化；累加器的輸出進入激活層，激活層采用ReLU6()函數(shù)將最終輸出控制在設定的范圍內。該方法可以極大的減少存儲量和浮點運算次數(shù)，從而為卷積神經網絡部署在資源有限的嵌入式平臺上做準備。

技術領域

本發(fā)明涉及立體視覺技術與深度學習領域，尤其涉及一種針對基于CNN的立體匹配算法的量化方法。

背景技術

立體視覺是計算機視覺領域中一個熱門研究話題，并廣泛應用于機器人導航、無人機、自動駕駛汽車、物體檢測和識別等方面。雙目立體視覺的目標是利用左右圖像之間的視差，恢復出物體的深度信息。而立體匹配作為雙目立體視覺中和核心步驟，其算法的精度對立體視覺系統(tǒng)的影響很大。立體匹配的目的就是計算出參考圖像每個像素點的視差值d。其基本原理為給定一組經過校正的立體圖像對，左圖像中的像素點p(x,y)，在右圖像上的對應匹配點為p’(x-d,y)，則該像素的深度就可以由fB/d計算而來，其中f為相機的焦距，B為左右相機光心之間的距離。早期的工作根據(jù)原始圖像的信息(如像素強度、梯度等信息)來計算初始匹配代價，再通過窗口完成代價的聚合，最后在整個圖像范圍內根據(jù)聚合代價選擇最優(yōu)的視差。其又分為局部算法和全局匹配算法。

近年來，隨著深度學習的急速發(fā)展，神經網絡在計算機視覺領域發(fā)揮著日益重要的作用，其迅速應用于立體匹配領域，當前立體匹配領域精度最為先進的算法都使用到了卷積神經網絡(Convolutional Neural Network，CNN)。Jure Zbontar和Yann Lecun首次將CNN應用在立體匹配算法中，通過設計一個深層的Siamese網絡去計算匹配代價，然后利用一塊9*9的圖塊，該網絡被訓練去學習預測圖塊之間的相似性，其算法的精度遠高于傳統(tǒng)的立體匹配算法。之后，Shaked和Wolf提出了一個高速網絡去計算匹配代價和一個全局的視差網絡來預測視差置信度得分。目前，用于預測整個視差圖并且無需進行后處理的端到端的網絡得到了極大的發(fā)展。Kendall等人提出了GC-Net網絡，并使用了多尺度特征結合的三維卷積神經網絡來調整匹配代價空間。最后通過視差回歸獲取高精度的視差圖。Chang等人提出一個全新的金字塔立體匹配網絡來獲取不同尺度上的特征,并結合沙漏堆疊的三維卷積神經網絡來更好地利用上下文信息，從而獲得了非常精確的視差圖。

基于CNN的端到端的立體匹配算法框架基本分為以下幾個步驟，第一步通過卷積神經網絡提取出左圖和右圖的特征圖，根據(jù)視差的原理，將右視圖獲得的特征圖向右平移，并與左視圖生成的特征圖融合在一起形成四維的代價空間，然后使用三維卷積神經網絡對代價空間進行規(guī)整，最后通過視差回歸輸出精準的視差圖。在整個算法中，CNN占據(jù)了絕大多數(shù)的計算量，而且在計算過程中，會產生大量的中間數(shù)據(jù)，這帶來了對存儲器、功率以及計算能力的大量需求，極大地限制了其在便攜式設備中的應用。因此，有必要對網絡模型進行壓縮，同時減少對內存和計算能力的要求。

模型壓縮的方法大致分為四個方案：參數(shù)修剪和共享、低秩分解、緊湊卷積濾波器和知識蒸餾。