[發明專利]一種RGB-D圖像分類方法及系統

有效

• 申請號: 201510402298.3
• 申請日: 2015-07-09
• 公開（公告）號: CN105224942B
• 公開（公告）日: 2020-02-04
• 發明（設計）人: 涂淑琴;薛月菊;胡月明;梁云
• 申請（專利權）人: 華南農業大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 44102 廣州粵高專利商標代理有限公司
• 代理人: 林麗明

1.一種RGB-D圖像分類方法，其特征在于，包括如下步驟：

S1.分別對源RGB圖像和Depth圖像進行處理提取圖像低層次特征；

S2.對圖像低層次特征進行反饋學習，學習圖像中層特征；

S3.采用塊內約束字典學習方法，對圖像中層特征進行特征組稀疏表示，獲取RGB-D圖像的高層特征表示；

S4.將RGB-D圖像的高層特征輸入線性SVM完成RGB-D圖像的分類識別；

步驟S1的具體提取方式是：

S11.采用單層CNN分別對源RGB圖像和Depth圖像進行卷積下采樣操作，提取圖像低層次特征；

步驟S11中，源RGB圖像和Depth圖像的圖像低層次特征具體采用如下步驟提?。?/p>

S111.利用K個濾波器對每幅尺寸均為d_i的圖像進行卷積，卷積塊的尺寸為d_p，對卷積塊進行歸一化和白化操作，最后形成K個特征濾波器映射，每個特征映射具有m個卷積塊，其中m＝(d_i-d_p+1)×(d_i-d_p+1)；

S112.用尺寸為d_l×d_l的平方區域和步長大小為s將步驟S111中的卷積塊進行池化操作，產生相等寬度和高度的采樣塊，其大小為一幅圖像經過CNN層的處理得到一系列采樣塊，一系列采樣塊作為CNN的輸出結果Y，Y是一個K×r×r的3D矩陣，K為特征映射個數；

步驟S2的具體提取步驟為：

S21.將圖像低層次特征輸入到三次層RNN網絡中進行深入反饋學習，提取圖像中層特征；

S21的具體步驟為：

S211.將CNN輸出的包含K個特征映射的三維矩陣Y∈R^k×r×r，作為RNN網絡的特征輸入，其中R表示實數集；

S212.在RNN樹結構中，定義一個表示相鄰列向量列表的方形塊，融合后合并為父向量P∈R^k，其中R表示實數集，所得父向量即為圖像中層特征；

步驟S3的具體步驟為：

S31.將RGB圖像和Depth圖像的中層特征信息進行線性疊加融合；

S32.根據RGB-D圖像類別個數，對圖像的中層特征分成對應組數，采用塊內約束字典學習算法學習塊字典，其中初始塊字典采用DCT產生；

S33.將圖像中層特征隨機分成訓練集和測試集，采用學習好的塊字典，采用ADMM對訓練集和測試集進行稀疏系數求解，獲取特征的優化表示，形成RGB-D圖像的高層特征表示。

2.根據權利要求1所述的RGB-D圖像分類方法，其特征在于，步驟S4的具體步驟為：

S41.將S33中獲得的訓練集稀疏系數，輸入線性SVM，產生SVM分類器；

S42.采用S41中SVM分類器對測試集稀疏系數進行分類，得到RGB-D圖像的分類結果。

3.一種利用權利要求1所述的RGB-D圖像分類方法的系統，其特征在于，包括：

低層次特征提取模塊，用于分別對源RGB圖像和Depth圖像進行處理提取圖像低層次特征；

中層特征提取模塊，用于對圖像低層次特征進行反饋學習，學習圖像中層特征；

高層特征提取模塊，用于采用塊內約束字典學習方法，對圖像中層特征進行特征組稀疏表示，獲取RGB-D圖像的高層特征表示；

分類模塊，用于將RGB-D圖像的高層特征輸入線性SVM完成RGB-D圖像的分類識別。

4.根據權利要求3所述的RGB-D圖像分類系統，其特征在于，低層次特征提取模塊具體用于通過單層CNN分別對源RGB圖像和Depth圖像進行卷積下采樣操作，提取圖像低層次特征；

中層特征提取模塊具體用于將圖像低層次特征輸入到三次層RNN網絡中進行深入反饋學習，提取圖像中層特征。

5.根據權利要求3或4所述的RGB-D圖像分類系統，其特征在于，高層特征提取模塊具體包括：

融合模塊，用于將RGB圖像和Depth圖像的中層特征信息進行線性疊加融合；

塊字典模塊，用于根據RGB-D圖像類別個數，對圖像的中層特征分成對應組數，采用塊內約束字典學習算法學習塊字典，其中初始塊字典采用DCT產生；

系數特征求解模塊，用于將圖像中層特征隨機分成訓練集和測試集，采用學習好的塊字典，采用ADMM對訓練集和測試集進行稀疏系數求解，獲取特征的優化表示，形成RGB-D圖像的高層特征表示。