[發明專利]一種基于回歸樹分類的雙重映射學習壓縮人臉圖像復原方法

有效

• 申請號: 201911035976.1
• 申請日: 2019-10-29
• 公開（公告）號: CN110852962B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 劉峰;鄧金晶;干宗良;崔子冠
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T7/11;G06T3/40;G06V40/16;G06V10/44;G06V10/764;G06V10/774;G06K9/62
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 曹坤

1.一種基于回歸樹分類的雙重映射學習壓縮人臉圖像復原方法，其特征在于，其步驟如下：

(1)、將一組清晰人臉圖像通過圖像壓縮模型得到一組對應的壓縮人臉圖像，用清晰人臉圖像與得到的壓縮人臉圖像做差得殘差人臉圖像，接著將兩組圖像進行不重疊分塊，壓縮圖像塊向外擴展，兩者按在圖像中的位置順序排列構建出清晰人臉與擴展的壓縮人臉的訓練樣本集；

(2)、將訓練集中擴展的壓縮人臉圖像塊進行重疊分塊，對得到的每個壓縮人臉圖像子塊進行多維特征提取；

(3)、將得到的壓縮人臉圖像子塊的多維特征進行回歸樹分類，對分得的每一類求其雙重線性映射矩陣，即局部線性回歸子和全局線性回歸子；

(4)、將待清晰的人臉圖像用大尺寸矩形窗進行不重疊分塊，得到擴展的待清晰人臉圖像塊；利用訓練得到的回歸樹分類結果，對待清晰的人臉圖像塊尋找所屬類對應的雙重映射矩陣，再利用雙重線性映射矩陣求得對應的清晰人臉圖像塊；

(5)、將求得的清晰人臉圖像塊按位置不重疊拼接，再與待清晰人臉圖像相加，得到最終的復原人臉圖像。

2.根據權利要求1所述的一種基于回歸樹分類的雙重映射學習壓縮人臉圖像復原方法，其特征在于，步驟(1)具體為：

(1.1)、從人臉樣本庫中取出清晰人臉圖像，通過圖像壓縮模型得到壓縮人臉圖像；將清晰人臉圖像與對應的壓縮人臉圖像相減，得到殘差人臉圖像；

(1.2)、采用小尺寸的矩形窗口對殘差人臉圖像進行不重疊的分塊操作，得到殘差人臉圖像塊；同時將對應位置小尺寸的壓縮人臉圖像塊向外擴展，得到對應大尺寸的壓縮人臉圖像塊；

(1.3)、壓縮人臉圖像塊和殘差人臉圖像塊構成壓縮與清晰人臉的訓練樣本集，用表示壓縮人臉圖像塊的樣本集，用表示殘差人臉圖像塊的樣本集，其中S表示大尺寸矩形窗口的尺寸，s表示小尺寸矩形窗口的尺寸，M表示樣本集中圖像塊的個數。

3.根據權利要求2所述的一種基于回歸樹分類的雙重映射學習壓縮人臉圖像復原方法，其特征在于，步驟(2)具體為：

(2.1)、將擴展的壓縮人臉圖像塊重疊分塊得到一系列壓縮人臉圖像子塊；對每個壓縮人臉圖像子塊進行多維特征提取，用得到的結果作為所屬圖像塊的表征；引導步驟(3)中的分類問題；

(2.2)、壓縮人臉圖像子塊的特征提取分為內部特征提取與外部特征提取，對應于子塊的紋理、輪廓特征和語義特征；內部特征提取采用簡單的邊緣提取算子，示為

用式(1)所示的邊緣提取算子圖像子塊進行處理，向量化拉伸后作為該壓縮人臉圖像子塊的紋理特征；

(2.3)、外部特征提取分為三個部分，即壓縮人臉圖像子塊在擴展的壓縮人臉圖像塊中的相對位置，壓縮人臉圖像子塊所屬的五官類別，以及壓縮人臉圖像子塊的幾何統計特征；首先用式(2)計算壓縮人臉圖像子塊與中心塊的相對位置，用兩者中心像素的曼哈頓距離之和求得，即

其中，d_m(·)表示曼哈頓距離算子，k表示壓縮人臉圖像子塊中心像素，c_i表示中心塊的第i個像素；

(2.4)、壓縮人臉圖像子塊所屬的五官類別由landmark判定，對壓縮人臉圖像子塊所屬原始壓縮人臉圖像，由landmark算法得到人臉關鍵點，其中界定了眉毛、眼睛、鼻翼、嘴部和臉頰的輪廓范圍；

用五官的最小外接矩形粗略規定五官的位置；得到眼部、鼻子、嘴部和其他部分的五官特征區域劃分后，將包含某一區域像素的圖像塊劃分該區域屬性；將子塊分為{1,2,3,4}這四類，分別代表眼部、鼻子、嘴部和臉部的其他部分；

(2.5)、壓縮人臉圖像子塊的幾何統計特征由子塊的主方向角度和強度界定，首先通過計算壓縮人臉圖像子塊的方差來衡量子塊的平滑程度；用s_i代表第i個像素點的像素值，那么該壓縮人臉圖像子塊的方差可以表示為

其中代表壓縮人臉圖像子塊像素的均值，l表示壓縮人臉圖像子塊的總像素數；如求得的圖像塊方差低于設定的平滑閾值，則將該壓縮人臉圖像子塊歸為平滑類，剩下的塊通過計算圖像塊的主方向強度，以預設的強度閾值作為區分，最后通過主方向角度將圖像塊分為N個方向范圍；

其中，壓縮人臉圖像子塊主方向角度與強度的計算步驟如下：

對于一個壓縮人臉圖像子塊，通過式(4)求得子塊中第i個像素在整體像素中的梯度g_i，

其中，t(x,y)表示在位置(x,y)處的第i個像素的大小，因此整個壓縮人臉圖像子塊的梯度可以表示為：

G＝[g₁，...，g_n]^T (5)

為得到圖像的主方向信息，需通過求取梯度表示G的奇異值分解，G可被分解為G＝USV^T，將矩陣V的第一列v₁選作圖像塊的主方向向量，第二列v₂則作為圖像塊的副方向向量，S中對應的特征值為S_1,1和S_2,2；

在此基礎上，定義圖像塊主方向的強度為：

定義圖像塊主方向的角度為：

如壓縮人臉圖像子塊計算出來的主方向強度值R小于設定的強度閾值，則將該壓縮人臉圖像子塊歸為隨機塊；根據上述定義對圖像塊進行分類，將壓縮人臉圖像子塊分為N類，表示為{1,2,…,N+2}，分別代表平滑塊、隨機塊、以及N個方向塊。