[發明專利]一種基于深度神經網絡的幀間預測方法

有效

• 申請號: 201810798399.0
• 申請日: 2018-07-19
• 公開（公告）號: CN108833925B
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 范曉鵬;王洋;趙德斌
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: H04N19/573
• 分類號: H04N19/573;H04N19/587;H04N19/61
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 安琪

1.一種基于深度神經網絡的幀間預測方法，其特征在于，所述方法的過程為：

步驟一：獲取當前塊的左下、左邊、左上、上邊和右上區域的像素、參考塊以及參考塊的左下、左邊、左上、上邊和右上區域的像素；

步驟二：將步驟一獲取的當前塊的左下、左邊、左上、上邊和右上區域的像素、參考塊以及參考塊的左下、左邊、左上、上邊和右上區域的像素輸入到深度神經網絡中，學習獲得當前塊和參考塊之間的關系，或學習獲得參考塊和參考塊的左下、左邊、左上、上邊和右上區域的像素之間的關系，從而獲得當前塊的一個預測塊。

2.根據權利要求1所述幀間預測方法，其特征在于，所述步驟二獲得預測塊的過程為：

第一步：將步驟一獲取的當前塊的左下、左邊、左上、上邊和右上區域的像素和參考塊的左下、左邊、左上、上邊和右上區域的像素輸入到關系估計網絡，獲得一個關系塊；

第二步：用特征組合網絡對步驟一得到的參考塊和第一步得到的關系塊進行特征圖的提取，并將所述提取到的特征圖組合到一起；

第三步：將第二步得到的組合后的特征圖輸入到深度提純網絡，得到當前塊的一個預測塊。

3.根據權利要求1所述幀間預測方法，其特征在于，所述步驟二獲得預測塊的過程為：

第一步：將步驟一獲取的參考塊和參考塊的左下、左邊、左上、上邊和右上區域的像素輸入到一個神經網絡中，學習得到參考塊和參考塊的左下、左邊、左上、上邊和右上區域的像素之間的關系，所述神經網絡由全連接層、卷積層或者二者的組合來實現；

第二步：將步驟一獲取的當前塊的參考像素和第一步獲得的關系輸入到一個神經網絡中，學習得到當前塊的預測塊，所述神經網絡由全連接層、卷積層或者二者的組合來實現。

4.根據權利要求2所述幀間預測方法，其特征在于，所述第一步使用當前塊的左下、左邊、左上、上邊和右上區域的像素和參考塊的左下、左邊、左上、上邊和右上區域的像素獲取關系塊的過程為：

將當前塊的左下、左邊、左上、上邊和右上區域的像素和參考塊的左下、左邊、左上、上邊和右上區域的像素輸入到一個K層的全連接網絡，得到關系塊；或者將預處理后的當前塊的左下、左邊、左上、上邊和右上區域的像素和參考塊的左下、左邊、左上、上邊和右上區域的像素輸入到一個K層的全連接網絡，得到關系塊，其中，K0。

5.根據權利要求2所述幀間預測方法，其特征在于，所述第一步獲得關系塊的具體過程為：

第1步：將當前塊的左下、左邊、左上、上邊和右上區域的像素和參考塊的左下、左邊、左上、上邊和右上區域的像素連接成為一個向量，并輸入到關系估計網絡中；

第2步：所述關系估計網絡中每一個全連接層計算前一層的輸出和當前層的權重之間的內積來獲得當前層的輸出，進而關系估計網絡的最后一層獲得當前塊和參考塊之間的關系向量；

第3步：將第2步獲得的所述關系向量轉換為關系塊，所述關系塊的大小與所述當前塊尺寸相同。

6.根據權利要求2所述幀間預測方法，其特征在于，第二步所述的特征組合網絡由卷積網絡實現，由卷積層和拼接層組成。

7.根據權利要求2所述幀間預測方法，其特征在于，第二步所述提取參考塊和關系塊的特征圖并組合到一起的過程為：

第1步：所述特征組合網絡對所述參考塊進行卷積處理，獲得參考塊的特征圖；

第2步：所述特征組合網絡對所述關系塊進行卷積處理，獲得關系塊的特征圖；

第3步：將第1步獲得的參考塊特征圖與第2步獲得的關系塊特征圖組合到一起，獲得組合后的特征圖。

8.根據權利要求2所述幀間預測方法，其特征在于，第三步所述深度提純網絡的輸入是第二步得到的組合特征，輸出是一個當前塊的預測塊；深度提純網絡由多個卷積層組成，或者由卷積層和全連接層組成。

9.根據權利要求2所述幀間預測方法，其特征在于，第三步所述預測塊的獲取過程包括：

所述組合后的特征圖輸入到深度提純網絡，提取特征并學習得到當前塊的預測塊；

所述深度提純網絡由卷積層實現，或者由卷積層和全連接層實現；

所述提取特征并學習得到當前塊的預測塊為利用深度卷積提純網絡對輸入的組合特征不斷的進行提取，通過每一層網絡的不斷學習得到提純后的預測塊。