[發明專利]一種基于內容預測的深度學習視頻解碼方法和裝置

有效

• 申請號: 201810048036.5
• 申請日: 2018-01-18
• 公開（公告）號: CN108289248B
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 廖裕民;羅玉明
• 申請（專利權）人: 福州瑞芯微電子股份有限公司
• 主分類號: H04N21/4402
• 分類號: H04N21/4402;H04N21/488;H04N21/8547;H04N19/42;G06N3/04;G06N3/08
• 代理公司: 福州市景弘專利代理事務所(普通合伙) 35219
• 代理人: 林祥翔;徐劍兵

1.一種基于內容預測的深度學習視頻解碼裝置，其特征在于，所述裝置包括視頻控制單元、視頻解碼單元、幀緩存單元、卷積神經網絡電路、預設內容判定單元、提示信息添加單元、跳幀存儲單元、顯示控制單元和顯示單元；所述幀緩存單元包括當前幀緩存單元和預判幀緩存單元；所述視頻控制單元和視頻解碼單元連接，所述視頻解碼單元分別與當前幀緩存單元、預判幀緩存單元連接，所述當前幀緩存單元與顯示控制單元連接，所述顯示控制單元和顯示單元連接；所述預判幀緩存單元與卷積神經網絡電路連接，所述卷積神經網絡電路與預設內容判定單元連接，所述預設內容判定單元分別與視頻控制單元、提示信息添加單元、跳幀存儲單元連接，所述提示信息添加單元與當前幀緩存單元連接；

所述視頻控制單元用于接收視頻流信息，所述視頻流信息包括多幀圖像信息，所述多幀圖像信息包括當前幀信息和第一預判幀信息，所述第一預判幀信息為當前幀信息對應的下一關鍵幀信息；

所述視頻解碼單元用于對當前幀信息進行解析，將解析后的當前幀信息存儲至當前幀緩存單元中，以及對第一預判幀信息進行解析，將解析后的第一預判幀信息存儲至預判幀緩存單元中；

所述卷積神經網絡電路用于獲取預判幀緩存單元中的第一預判幀信息，判斷第一預判幀信息與預設內容是否匹配；若匹配則預設內容判定單元用于發送第一控制信號至提示信息添加單元，以及用于發送第二控制信號至視頻控制單元；所述預設內容為設定的需要進行跳幀的圖像信息；

所述視頻控制單元用于接收第二控制信號，將第二預判幀信息發送至視頻解碼單元進行解析，視頻解碼單元用于將解析后的第二預判幀信息存儲至預判幀緩存單元中；所述第二預判幀信息為第一預判幀信息對應的下一關鍵幀信息；

所述卷積神經網絡電路用于獲取預判幀緩存單元中的第二預判幀信息，判斷第二預判幀信息與預設內容是否匹配，若匹配則預設內容判定單元用于發送第一控制信號至提示信息添加單元，以及用于再次發送第二控制信號至視頻控制單元；重復上述步驟，直至卷積神經網絡電路判定預判幀緩存單元中的預判幀信息與預設內容不匹配，記錄此時預判幀緩存單元中的預判幀信息對應的時間戳；所述預設內容判定單元用于將當前預判幀緩存單元中的預判幀信息對應的時間戳信息、以及該時間戳與首次被判定為與預設內容匹配的預判幀信息的時間戳之間的所有幀信息存儲至跳幀存儲單元中；

所述提示信息添加單元用于在接收到第一控制信號，獲取當前幀緩存單元中的當前幀信息，對當前幀信息添加提示信息，得到當前幀調整信息，并將當前幀調整信息回寫至當前幀緩存單元中；

所述顯示控制單元用于獲取當前幀調整信息并將其傳輸至顯示單元進行顯示，所述顯示單元用于顯示當前幀調整信息。

2.如權利要求1所述的基于內容預測的深度學習視頻解碼裝置，其特征在于，所述卷積神經網絡電路包括參數初始化單元、初始值存儲單元、取數單元、參數存儲單元、可重構網絡矩陣單元、誤差計算單元和反向傳播回寫單元；所述參數存儲單元中存儲有參數元素，所述參數元素包括卷積核、權值和卷積偏置值，所述取數單元包括權值取數單元、卷積核取數單元和卷積偏置取數單元；

卷積神經網絡電路在獲取預判幀緩存單元中的第一預判幀信息之前，還用于對預設內容進行神經網絡訓練；具體包括：

所述參數初始化單元用于從初始值存儲單元中獲取網絡結構的各個參數初始值，根據各個參數的初始值控制取數單元從參數存儲單元中獲取相應數量的各個參數元素，對可重構網絡矩陣單元進行配置；

所述可重構網絡矩陣單元用于根據配置的各個參數元素的初始值進行神經網絡計算，所述誤差計算單元用于判斷本次計算結果與真實信息的匹配度是否大于預設匹配度；若是則判定為訓練完成，反向傳播回寫單元用于將各個參數元素的參數值更新為當前的各個參數值，并將更新后的各個參數值寫入參數存儲單元中；否則可重構網絡矩陣單元用于根據本次訓練結果的匹配度與上一次訓練結果的匹配度的差異，調整各個參數元素的配置參數值，并通過反向傳播回寫單元將調整后的參數值寫入參數存儲單元中，以及控制取數單元根據調整后的參數值從獲取相應數量的各個參數元素，并再次進行神經網絡計算，直至訓練完成；

所述真實信息是指輸入至可重構網絡矩陣單元的特征信息，即預設內容信息。