[發明專利]一種基于光場的高清視頻監控系統及方法

有效

• 申請號: 202010512930.0
• 申請日: 2020-06-08
• 公開（公告）號: CN111818298B
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 盛浩;楊達;王思哲;崔正龍;王帥
• 申請（專利權）人: 北京航空航天大學
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N5/265;G06T3/40;G06N3/04
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;鄧治平

1.一種基于光場的高清視頻監控系統，其特征在于，包括：監控視頻采集模塊、分辨率增強模塊、顯示模塊、數據存儲模塊和系統管理模塊；

監控視頻采集模塊，實現角分辨率為3×3的720P光場監控視頻的采集；

分辨率增強模塊，實現光場視頻中心視角分辨率增強，采用一種光場中心視角超分辨卷積神經網絡，在充分發掘光場監控視頻中心視角自身信息的同時將采集到的光場監控視頻周圍視角信息補充至光場監控視頻中心視角，對中心視角進行超分辨處理，準實時生成4K高分辨率場景監控視頻；

顯示模塊，包括兩塊4K高分辨率顯示器，其中一塊顯示監控視頻采集模塊采集得到的角分辨率為3×3的720P光場監控視頻，另外一塊同步顯示分辨率增強至4K的高分辨率場景監控視頻；

數據存儲模塊，連接視頻數據庫，自動存儲監控視頻采集模塊采集得到的角分辨率為3×3的720P光場監控視頻與分辨率增強模塊生成的4K高分辨率場景監控視頻，提供數據的添加、刪除、查詢接口；

系統管理模塊，與數據存儲模塊連接后，對視頻數據庫中存儲的全部監控視頻進行查詢與刪除；系統管理模塊連接用戶數據庫，將用戶分為系統管理員與普通用戶，系統管理員查詢與刪除監控數據，普通用戶僅查詢監控數據；

所述光場中心視角超分辨卷積神經網絡實現如下：

(1)光場中心視角超分辨卷積神經網絡，采用多路網絡結構分別從各輸入視角提取圖像信息，其中，中心視角為高分辨率監控視頻的基礎視角，采用全局殘差結構與局部殘差結構，全局殘差結構完整保留中心視角低頻信息，局部殘差結構提取中心視角高頻信息，周圍8個視角為輔助視角，均只采用局部殘差結構，分別提取來自周圍各視角的高頻補充信息；局部殘差結構由殘差模塊實現；9條分路的輸出經由拼接形成一組特征圖，經過另外兩層卷積，得到最終的超分辨中心視角；

(2)殘差模塊輸入經過兩層卷積運算的結果與輸入相加得到輸出；

(3)光場中心視角超分辨卷積神經網絡全部卷積層的卷積核大小均為3×3，步長為1，特征圖邊緣填充0以保證卷積過后特征圖尺寸不發生變化；網絡的全部卷積層均搭配整流線性單位函數ReLU(Rectified Linear Unit,ReLU)，除最后一個卷積層卷積核數為3外，其他層卷積核數均為128；

(4)各網絡分支的輸入分別為對應視角720P監控視頻經過雙三次插值得到的4K分辨率圖像；

所述監控視頻采集模塊包括分布在均勻規則3×3網格上的9個光軸平行的720P分辨率監控攝像頭，相鄰視角圖像保證最大視差小于15像素，以完成光場監控視頻的采集。

2.一種基于光場的高清視頻監控方法，其特征在于：監控視頻采集模塊通過分布在均勻規則3×3網格上的9個光軸平行的720P分辨率監控攝像頭采集光場監控視頻數據，相鄰視角圖像保證最大視差小于15像素，采集得到的光場監控視頻數據發送至數據存儲模塊、分辨率增強模塊與顯示模塊；分辨率增強模塊根據輸入的角分辨率為3×3的720P光場監控視頻，使用一種光場中心視角超分辨卷積神經網絡，準實時生成4K高分辨率場景監控視頻，并將其發送至數據存儲模塊與顯示模塊；顯示模塊，在一塊4K顯示器上顯示角分辨率為3×3的720P光場監控視頻，在另外一塊4K顯示器上同步顯示分辨率增強至4K的高分辨率場景監控視頻，在實時監控模式下，顯示來自監控視頻采集模塊的角分辨率為3×3的720P光場監控視頻與來自分辨率增強模塊的分辨率增強至4K的高分辨率場景監控視頻，在數據查詢模式下，接收來自系統管理模塊的角分辨率為3×3的720P光場監控視頻與分辨率增強至4K的高分辨率場景監控視頻；數據存儲模塊接收并自動保存來自監控視頻采集模塊的角分辨率為3×3的720P光場監控視頻與分辨率增強模塊生成的4K高分辨率場景監控視頻，根據系統管理模塊請求將監控視頻發送至系統管理模塊，根據系統管理模塊請求將監控視頻刪除；系統管理模塊根據用戶指令從數據存儲模塊中提取監控視頻并發送至顯示模塊，根據用戶指令從數據存儲模塊中刪除指定監控視頻，根據用戶指令控制顯示模塊的顯示模式，分別為實時監控模式與數據查詢模式，系統管理模塊將用戶分為系統管理員與普通用戶，系統管理員查詢與刪除監控數據，普通用戶僅查詢監控數據；

所述光場中心視角超分辨卷積神經網絡實現如下：

(1)光場中心視角超分辨卷積神經網絡，采用多路網絡結構分別從各輸入視角提取圖像信息，其中，中心視角為高分辨率監控視頻的基礎視角，采用全局殘差結構與局部殘差結構，全局殘差結構完整保留中心視角低頻信息，局部殘差結構提取中心視角高頻信息，周圍8個視角為輔助視角，均只采用局部殘差結構，分別提取來自周圍各視角的高頻補充信息；局部殘差結構由殘差模塊實現；9條分路的輸出經由拼接形成一組特征圖，經過另外兩層卷積，得到最終的超分辨中心視角；

(2)殘差模塊，輸入經過兩層卷積運算的結果與輸入相加得到輸出；

(3)光場中心視角超分辨卷積神經網絡全部卷積層的卷積核大小均為3×3，步長為1，特征圖邊緣填充0以保證卷積過后特征圖尺寸不發生變化；網絡的全部卷積層均搭配整流線性單位函數ReLU(Rectified Linear Unit,ReLU)，除最后一個卷積層卷積核數為3外，其他層卷積核數均為128；

(4)各網絡分支的輸入分別為對應視角720P監控視頻經過雙三次插值得到的4K分辨率圖像。