[發明專利]一種視頻煙霧定位及定量計算智能系統

在審

• 申請號: 202111013676.0
• 申請日: 2021-08-31
• 公開（公告）號: CN113837014A
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 余奇凱;杜佳寧
• 申請（專利權）人: 余奇凱;杜佳寧
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/44;G06N3/04;G06N3/08;G06T3/40;A62C3/02
• 代理公司: 溫州市品創專利商標代理事務所(普通合伙) 33247
• 代理人: 程春生

1.一種視頻煙霧定位及定量計算智能系統，其特征在于，包括4個部分：(1)暗黑通道去霾預處理；(2)動態最優幀模塊；(3)致密光流模塊；(4)時空分割網絡；第2個模塊可分成關鍵幀選擇模塊和自動遮罩生成模塊；第4個模塊集成了2/3兩個模塊的輸出；去霾預處理：塵霾會混淆著煙霧，使煙霧不明顯；室外的視頻往往有塵霾，因此在檢測前我們采用暗黑通道去除視頻幀中的塵霾；暗黑通道理論認為，在室外圖像的統計規律中，圖像中不包括天空的區域，總是在其中某個通道具有低強度；以x為坐標的圖像暗通道定義為：Jdark(x)＝miny∈Ω(x)(minc∈{r，g，b}Jc(y))其中Jc是RGB通道的強度，Ω(x)是x所在塊；從數學上講，有霾圖像可以定義為I(x)＝J(x)t(x)+A(1-t(x))其中I、J和A分別表示有霾圖像、無霾圖像和光照，t(x)表示透光率，取決于場景深度和大氣散射系數兩個因素；為了提取無霾圖像，我們需要計算先驗的暗黑通道、光照和迭代優化過的透光率；我們在尺寸為15的塊上計算以x為中心的先驗暗黑通道；透光率初始值采用0.05×Jdark(x)然后采用拉普拉斯矩陣和稀疏線性系統計算的軟摳圖迭代優化計算。暗黑通道中最亮的0.1％像素的平均值用于計算光照。

2.如權利要求1所述的一種視頻煙霧定位及定量計算智能系統，其特征在于，關鍵幀模塊：時空分割網絡需要兩個帶標注的幀，這有助于根據特定場景微調已經訓練好的模型。這主要由兩個模塊完成：關鍵幀選擇模塊(φS)，自動標注工具(φA)；關鍵幀選擇模塊φS：可以使用視頻的前兩幀，或者特定編號的幀進行標注。我們采用特定編號的幀進行自動標注；采用基于深度學習的氣泡排序網絡比較每幀，根據性能排序。排序網絡基于ResNet-50，將輸入信息處理為四個完全連接的層，其中包括下行神經元和預測層，輸出給出了相對性能預測和下一個模塊評估；標注損失包括交并比(IOU)和輪廓精度(C)。IOU為預測煙霧及標注煙霧的交集在兩者并集的比，C為預測煙霧的閉合輪廓及標注煙霧的閉合輪廓兩者的差異；標注損失表示為：yi:＝1/n∑k＝1nIOUk+Ck在對第i幀進行標注之后，第k幀上的性能由IOUk+Ck給出，yi給出了第i幀的標簽；自動遮罩注釋工具：時空分割網絡需要兩個帶注釋的幀來預測整個視頻的分割。如上所述，我們還需要選擇一個能提高精度的特定幀。我們采用基于區域的卷積神經網絡(Mask RCNN)作為自動標注工具。Mask R-CNN是快速R-CNN框架的擴展，是分割的基準網絡。除了邊界框，Mask R-CNN還提供像素級分割。每個感興趣區域(ROI)的輸出不是轉換為向量，而是提供像素級標注保留空間位置。因此，在ROIPool中，來自區域建議網絡(RPN)的輸入用于擬合特征圖，從而導致錯位。在Mask RCNN中，RoAlign接受建議區域并將其拆分為多個bin。雙線性插值用于查找每個bin中采樣點的值。RPN的目標是通過掃描定位點進行檢測來找到圖像中的對象；對于訓練時的每個采樣感興趣區域，多任務損失如下所示：L＝Lcls+Lbox+Lmask其中Lcls是分類損失，Lbox是邊界框損失，Lmask是二分類交叉熵平均損失。標注分支預測每個類的分割圖像。

3.如權利要求1所述的一種視頻煙霧定位及定量計算智能系統，其特征在于，致密光流模塊：光流提供垂直和水平方向的梯度；采用有利于視頻對象分割的致密光流(φDO)來計算時間特征；與其他光流技術相比，致密光流的計算成本更低；我們使用致密光流提供了幀中所有像素的流向量；由于目的是提供盡可能精確的檢測，忽略致密光流產生的計算成本。

4.如權利要求1所述的一種視頻煙霧定位及定量計算智能系統，其特征在于，時空分割網絡：時空分割網絡(φST)是一個完全卷積網絡，共接收兩個關鍵幀、相應的標注以及光流圖像等五個輸入，輸出整個視頻的煙霧分割圖像；為了檢測煙霧的準確位置并可視化其運動，我們使用分割網絡逐像素識別局部煙霧；我們采用半監督單一樣本在線學習的視頻對象分割方法OSVOS。OSVOS根據標注幀提供的樣本，從背景中分割前景對象；OSVOS一種五級VGG網絡，每層包括卷積和校正線性單元(ReLU)，可根據需要進行上采樣和下采樣。最后，我們將特征與輸入圖像線性融合得到輸出。我們使用交叉熵作為分割網絡的二分類損失：X輸入，Z表示可訓練參數，yj表示二分類標簽，ip和in分別為負標簽和正標簽；單一樣本視頻對象分割使用離線和在線訓練，模型從學習一般對象分割遷移到特定對象分割。我們創建通用模型來學習不同煙霧的通用特征，應用于煙霧檢測時，可以對特定場景進行微調。這樣做的好處是煙的形態不同，在不同的視頻中看起來不一樣。因此，微調為探測煙霧提供了額外的優勢。