[發明專利]基于時空張量分解的紅外視頻運動小目標實時檢測方法

有效

• 申請號: 202110581965.4
• 申請日: 2021-05-24
• 公開（公告）號: CN113256585B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 張磊;蔣松延;徐容愷;王文帥;溫博;吳金亮
• 申請（專利權）人: 北京理工大學;中國電子科技集團公司第五十四研究所
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/136;G06V20/40
• 代理公司: 北京正陽理工知識產權代理事務所(普通合伙) 11639
• 代理人: 鄔曉楠

1.基于時空張量分解的紅外視頻運動小目標實時檢測方法，其特征在于：包括如下步驟，

步驟一、為便于步驟二構建時空圖像塊張量，將視頻分割為連續的視頻幀，進而將每幀分割為若干圖像塊，實現圖像分塊預處理；

步驟二、充分利用時空鄰域內的信息，基于步驟一中相鄰幾幀視頻幀的圖像分塊預處理結果，構建其三維矩陣張量，即得到包含時空鄰域信息的時空張量模型；

步驟三、針對步驟二中的三維矩陣張量，通過僅保留一份關鍵張量的內存空間，省去每個視頻幀檢測時的內存分配、釋放過程，刪除每一視頻幀產生的該幀目標檢測結果圖片，以優化內存管理；

步驟三實現方法為，

將時空圖像塊張量其中：為空間領域內的輸入幀圖像塊、為空間領域內的背景圖像塊、為空間領域內的目標圖像塊、為空間領域內的噪聲圖像塊，在運動小目標實時檢測過程中僅保留一份內存空間，省去每個視頻幀檢測時的內存分配、釋放過程；在檢測終止前進行內存釋放并刪除每一視頻幀產生的該幀目標檢測結果圖片；

其中，保存四個張量以及步驟五中奇異值分解得到的U、V矩陣申請的內存為鎖頁內存，以實現加速步驟五中張量分解過程中CPU端與GPU端的訪存速度；CPU端以常規方式分配的內存都是可分頁內存，可分頁內存在分配后是可能被操作系統移動的，GPU端無法獲知操作系統是否正在移動對可分頁內存，所以不可讓GPU端直接訪問；鎖頁內存是CPU端一塊固定的物理內存，鎖頁內存不能被操作系統移動，因此GPU知道鎖頁內存的物理地址，能夠通過“直接內存訪問”技術直接在CPU和GPU之間復制數據，以提高CPU端與GPU端的訪存效率，進而優化內存管理；

步驟四、將第一次構建時空圖像塊張量所需視頻幀，直接按照圖像塊的大小進行分塊，無需進行窗口滑動處理，避免將信息重疊的圖相塊并入步驟二中構建時空圖像塊張量的過程，進而優化構建時空張量的初始化過程；

步驟五、對張量分解過程中時空圖像塊張量中的四個關鍵張量進行內存優化管理，并優化構建時空張量的初始化過程后，根據目標稀疏先驗和背景局部相似性先驗，將目標-背景分離問題轉換為低秩-稀疏張量分解問題，即通過張量分解將包含相鄰時空鄰域的空間圖像塊的三維矩陣張量分解為目標圖像二維張量與背景圖像二維張量；

步驟六、根據步驟五得到的目標圖像二維張量，通過閾值分割法檢測紅外小目標，即實現基于時空張量分解的紅外視頻運動小目標實時檢測。

2.如權利要求1所述的基于時空張量分解的紅外視頻運動小目標實時檢測方法，其特征在于：步驟一實現方法為，

將視頻分割為連續的視頻幀，進而將每幀分割為若干圖像塊；圖像的分塊按照滑動窗口的方式進行；首先將視頻幀圖像的大小補全為滑動步長的整數倍，填充圖像邊界；然后預設每一圖像塊的大小，按照設置的滑動距離滑動圖像塊；每一幀圖像分割的方式形式化表示為：

rows＝(width+wfill+2*ss-ps)/ss+1；

cols＝(height+hfill+2*ss-ps)/ss+1；

blocks＝rows*cols；

其中，rows、cols表示每一行、每一列分別劃分的圖像塊數量；width、height表示每一視頻幀的寬度和高度；wfill、hfill表示因滿足圖像塊的寬度、高度是滑動步長的整數倍而填充的像素；ps、ss分別表示每一圖像塊的大小與滑動步長的大小；blocks表示總的圖像塊數目。