[發明專利]一種基于Android系統移動設備的識別賦能方法

在審

• 申請號: 202110672602.1
• 申請日: 2021-06-17
• 公開（公告）號: CN113343870A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 吳偉;張嶸;陳磊;孫嘉鵬
• 申請（專利權）人: 南京金盾公共安全技術研究院有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;H04L29/06;H04N7/18
• 代理公司: 南京科知維創知識產權代理有限責任公司 32270
• 代理人: 杜依民

1.一種基于Android系統移動設備的識別賦能方法，其特征在于包括如下步驟：

S1，可穿戴設備的視頻圖像采集設備采集圖像，將采集到的圖像和或視頻通過通信協議將圖像和或視頻進行格式化，并將格式化的圖像和或視頻發送給Android移動設備；

S2，Android移動設備將格式化的圖像和或視頻進行數據編碼，得到數據流；

S3，Android移動設備應用圖像識別技術將圖像生成特征值；

S4，應用圖像識別技術從圖片幀中獲取特征值；

S5，Android移動設備將特征值與本地對比庫中的特征值進行比對，若比對成功，則檢出重點目標，將對比成功的特征值所對應的圖片幀作為預警提醒信息；

或者，Android移動設備將特征值與云端對比庫中的特征值進行比對，若比對成功，則檢出重點目標，將對比成功的特征值所對應的圖片幀作為預警提醒信息；

分別對模板圖和實時圖建立關鍵點描述子集合，目標的識別是通過兩點集內具有128維的關鍵點描述子的比對來完成，所比對出來的具有128維的關鍵點描述子所對應的圖片幀即為重點目標，進而實現重點目標檢出，得到重點目標圖片幀；

所述模板圖包括本地對比庫或云端對比庫預存圖，所述實時圖包括頻圖像采集設備觀測圖；

S6，Android移動設備將預警提醒信息進行顯示，以此提醒給民警。

將重點目標圖片幀作為預警提醒信息通過Android移動設備顯示，以此提醒給民警，提醒的方式可以為震動、聲音、圖像等。

2.根據權利要求1所述的基于Android系統移動設備的識別賦能方法，其特征在于：步驟S1中，所述通信協議，包括起始幀、長度幀、命令幀、數據域、校驗位和結束幀；

所述起始幀為16進制的11，所述結束幀為16進制的38；

所述長度幀為26；

所述數據域包括數據類型個數、每個類型長度字段、每個類型對應解析、原始數據。

3.根據權利要求1所述的基于Android系統移動設備的識別賦能方法，其特征在于：步驟S2中，數據流包括視頻和或圖片；

S21，如果，數據流為視頻數據流，則Android移動設備根據時間戳對視頻數據流進行緩沖，獲取視頻數據流的RTSP并對RTSP進行解碼，得到解碼后的視頻流；

錄制文件的格式為MP4或AVI格式；

進一步的，對RTSP進行解碼的步驟為，采用H264視頻解碼器將視頻數據流的RTSP進行解碼；

S22，如果，數據流為圖片數據流，則Android移動設備對圖片數據流進行RGB畫面繪制，得到解碼后的圖片。

4.根據權利要求1所述的基于Android系統移動設備的識別賦能方法，其特征在于：步驟S3包括如下子步驟，

S31，將解碼后的視頻流和或后的圖片轉換成圖片幀；

S311，如果是解碼后的視頻流，則，將解碼后的視頻流切分成圖片幀；

S312，如果是解碼后的圖片，則不處理，直接將解碼后的圖片作為圖片幀。

5.根據權利要求1所述的基于Android系統移動設備的識別賦能方法，其特征在于：步驟S4應用圖像識別技術從圖片幀中獲取特征值的步驟包括：

S41，將步驟S3中得到的圖片幀轉化為灰度圖像；

S42，建立尺度空間，即建立高斯差分(DoG)金字塔，以灰度圖像建立高斯金字塔，其中高斯模糊系數計算公式如下：

σ0為基準層尺度即圖像的初始尺度；

o為組坐標組數的索引值；

r為每組層數的索引值；

s為尋找極值點的尺度空間的組數，默認值為3。

根據3σ原則，運用高斯模糊系數計算公式，使用N×N的模板將灰度圖像進行分層處理，在灰度圖像每一個像素點處操作，其中N＝[(6σ+1)]且向上取最鄰近奇數。使用分離的高斯卷積，即先用1×N的模板沿著X方向對圖像卷積一次，然后用N×1的模板沿著Y方向對圖像再卷積一次，其中N＝[(6σ+1)]且向上取最鄰近奇數，減小直接卷積對圖像邊緣信息的嚴重損失，從而得到分層灰度圖像數據；

在分層灰度圖像數據中，運用高斯差分金字塔公式對高斯金子塔中的每組中相鄰兩層相減(下一層減上一層)生成高斯差分金字塔；

高斯差分金字塔公式如下：

L(x，y，σ)＝G(x，y，σ)*I(x，y)

D(x，y，σ)＝[G(x，y，kσ)-G(x，y，σ)]*I(x，y)＝L(x，y，kσ)-L(x，y，σ)

S43，通過步驟S42中所得到的高斯差分金字塔進行空間極值點(即關鍵點)的檢測；

在尺度空間中檢測極值點，并進行精確定位和篩選創建默認大小的內存存儲器；

所述尺度空間是指高斯差分金字塔的多維空間；

所述關鍵點是由DOG空間的局部極值點組成的，關鍵點的初步探查是通過同一組內各DoG相鄰兩層圖像之間比較完成的。

為了尋找DoG函數的空間極值點，每一個像素點要和它所有的相鄰點比較，看其是否比它的圖像域和尺度域的相鄰點大或者小；中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度對應的9×2個點共26個點比較，以確保在尺度空間和二維圖像空間都檢測到空間極值點；

后通過擬合三維二次函數來精確確定關鍵點的位置和尺度，得到特征點的精確位置；

在得到特征點的精確位置的同時，利用DoG函數在尺度空間的泰勒展開式(插值函數)進行計算，得到擬合的偏移量以及尺度(σ)，在特征點的精確位置加上擬合的偏移量以及尺度(σ)，得到原位置加上擬合的偏移量以及尺度(σ)；

利用DoG函數在尺度空間的泰勒展開式(插值函數)進行計算，得到擬合的偏移量以及尺度(σ)的目的是去除低對比度的關鍵點和不穩定的邊緣響應點，以增強匹配穩定性、提高抗噪聲能力；

為了提高關鍵點的穩定性，提高抗噪聲能力，采用對尺度空間DoG函數進行曲線插值的方式；

利用DoG函數在尺度空間的泰勒展開式(插值函數)進行計算，得到擬合的偏移量以及尺度(σ)，以此提高提高關鍵點的穩定性和抗噪聲能力；

所述泰勒展開式為：

其中f的偏導數，二階偏導數，以及二階混合偏導數為：

當在任一維度上的偏移量大于0.5時(即x或y或σ)，意味著插值中心已經偏移到它的鄰近點上，故改變當前關鍵點的位置，同時在新的位置上反復插值直到收斂；也有可能超出所設定的迭代次數或者超出圖像邊界的范圍，此時這樣的點應該刪除；另外，過小的點易受噪聲的干擾而變得不穩定，所以將小于某個經驗值的極值點刪除；

S44，在原位置加上擬合的偏移量以及尺度(σ)上進行關鍵點方向分配，特征點方向賦值；

為了使描述符具有旋轉不變性，利用灰度圖像的局部特征為給每一個關鍵點分配一個基準方向，使每個特征點具備三個信息：位置、尺度、方向。

使用圖像梯度的方法求取局部結構的穩定方向；在完成關鍵點的梯度計算后，使用直方圖統計領域內像素的梯度和方向；梯度直方圖將0～360度的方向范圍分為36個柱，其中每柱10度，直方圖的峰值方向代表了關鍵點的主方向，方向直方圖的峰值則代表了該特征點處鄰域梯度的方向，以直方圖中最大值作為該關鍵點的主方向。為了增強匹配的魯棒性，只保留峰值大于主方向峰值80％的方向作為該關鍵點的輔方向；把該關鍵點復制成多份關鍵點，并將方向值分別賦給這些復制后的關鍵點，并且，離散的梯度方向直方圖要進行插值擬合處理，來求得更精確的方向角度值；為了防止某個梯度方向角度因受到噪聲的干擾而突變，對梯度方向直方圖進行平滑處理；采用OpenCV平滑公式，其為：

其中i∈[0，35]，h和H分別表示平滑前和平滑后的直方圖；由于角度是循環的，即0°360°，如果出現h(j)，j超出了(0，…，35)的范圍，那么通過圓周循環的方法找到它所對應的、在0°＝360°之間的值，如h(-1)＝h(35)；至此，圖像的關鍵點已檢測完畢，每個關鍵點有三個信息：位置、所處尺度、方向；由此可以確定一個特征區域。

S45，根據步驟S44中得到的特征區域進行特征點描述符，關鍵點匹配；對于每一個關鍵點擁有三個信息：位置、尺度以及方向；

為每個關鍵點建立一個描述符，使其不隨各種變化而改變，包括光照變化、視角變化；并且描述符應該有較高的獨特性，以便于提高特征點正確匹配的概率；將關鍵點附近的區域劃分為d*d個子區域，每個子區域作為一個種子點，每個種子點有8個方向；在實際計算時，采用三線性插值，所需圖像窗口邊長為3×3×σ_oct×(d+1)；考慮到旋轉因素，實際計算所需的圖像區域半徑為：

獲得實際半徑后，將鄰域內的采樣點分配到對應的子區域內，將子區域內的梯度值分配到8個方向上，計算其權值；采樣點在子區域中的下標(x”，y”)線性插值，計算其對每個種子點的貢獻；同理，對鄰近兩列的貢獻因子為dc和1-dc，對鄰近兩個方向的貢獻因子為do和1-do；則最終累加在每個方向上的梯度大小為：

weight＝w×dr^k×(1-dr)^1-k×dc^m×(1-dc)^1-m×doⁿ×(1-do)^1-n

其中k，m，n為0(像素點超出了對要插值區間的四個鄰近子區間所在范圍)或為1(像素點處在對要插值區間的四個鄰近子區間之一所在范圍)；如上統計的4*4*8＝128個梯度信息即為該關鍵點的特征向量；

特征向量形成后，去除光照變化的影響，對特征向量進行歸一化處理，對于圖像灰度值整體漂移，圖像各點的梯度是鄰域像素相減得到，所以也能去除；得到的描述子向量為H＝(h1，h2，…，h128)，歸一化后的特征向量為L＝(L1，L2，…，L128)，所述描述子向量即為特征值。