[發明專利]一種適用于車載魚眼相機的運動目標檢測方法和裝置

有效

• 申請號: 202010106323.4
• 申請日: 2020-02-21
• 公開（公告）號: CN111311656B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 于紅緋;潘曉光;郭來德;魏海平
• 申請（專利權）人: 遼寧石油化工大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/269;G06V10/762;G06T5/00
• 代理公司: 沈陽易通專利事務所 21116
• 代理人: 王建男

1.一種適用于車載魚眼相機的運動目標檢測方法，其特征在于，應用于安裝單目魚眼相機的車輛，所述方法包括：

獲取所述魚眼相機拍攝的車輛周圍場景的當前幀圖像和前一幀圖像；

獲取當前幀圖像與前一幀圖像相匹配的特征點，形成特征點對；

對匹配后的特征點對進行球面歸一化坐標計算，即將特征點對中每一個特征點的坐標都轉換為球面歸一化坐標；

計算特征點對的球面偏移距離l，具體為：

(1)球面偏移距離的定義：

設t-1時刻和t時刻相機坐標系分別為O_t-1-X_t-1Y_t-1Z_t-1和O_t-X_tY_tZ_t，從t-1時刻到t時刻，相機的旋轉矩陣為R，平移向量為T＝(T_x,T_y,T_z)^T；對于真實世界景物點P，其在t-1時刻和t時刻所對應的魚眼圖像特征點構成匹配的特征點對，所述特征點對中的特征點的球面歸一化坐標分別為p_t-1和p_t；設P在t-1時刻和t時刻相機坐標系中的坐標分別為X_t-1和X_t，若P為靜止點，得到：

X_t-1＝RX_t+T，??????????(6)

式(6)兩邊和向量T做外積，然后和X_t-1做內積，得到：

其中，[T]_×表示由向量T構成的反對稱矩陣，p_t-1和p_t為特征點對中的特征點的球面歸一化坐標，令[T]_×Rp_t＝n，n＝(n_x,n_y,n_z)^T恰為t-1時刻坐標系中平面O_t-1O_tp′_t的法向量，其中p′_t＝Rp_t，平面O_t-1O_tp′_t和t-1時刻的虛擬單位球面交于大圓C_t-1，將[T]_×Rp_t＝n代入式(8)，有即推導出了若P為靜止點，則向量O_t-1p_t-1和向量n夾角為90°；當P為靜止點時，點p_t-1出現在大圓C_t-1上，而且由相機運動參數，縮小點p_t-1在大圓C_t-1上出現的位置范圍；在該位置范圍內尋找一點q_t-1，使得點q_t-1到點p_t-1的在虛擬單位球面上距離最小；當兩點不重合時，計算點q_t-1和點p_t-1在虛擬單位球面上的最小距離l，定義l為點P所對應的魚眼圖像特征點對的球面偏移距離；當兩點重合時，直接令該球面偏移距離l＝0；

(2)球面偏移距離l的計算方法：

為了確定點P在虛擬單位球面上的偏移距離，首先需要求出在大圓C_t-1上，點p_t-1可能出現的位置范圍，設該范圍為大圓C_t-1上的一段弧AB，接下來需要求出弧AB的端點A和B；這兩個端點與相機的運動參數有關，令平移向量T＝(T_x,T_y,T_z)^T，由于魚眼相機安裝于車輛前方或后方，車輛處于行駛或倒車的運動狀態，因此有T_z≠0；設T_z＞0，點A和點B，分別為當P點是距離相機最近點和距離相機無窮遠點時在虛擬單位球面上的投影點位置，當P點是距離相機最近點時，光心連線O_t-1O_t與t-1時刻的虛擬單位球面上的大圓C_t-1相交的點即為A點，其球面歸一化坐標為：

當P點是無窮遠點時，其在虛擬單位球面上的投影點坐標即為B點，其球面歸一化坐標為：

Rp_t??????????(10)

確定點A和點B坐標后，需要在弧AB上求出距離點p_t-1最近的點q_t-1，為此，首先求出大圓C_t-1上距離點p_t-1最近的點q′_t-1，計算公式如下：

n＝[T]_×Rp_t

m＝n×p_t-1

q′_t-1＝m×n

大圓上的點q′_t-1可能在弧AB上，也可能不在弧AB上，分三種情況：

第一種情況：當大圓C_t-1上與點p_t-1球面距離最近的點q′_t-1與弧AB的位置關系為q′_t-1在弧AB上，此時q′_t-1即為q_t-1，點P的球面偏移距離l為l₁，

上式中，abs()表示對()內的值取絕對值；

第二種情況：當大圓C_t-1上與點p_t-1球面距離最近的點q′_t-1與弧AB的位置關系為q′_t-1不在弧AB上，但是距離B點近，此時B點即為q_t-1，點P的球面偏移距離l為l₂，

上式中，B表示向量O_t-1B的坐標，由式(10)計算得出，||B||表示向量O_t-1B的長度；

第三種情況：當大圓C_t-1上與點p_t-1球面距離最近的點q′_t-1與弧AB的位置關系為q′_t-1不在弧AB上，但是距離A點近，此時A點即為q_t-1，點P的球面偏移距離l為l₃，

上式中，A表示向量O_t-1A的坐標，由式(9)計算得出，||A||表示向量O_t-1A的長度；

計算標記量r和s，

r₁＝A×B

r₂＝p_t-1×B

r₃＝A×p_t-1

r＝r₁^Tr₂

s＝r₁^Tr₃

其中，A×B表示向量O_t-1A和向量O_t-1B做外積，“×”為向量外積符號，向量O_t-1A和向量O_t-1B的坐標，分別由式(9)和式(10)計算得出；當r≥0且s≥0時，為第一種情況，否則為第二種情況或第三種情況；因此，計算出l值，

根據球面偏移距離l判斷所述特征點對中當前幀圖像特征點是否為運動特征點：對由特征點對得到的球面偏移距離l設定閾值l_thre，計算球面偏移距離l是否大于設定閾值l_thre，若大于設定閾值l_thre，則認為所述特征點為運動特征點；若球面偏移距離l小于閾值l_thre，則認為偏移距離l是由誤差造成的，不是運動特征點；

對得到的運動特征點進行聚類；

根據對運動特征點聚類后的運動特征點，生成運動目標區域。