[發明專利]一種基于PTZ云臺相機的車輛目標三維信息獲取方法

有效

• 申請號: 201910208210.2
• 申請日: 2019-03-19
• 公開（公告）號: CN110148169B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 王偉;唐心瑤;宋煥生;張朝陽;張文濤;戴喆;梁浩翔;云旭;侯景嚴;劉蒞辰;賈金明;李俊彥;武非凡;雷琪;楊露
• 申請（專利權）人: 長安大學
• 主分類號: G06T7/60
• 分類號: G06T7/60;G06T7/80
• 代理公司: 西安恒泰知識產權代理事務所 61216
• 代理人: 李鄭建

1.一種基于PTZ云臺相機的車輛目標三維信息獲取方法，其特征在于，該方法包括如下步驟：

步驟1，PTZ云臺攝像機模型和坐標系的建立：

步驟1.1，建立世界坐標系、攝像機坐標系、圖像坐標系和攝像機模型，其中將攝像機模型簡化為針孔模型；

步驟1.2，將攝像機拍攝的圖像中任意一點的世界坐標轉換到圖像坐標系中，得到世界坐標系的點與圖像坐標系的點的投影關系；

步驟2，地平線的識別及標定結果的計算：

步驟2.1，將圖像坐標系中多條平行直線的交點轉換為鉆石空間中折線組的交點；

步驟2.2，將鉆石空間中折線組的交點變換到圖像坐標系中，求得圖像坐標系的消失點坐標；

步驟2.3，根據步驟2.2得到兩個互相垂直的消失點坐標以確定地平線，并且計算標定結果；

步驟3，車輛目標的檢測：

使用深度學習的方法對車輛目標進行檢測，獲取車輛目標三維包絡基準點在圖像坐標系下的坐標；

步驟4，車輛目標三維包絡框的繪制及三維尺寸信息的計算：

步驟4.1，根據步驟3中的車輛目標三維包絡基準點信息與步驟2.3中的地平線約束，繪制車輛目標三維包絡框；

步驟4.2，根據步驟4.1中繪制的三維包絡框和步驟2.3中的標定結果計算車輛目標的三維尺寸信息。

2.如權利要求1所述的基于PTZ云臺相機的車輛目標三維信息獲取方法，其特征在于，所述的步驟1.2中，將攝像機拍攝的圖像中任意一點的世界坐標轉換到圖像坐標系中，得到世界坐標系的點與圖像坐標系的點的投影關系，包括：

世界坐標系中的坐標：x＝[x y z 1]^T，圖像坐標系中的坐標：p＝[αu αv α]^T，α≠0；其中x，y，z為世界坐標系中的坐標在x，y，z三個軸上的值，u，v為世界坐標系中的坐標在圖像坐標系中對應u，v兩個軸上的值，α為圖像坐標系中坐標的一個分量；

從世界坐標系到圖像坐標系的投影方程為：

p＝KRTx

其中K，R，T分別代表內參矩陣，旋轉矩陣和平移矩陣；將K，R，T代入到投影方程中可得到展開的投影模型；設圖像中任意一點的世界坐標為(x，y，z)，則世界坐標系的點與圖像坐標系的點的投影關系為：

3.如權利要求1所述的基于PTZ云臺相機的車輛目標三維信息獲取方法，其特征在于，所述的步驟2.1中，鉆石空間的方法是將無窮的圖像域變換到有限的菱形域的一種方法；

將圖像坐標系中多條平行直線的交點轉換為鉆石空間中折線組的交點，包括：

假設圖像坐標系中的直線方程為：ax+by+c＝0，其在鉆石空間映射為折線組，映射關系如下：

其中，a，b，c為直線一般方程的三個參數，三個參數均為常數，sgn為符號函數，下標o表示為圖像坐標系。

4.如權利要求1所述的基于PTZ云臺相機的車輛目標三維信息獲取方法，其特征在于，所述的步驟2.2中，將鉆石空間中折線組的交點變換到圖像坐標系中，求得圖像坐標系的消失點坐標，包括：

用鉆石空間的方法將無窮的圖像域變換到有限的菱形域中，建立起圖像空間和鉆石空間的映射關系，d代表鉆石空間y半軸長度，D代表鉆石空間x半軸長度；利用鉆石空間中點[x，y，w]_d和圖像空間中點[x，y，w]_o互相轉換的變換公式可以完成映射：

[x，y，w]_o→[-dDw，-dx，sgn(xy)x+y+sgn(y)dw]_d

[x，y，w]_d→[Dy，sgn(x)dx+sgn(y)Dy-dDw，x]_o

其中，w為圖像坐標系中坐標的一個分量，下標o為圖像坐標系，下標d為鉆石空間；將鉆石空間中折線組的交點根據上述的變換公式變換到圖像空間中，即求得準確的消失點坐標。