[發明專利]一種適用于水池實驗中運動物體三維軌跡的視覺測量方法

在審

• 申請號: 201910914339.5
• 申請日: 2019-09-26
• 公開（公告）號: CN110706291A
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 艾尚茂;劉德鵬
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T5/00;G06N3/08;G06N3/04;G01M10/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種適用于水池實驗中運動物體三維軌跡的視覺測量方法，其特征在于，包括以下步驟：

步驟一：建立含有畸變項的水下非線性攝像機模型，通過標定板對水下攝像機進行標定；

步驟二：采集目標對象一定數量的不同姿態的水下圖像，組成卷積神經網絡的訓練圖集，作為卷積神經網絡訓練輸入；

步驟三：建立卷積神經網絡模型，進行卷積神經網絡訓練；

步驟四：布置水下攝像機，采集水下彩色圖像作為卷積神經網絡的輸入，卷積神經網絡輸出被測對象特征點的圖像坐標；

步驟五：通過2D圖像與3D物體之間點的對應關系，采用PnP算法獲取物體的定位信息；

步驟六：將每幀圖像數據組合。

2.根據權利要求1所述的一種適用于水池實驗中運動物體三維軌跡的視覺測量方法，其特征在于，所述的水下非線性攝像機模型如下所示，

假設空間一點P_W(X_W,Y_W,Z_W)對應的攝像機坐標系下坐標為(X_C,Y_C,Z_C)，在圖像物理坐標系下投影坐標為(x,y)，以圖像左上角點為原點建立圖像像素坐標系O-uv，則空間點在攝像機坐標系下的坐標與在圖像物理坐標系下的投影坐標之間幾何變換關系為

其中：λ為深度系數，f為相機焦距，d_x與d_y為分別為每個像素沿x軸與y軸的實際尺寸，(u₀,v₀)為光心在像素坐標系下的坐標，矩陣R和向量T分別為由世界坐標系到攝像機坐標系的旋轉矩陣與平移向量；

引入二階徑向畸變對攝像機模型進行修正，畸變后的成像點坐標(x_d,y_d)與理想成像點坐標(x,y)之間關系為

其中，k₁、k₂為攝像機的畸變系數，具體數值由攝像機標定獲得。

最終得到完整的水下非線性攝像機模型為

然后基于該模型采用張正友法對水下攝像機進行參數標定。

3.根據權利要求1所述的一種適用于水池實驗中運動物體三維軌跡的視覺測量方法，其特征在于，所述卷積神經網絡模型，包含卷積層和池化層，卷積層包含多個卷積濾波器，每個卷積濾波器大小相同，權值不同。

4.根據權利要求1所述的一種適用于水池實驗中運動物體三維軌跡的視覺測量方法，其特征在于，所述卷積神經網絡以彩色圖像作為輸入，以特征點坐標作為輸出，并采用ImageNet數據集對所述卷積神經網絡的權重進行初始化。

5.根據權利要求1所述的一種適用于水池實驗中運動物體三維軌跡的視覺測量方法，其特征在于，所述水下攝像機的布置按照覆蓋物體運動范圍的原則進行布置，要求相鄰兩攝像機視野有部分重合。

6.根據權利要求1所述的一種適用于水池實驗中運動物體三維軌跡的視覺測量方法，其特征在于，所述拍攝的圖像分為S×S的規則網格,每一個網格具有與之相關聯的多維向量，該多維向量包含預測的特征點的2D圖像位置以及計算得到的平均置信度值。

7.根據權利要求1所述的一種適用于水池實驗中運動物體三維軌跡的視覺測量方法，其特征在于，所述特征點為與物體邊緣貼合的包圍盒的八個角點以及物體模型質心。

8.根據權利要求1所述的一種適用于水池實驗中運動物體三維軌跡的視覺測量方法，其特征在于，所述特征點的圖像坐標預測：對于對象質心，在預測過程中會被限制位于網格內部；對于包圍盒角點，則不進行限制,即可以位于網格外部；當圖像投影分布于多個網格區間內時，選取置信度分數最高的網格單元四周3×3的網格鄰域進行檢測。