[發明專利]一種從全景激光點云到視頻流的轉換方法

有效

• 申請號: 201810020774.9
• 申請日: 2018-01-10
• 公開（公告）號: CN108230242B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 莊嚴;顧宇峰;閆飛;何國建
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 李曉亮;潘迅

1.一種從全景激光點云到視頻流的轉換方法，其特征在于：所述的轉換方法利用三維激光獲取的全景激光點云數據，選取視點和以該視點為中心的一組視角方向，對于每一個視角方向：首先將全局坐標系下的原始激光點云數據轉換到該視角方向下的視角坐標系，再通過針孔相機模型將視角坐標系下的激光點云投影到像素坐標系，得到激光測距點與圖像像素間的對應關系，并提取激光點云在三個特征通道上的特征，將來自多個通道的特征融合后得到一幅紋理清晰的灰度圖像；所有視角方向下的圖像生成后，能夠得到一系列的灰度圖像，將得到的灰度圖像按照固定的順序和幀率播放，從而得到一段與全景場景對應的視頻流；具體步驟如下：

1)確定視點坐標

對于三維激光點云的定點采集方式，選取激光傳感器所在的采集點作為視點；對于點云的移動采集方式，在激光傳感器的采集軌跡上等間距選取視點；

2)過視點O'作m個與水平面平行的方向向量(e₁,e₂,…,e_m)，若相鄰向量夾角的弧度值滿足公式(1)，則將這組向量選為圖像序列的視角方向；

3)點云中每個激光測距點從全局坐標系到視點坐標系的轉換關系如公式(5)所示：

其中，[x′,y′,z′,1]^T、[x,y,z,1]^T分別表示激光測距點在視點坐標系和全局坐標系的坐標，為視點坐標系相對全局坐標系在豎直方向的旋轉角，dx、dy、dz是相對全局坐標系的平移量

4)將三維激光點云映射到二維像素平面是一個投影過程，其數學模型為針孔相機模型；點云到像素的映射關系如公式(12)所示：

其中，[x′,y′,z′]^T和[u,v,1]^T表示激光測距點和圖像像素點的坐標，c_z和c_y為像素點在像素平面的平移距離，α和β為水平和豎直方向的視角大小的一半；

5)計算二維灰度圖像

選取反射強度、方位角、法向量這三種特征來生成灰度圖像；計算每個像素對應的激光點在三個特征通道的特征后，將其按照公式(15)歸一化到[0,1]，得到每個像素點在反射強度通道、方位角通道、法向量通道的度量值I_u,v、θ_u,v、w_u,v，公式(15)如下：

其中，I_min和I_max表示反射強度的最小和最大值，w_min和w_max表示法向量在豎直方向分量的最小和最大值；

設方位角特征通道和法向量特征通道的權值為p和q，M與N為圖像的高和寬，將特征融合后每個像素點的灰度值g_u,v表示如下：

灰度值矩陣的方差δ²如公式(18)所示，代表圖片灰度矩陣值中所有元素的平均值；聯立公式(17)和公式(18)，解出當δ²取得最大值時的權重和將其代回到公式(17)得到圖像中每個像素的灰度值；

6)生成視頻流

重復步驟3)～步驟5)，直到生成完所有視角方向下的灰度圖像；利用“視覺暫留”現象，按照固定的順序和幀率播放得到的灰度圖像序列，進而得到一段全景視頻流。