[發明專利]多譜段增強現實深水檢修可視化專家系統

有效

• 申請號: 201810453982.8
• 申請日: 2018-05-14
• 公開（公告）號: CN108924475B
• 公開（公告）日: 2021-08-13
• 發明（設計）人: 叢小飛;劉威風;楊志勇;趙杏杏;劉修恒
• 申請（專利權）人: 南京水動力信息科技有限公司
• 主分類號: H04N7/18
• 分類號: H04N7/18
• 代理公司: 深圳市賓亞知識產權代理有限公司 44459
• 代理人: 朱文玉

1.一種多譜段增強現實深水檢修可視化專家系統，其特征在于，包括：多譜段機器視覺水下成像子系統、3D場景增強現實子系統與視頻專家指揮子系統，其中，

所述多譜段機器視覺水下成像子系統用于采集復雜深水條件下的水庫堤壩周圍環境信號，并對所述環境信號進行模擬-數字信號轉換，對轉換后得到的環境數據進行深度學習和圖像處理以實時生成深水堤壩的水下影像數據，并將所述深水堤壩的水下影像數據和環境數據發送至所述3D場景增強現實子系統和視頻專家指揮子系統；其中，所述多譜段機器視覺水下成像子系統，包括：供電模塊、與所述供電模塊連接的360°圖像采集模塊、信號轉換模塊、微處理器、定位模塊、第一無線通信模塊和第四無線通信模塊，其中，

所述360°圖像采集模塊用于采集當前深水條件下的水庫堤壩周圍環境信號；所述360°圖像采集模塊包括：

多譜段波長收發裝置，與所述信號轉換模塊的輸入端相連，用于實現多譜段波長信號的接收和發送，并傳輸至所述信號轉換模塊；

聲吶，與所述信號轉換模塊的輸入端相連，用于進行水下導航定位，并將超聲波定位信號傳輸至所述信號轉換模塊；

測量傳感器組件，與所述信號轉換模塊的輸入端相連，用于采集當前深水條件下的圖像信號和環境狀態信號，并傳輸至所述信號轉換模塊；

所述信號轉換模塊的輸入端與所述360°圖像采集模塊的輸出端連接，用于將來自所述360°圖像采集模塊的環境信號，進行模擬-數字AD轉換，生成數字信號形式的環境數據，進而轉發至所述微處理器；

所述定位模塊用于獲取所述多譜段機器視覺水下成像子系統的當前位置信息，并發送至所述微處理器；

所述微處理器與所述信號轉換模塊和所述定位模塊連接，用于接收來自定位模塊的當前位置信息，以及對來自所述信號轉換模塊的環境數據，采用深度學習和圖像處理的方式，實時生成深水堤壩的水下影像數據，并通過所述第一無線通信模塊轉發至所述3D場景增強現實子系統，通過所述第四無線通信模塊轉發至所述視頻專家指揮子系統；

所述3D場景增強現實子系統與所述多譜段機器視覺水下成像子系統連接，用于對所述深水堤壩的水下影像數據構建3D場景圖像，并將構建的3D場景圖像與所述環境數據中的多種水下信息進行增強現實處理，實現圖像融合，生成3D增強現實融合圖像；其中，所述3D場景增強現實子系統包括：3D增強現實系統平臺、圖像處理模塊、全景成像軟件模塊、3D重建軟件模塊、視頻字符疊加OSD信息疊加軟件模塊和第二無線通信模塊，其中，

所述第二無線通信模塊與所述多譜段機器視覺水下成像子系統的第一無線通信模塊連接，用于接收所述深水堤壩的水下影像數據和環境數據，并發送至所述圖像處理模塊；

所述圖像處理模塊的輸入端與所述第二無線通信模塊的輸出端連接，用于對所述深水堤壩的水下影像數據進行圖像處理，并將處理后的深水堤壩的水下影像數據發送至所述全景成像軟件模塊；

所述全景成像軟件模塊用于生成深水堤壩的水下全景圖像數據，并發送至所述3D重建軟件模塊；

所述3D重建軟件模塊用于根據深水堤壩的水下全景圖像數據進行3D場景構建，并將構建后的3D場景圖像發送至所述3D增強現實系統平臺；

所述3D增強現實系統平臺與所述3D重建軟件模塊和OSD信息疊加軟件模塊連接，用于將構建的3D場景圖像與所述環境數據中的多種水下信息進行增強現實處理，通過OSD信息將環境數據融合到3D場景圖像中，實現圖像融合，生成3D增強現實融合圖像；

所述視頻專家指揮子系統與所述多譜段機器視覺水下成像子系統和所述3D場景增強現實子系統連接，用于遠程控制管理所述多譜段機器視覺水下成像子系統，以及根據深水堤壩的水下影像數據、環境數據和3D增強現實融合圖像，實時計算判斷深水堤壩的病害類型，發布預警信息，生成對檢修工作的指揮決策；所述視頻專家指揮子系統包括：視頻專家系統平臺控制終端、3D增強現實系統平臺、數據分析處理模塊、數據存儲服務器和預測預警發布模塊，其中，

所述視頻專家系統平臺控制終端接收來自所述3D增強現實系統平臺的3D增強現實融合圖像，發送至所述數據分析處理模塊進行處理分析；

所述數據分析處理模塊用于對3D增強現實融合圖像進行分析，并將分析結果存儲在數據存儲服務器中；

所述數據存儲服務器將分析結果進一步發送至所述視頻專家系統平臺控制終端；

所述視頻專家系統平臺控制終端根據深水堤壩的水下影像數據、環境數據和3D增強現實融合圖像，實時計算判斷深水堤壩的病害類型，發布預警信息，生成對檢修工作的指揮決策；

所述預測預警發布模塊的用于接收來自所述視頻專家系統平臺控制終端的預警信息并對外發布。