[發明專利]基于多特征整合深度學習模型的傾斜攝影點云分類方法

有效

• 申請號: 201910329481.3
• 申請日: 2019-04-23
• 公開（公告）號: CN110110621B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 吳艷蘭;楊輝;王彪
• 申請（專利權）人: 安徽大學
• 主分類號: G06V20/17
• 分類號: G06V20/17;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 安徽順超知識產權代理事務所(特殊普通合伙) 34120
• 代理人: 周發軍

本發明公開了攝影測量數據處理技術領域的基于多特征整合深度學習模型的傾斜攝影點云分類方法，首先，通過研究顧及視覺注意力機制的點云分類優化，實現點云立體視覺注意特征分析方法，以及基于深度學習的立體目標視覺注意力評估方法，并進行識別目標注意力強弱評估與排序；其次，利用立體視覺注意力機制，對待識別的傾斜攝影點云進行點云過濾，開展點云初級特征描述及自學習子模型研究；最后，經過點云場景相對于待識別目標的視覺注意力機制過濾后的點云作為待識別點云；本發明在應用上，取得具有實用價值的傾斜攝影實景點云分類技術，以期切實地推進傾斜攝影應用由“可視化”向“可計算”方向發展。

技術領域

本發明涉及攝影測量數據處理技術領域，具體涉及基于多特征整合深度學習模型的傾斜攝影點云分類方法。

背景技術

傾斜攝影技術由于突破了傳統航空攝影難以獲取地形地物的側面紋理和三維信息的限制，目前已被廣泛應用于大比例尺地形圖測繪、城市空間數據基礎設施建設、城市快速真三維建模等，傾斜攝影信息提取的自動化程度直接影響著大規模的數據生產、廣泛的行業應用、以及數據的充分應用。目前，傾斜攝影外業數據經過“影像預處理、自動聯合空三解算、影像密集匹配、三維點云生成、三角網構建、紋理映射”等步驟，便可快速高效、全自動化地獲得區域真實可量測立體模型，去除紋理信息，該模型即為數字表面模型DSM。然而，這種全自動獲得的三維立體模型和DSM產品其實質是一張整體相連接的含紋理貼圖的不規則三角網，這使得傾斜攝影應用普遍面臨著“只能看”、“不能算”的瓶頸問題，傾斜攝影地物目標識別與分類自動化研究遠遠落后于傾斜攝影硬件和處理系統的快速發展，不能滿足人們對其應用的要求。

深度學習作為促進無人機傾斜攝影技術發展的重要驅動力，已得到該領域學者們的普遍關注，但現有研究主要聚焦于無人機影像目標識別與語義分割，將影像自動識別納入無人機系統以實現智能控制，無人機導航控制、DTM提取、以及無人機其他傳感器的目標識別等，對于傾斜攝影點云分類深度學習方面，研究不多，仍主要停留傳統方法上，如面向對象分類方法、監督分類和非監督分類方法、隨機森林方法等。雖然，近年來，激光點云深度學習研究已涌現出一些優秀成果，但傾斜攝影點云在拍攝角度、數據源、工作流程、關注目標等方面具有自身特點，迫切必要研究適用于傾斜攝影的點云分類深度學習方法。

在當前技術條件下，基于深度學習的傾斜攝影點云分類，主要面臨如下挑戰：1)“目標多樣、形態結構復雜、目標遮擋和重疊以及空間密度差別迥異等現象，是三維點云自動精細分類的共同難題”，相對于激光點云，攝影測量點云噪聲更多、分布更加不均勻，需要更加穩健的算法；2)一直以來，傾斜攝影信息提取大都圍繞“人工立體測圖”模式開展，其生產和應用流程大多缺乏傾斜攝影點云分類這一環節，造成傾斜攝影點云分類研究未受到重視，相關研究不多，深度學習訓練樣本難以獲取，缺乏公開樣本數據集；3)雖然當前研究呈現出人工特征先驗知識與深度學習模型相融合的技術發展方向，提出了若干點云特征學習策略和模型構建方法，但在在人眼立體視覺經驗的利用上仍缺乏研究；4)實用化的深度學習模型是以取代實際人工操作為目標，傾斜攝影人工立體測圖中，即使在存在明顯數據缺漏、數據遮擋與數據重疊、形狀或紋理扭曲、陰影干擾、飛點或臟點等數據異常情況下，人眼視覺通過綜合感知地物目標的立體形狀、顏色、紋理等特征，也是能夠輕松而明確地識別出植被、水域、地面、建筑物、以及更精細的地物類型。因此，研究能達到“立體測圖條件下的人眼識別”效果的傾斜攝影點云分類深度學習方法是一極具挑戰性的任務，要求方法在魯棒性、小樣本、精度、適用性等方面都要有很大提升。基于此，本發明設計了基于多特征整合深度學習模型的傾斜攝影點云分類方法，以解決上述問題。

發明內容

本發明的目的在于提供基于多特征整合深度學習模型的傾斜攝影點云分類方法，以“傾斜攝影點云分類方法達到傾斜攝影人眼識別效果”為核心目標，將“人眼立體識別經驗”和“注意的特征整合理論”應用到“傾斜攝影點云分類問題”，從而形成“視覺機制對點云分類方法的優化作用觀”，即點云多分類任務可分解為按地物目標注意力強弱順序依次進行的點云目標識別任務，在此思想指導下，設計了顧及視覺注意力機制的點云分類優化流程，以解決上述背景技術中提出的問題。