[發明專利]一種大數據處理方法及系統

在審

• 申請號: 202011432279.2
• 申請日: 2020-12-09
• 公開（公告）號: CN112561811A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 張全月;杜春濱;鐘小艷
• 申請（專利權）人: 張全月
• 主分類號: G06T5/00
• 分類號: G06T5/00;G01B11/00;G01C15/00
• 代理公司: 廈門原創專利事務所(普通合伙) 35101
• 代理人: 劉劍鋒

本發明公開了一種大數據處理方法及系統。在該方法中，首先對當前三維激光掃描數據進行數據預處理，能夠對當前三維激光掃描數據進行第一次冗余數據篩選，在此基礎上，繼續對對數據預處理后的當前三維激光掃描數據進行數據去噪處理，這樣能夠再次對當前三維激光掃描數據進行第二次冗余數據處理，如此，通過多次處理冗余數據，能夠避免后續對三維激光掃描數據進行分析時出現分析結果不準確的情況。

技術領域

本公開涉及數據處理技術領域，特別涉及一種大數據處理方法及系統。

背景技術

三維激光掃描技術在測量方面的應用越來越廣泛，它能快速準確地獲取近距離靜態物體的空間三維數據，一般而言，在測量靜態物體時需要進行多次測量和分析，才能夠準確的得到三維激光掃描數據，然而進行多次測量時會產生大量的冗余數據，這時對得到的三維激光掃描數據進行分析時會出現分析結果不準確的情況。

發明內容

為改善相關技術中存在的技術問題，本公開提供了一種大數據處理方法及系統。

本發明提供了一種大數據處理方法，包括：

針對當前三維激光掃描數據與上一三維激光掃描數據中的每個關鍵數據，計算第一關鍵數據系數；根據所述第一關鍵數據系數對當前三維激光掃描數據進行數據預處理；

針對數據預處理后的當前三維激光掃描數據中的每個關鍵數據，計算第二關鍵數據系數；根據所述第二關鍵數據系數對所述數據預處理后的當前三維激光掃描數據進行數據去噪處理；

其中，所述針對當前三維激光掃描數據與上一三維激光掃描數據中的每個關鍵數據，計算第一關鍵數據系數的步驟包括：對當前三維激光掃描數據和上一三維激光掃描數據分別進行第一次深度數據提取，其中所述當前三維激光掃描數據在所述第一次深度數據提取中所使用的提取方式包含一行內的多列關鍵數據，所述上一三維激光掃描數據在所述第一次深度數據提取中所使用的提取方式包含多行和多列關鍵數據；將第一次深度數據提取后的當前三維激光掃描數據的每個關鍵數據的關鍵數據權重與第一次深度數據提取后的上一三維激光掃描數據的對應關鍵數據的關鍵數據權重相減，以獲得所述第一關鍵數據系數；

所述根據所述第一關鍵數據系數對當前三維激光掃描數據進行數據預處理的步驟包括：根據所述第一關鍵數據系數計算當前三維激光掃描數據中每行的第一數據干擾因子；根據所述第一數據干擾因子對當前三維激光掃描數據中的對應行進行數據預處理。

在一種可替換的實施方式中，所述根據所述第二關鍵數據系數對所述數據預處理后的當前三維激光掃描數據進行數據去噪處理的步驟包括：根據所述第二關鍵數據系數計算當前三維激光掃描數據中每行的第二數據干擾因子；根據所述第二數據干擾因子對所述數據預處理后的當前三維激光掃描數據中的對應行進行數據去噪處理。

在一種可替換的實施方式中，所述根據所述第一關鍵數據系數計算當前三維激光掃描數據中每行的第一數據干擾因子的步驟包括：

基于所述第一關鍵數據系數對當前三維激光掃描數據中每行的各個關鍵數據是否參與第一數據干擾統計進行第一判定；

根據所述第一判定的結果統計每行中參與第一數據干擾統計的關鍵數據個數、以及每行中參與第一數據干擾統計的關鍵數據的第一關鍵數據系數的第一求和值；

根據所述第一關鍵數據系數統計每行所有關鍵數據的第一關鍵數據系數的第二求和值；

基于所述第二求和值對當前三維激光掃描數據中各行是否參與數據預處理進行第二判定；根據所述第二判定的結果計算當前三維激光掃描數據中每行的第一數據干擾因子。