[發(fā)明專利]基于集群環(huán)境的點(diǎn)云數(shù)據(jù)并行處理方法和裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011301162.0
• 申請(qǐng)日: 2020-11-19
• 公開(kāi)（公告）號(hào): CN112363837A
• 公開(kāi)（公告）日: 2021-02-12
• 發(fā)明（設(shè)計(jì)）人: 許青云;李瑩;馬丁;韓冰;譚靖
• 申請(qǐng)（專利權(quán)）人: 北京航天泰坦科技股份有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06T1/20
• 代理公司: 北京市鼎立東審知識(shí)產(chǎn)權(quán)代理有限公司 11751
• 代理人: 朱慧娟;劉瑛

本申請(qǐng)公開(kāi)了一種基于集群環(huán)境的點(diǎn)云數(shù)據(jù)并行處理方法，該基于集群環(huán)境的點(diǎn)云數(shù)據(jù)并行處理方法包括獲取原始點(diǎn)云文件，將原始點(diǎn)云文件按地理范圍分割為多個(gè)子點(diǎn)云文件，構(gòu)建點(diǎn)云算法的處理流程模型，通過(guò)處理流程模型集群調(diào)度并行處理多個(gè)子點(diǎn)云文件得到多個(gè)計(jì)算結(jié)果，將多個(gè)計(jì)算結(jié)果合并為目標(biāo)點(diǎn)云文件。有效提升超大數(shù)據(jù)量點(diǎn)云數(shù)據(jù)處理效率。

技術(shù)領(lǐng)域

本公開(kāi)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種基于集群環(huán)境的點(diǎn)云數(shù)據(jù)并行處理方法和裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

點(diǎn)云數(shù)據(jù)的行業(yè)應(yīng)用越來(lái)越普遍，隨著數(shù)據(jù)量不斷增大，單一計(jì)算機(jī)進(jìn)行處理的方式已經(jīng)無(wú)法滿足數(shù)據(jù)處理速度的要求，而集群式并行計(jì)算方法可以進(jìn)行較大數(shù)據(jù)量點(diǎn)云數(shù)據(jù)的高效快速處理?，F(xiàn)有技術(shù)中利用PC集群進(jìn)行高性能并行計(jì)算的特點(diǎn)將配準(zhǔn)方法與MPI并行程序相結(jié)合，將數(shù)據(jù)和程序進(jìn)行并行分解，采用類似環(huán)形配準(zhǔn)方案進(jìn)行多個(gè)視點(diǎn)數(shù)據(jù)配準(zhǔn)，設(shè)計(jì)適用于多視點(diǎn)下點(diǎn)云數(shù)據(jù)的配置方法，以更高效快速的處理數(shù)據(jù)，在配準(zhǔn)過(guò)程中，一些閾值的選擇往往是基于先驗(yàn)經(jīng)驗(yàn)等方法得出的合理值。該方法引入并行處理的思想，將三維點(diǎn)云配準(zhǔn)處理與集群并行計(jì)算相結(jié)合，探究算法的并行性，使三維數(shù)據(jù)可以進(jìn)行并行化處理，但并沒(méi)有提出使點(diǎn)云處理全過(guò)程進(jìn)行集群并行處理的普適性方法?，F(xiàn)有方法面對(duì)大量點(diǎn)云數(shù)據(jù)，數(shù)據(jù)處理速度慢。

發(fā)明內(nèi)容

有鑒于此，本公開(kāi)提出了一種基于集群環(huán)境的點(diǎn)云數(shù)據(jù)并行處理方法，包括：

獲取原始點(diǎn)云文件；

將原始點(diǎn)云文件按地理范圍分割為多個(gè)子點(diǎn)云文件；

構(gòu)建點(diǎn)云算法的處理流程模型；

通過(guò)所述處理流程模型集群調(diào)度并行處理多個(gè)所述子點(diǎn)云文件得到多個(gè)計(jì)算結(jié)果；

將多個(gè)所述計(jì)算結(jié)果合并為目標(biāo)點(diǎn)云文件。

在一種可能的實(shí)現(xiàn)方式中，將原始點(diǎn)云文件按地理范圍分割為多個(gè)子點(diǎn)云文件包括：

統(tǒng)計(jì)所述原始點(diǎn)云文件的地理范圍；

根據(jù)所述地理范圍和預(yù)設(shè)點(diǎn)數(shù)得到所述子點(diǎn)云文件的子地理范圍；其中，所述預(yù)設(shè)點(diǎn)數(shù)為所述子點(diǎn)云文件最多可包含的點(diǎn)數(shù)目；

根據(jù)所述子地理范圍的鄰域信息設(shè)定重疊區(qū)；

將所述重疊區(qū)和所述子地理范圍形成所述子點(diǎn)云文件。

在一種可能的實(shí)現(xiàn)方式中，根據(jù)所述地理范圍和預(yù)設(shè)點(diǎn)數(shù)得到所述子點(diǎn)云文件的子地理范圍包括：

獲取所述預(yù)設(shè)點(diǎn)數(shù)；

根據(jù)所述預(yù)設(shè)點(diǎn)數(shù)劃分所述子點(diǎn)云文件的數(shù)目；

根據(jù)所述地理范圍和所述子點(diǎn)云文件的數(shù)目劃分所述子地理范圍。

在一種可能的實(shí)現(xiàn)方式中，構(gòu)建點(diǎn)云算法的處理流程模型包括：

獲取所述原始點(diǎn)云文件的作業(yè)流程；

提取所述作業(yè)流程中帶有需并行處理標(biāo)記的算法；

對(duì)所述算法進(jìn)行多處理器并行分解得到所述處理流程模型。

在一種可能的實(shí)現(xiàn)方式中，通過(guò)所述處理流程模型集群調(diào)度并行處理多個(gè)所述子點(diǎn)云文件得到多個(gè)計(jì)算結(jié)果包括：

將所述算法通過(guò)所述流程處理模型分配到多個(gè)集群計(jì)算節(jié)點(diǎn)；

每個(gè)集群計(jì)算點(diǎn)同時(shí)計(jì)算所述子點(diǎn)云文件得到所述計(jì)算結(jié)果。

在一種可能的實(shí)現(xiàn)方式中，將多個(gè)所述計(jì)算結(jié)果合并為目標(biāo)點(diǎn)云文件包括：

將多個(gè)所述計(jì)算結(jié)果的重疊區(qū)去除；

將多個(gè)所述計(jì)算結(jié)果合并為目標(biāo)點(diǎn)云文件。