[發(fā)明專利]基于大數(shù)據(jù)進(jìn)行地形切斷面并行計(jì)算方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110531819.0
• 申請(qǐng)日: 2021-05-17
• 公開(kāi)（公告）號(hào): CN113190526A
• 公開(kāi)（公告）日: 2021-07-30
• 發(fā)明（設(shè)計(jì)）人: 張振京;陳志軍;郭容昱;侯繼偉;于煬;陳昕宇
• 申請(qǐng)（專利權(quán)）人: 中國(guó)鐵路設(shè)計(jì)集團(tuán)有限公司
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F16/21;G06F16/29
• 代理公司: 天津市宗欣專利商標(biāo)代理有限公司 12103
• 代理人: 董光仁

本發(fā)明公開(kāi)是關(guān)于基于大數(shù)據(jù)進(jìn)行地形切斷面并行計(jì)算方法及系統(tǒng)，涉及勘察設(shè)計(jì)領(lǐng)域，包括以下步驟：步驟1：建立地形數(shù)據(jù)模型；步驟2：服務(wù)器啟動(dòng)多線程監(jiān)聽(tīng)服務(wù)及大數(shù)據(jù)處理服務(wù)；步驟3：客戶端發(fā)起到服務(wù)器的連接請(qǐng)求；步驟4：建立連接后，客戶端發(fā)起切斷面請(qǐng)求；步驟5：服務(wù)器接收切斷面請(qǐng)求后，啟動(dòng)切斷面處理任務(wù)。本公開(kāi)技術(shù)方案極大提升了生產(chǎn)效率，特別是對(duì)于海量地形數(shù)據(jù)量的切斷面計(jì)算。利用大數(shù)據(jù)處理技術(shù)實(shí)現(xiàn)了地形數(shù)據(jù)分布式存儲(chǔ)、數(shù)據(jù)分片、數(shù)據(jù)并行處理、數(shù)據(jù)預(yù)加載到內(nèi)存的功能，解決了傳統(tǒng)地形數(shù)據(jù)無(wú)序化存儲(chǔ)、切斷面計(jì)算效率低下的問(wèn)題，有效促進(jìn)了地形數(shù)據(jù)的檢索再利用，提升了切斷面計(jì)算的性能。

技術(shù)領(lǐng)域

本發(fā)明公開(kāi)涉及勘察設(shè)計(jì)領(lǐng)域，尤其涉及基于大數(shù)據(jù)進(jìn)行地形切斷面并行計(jì)算方法及系統(tǒng)。

背景技術(shù)

隨著勘察設(shè)計(jì)業(yè)務(wù)的發(fā)展，工程數(shù)字化技術(shù)的應(yīng)用越來(lái)越廣泛，GIS、BIM以及三維協(xié)同技術(shù)快速的被推廣。相對(duì)傳統(tǒng)二維設(shè)計(jì)，工程數(shù)字化的應(yīng)用一方面產(chǎn)生了海量的、多樣化的信息化數(shù)據(jù)，現(xiàn)有的關(guān)系數(shù)據(jù)庫(kù)、文本存儲(chǔ)方式已經(jīng)無(wú)法滿足對(duì)數(shù)據(jù)高效存儲(chǔ)、利用的需求；另一方面?zhèn)鹘y(tǒng)的數(shù)據(jù)處理方式在對(duì)海量數(shù)據(jù)的處理已經(jīng)成為生產(chǎn)效率的制約。地形數(shù)據(jù)是工程數(shù)字化應(yīng)用的重要支撐數(shù)據(jù)，數(shù)據(jù)量大，尤其是在進(jìn)行地形數(shù)據(jù)切斷面處理時(shí)耗時(shí)較長(zhǎng)，目前尚未有較好的解決方案。

目前，在勘察設(shè)計(jì)領(lǐng)域，地形數(shù)據(jù)切斷面計(jì)算效率已經(jīng)無(wú)法滿足工程數(shù)字化應(yīng)用的要求，一方面大量的數(shù)據(jù)以文件的形式存儲(chǔ)在計(jì)算機(jī)的文件夾中，導(dǎo)致檢索困難、重復(fù)利用率低；另一方面，對(duì)大量地形數(shù)據(jù)進(jìn)行切斷面計(jì)算時(shí)采用傳統(tǒng)單機(jī)模式，效率低下，耗時(shí)長(zhǎng)，因此設(shè)計(jì)一種基于大數(shù)據(jù)進(jìn)行地形切斷面并行計(jì)算方法是本領(lǐng)域亟待解決的技術(shù)問(wèn)題。

解決上述技術(shù)問(wèn)題的難度：目前在勘察設(shè)計(jì)領(lǐng)域?qū)τ诘匦螖?shù)據(jù)切斷面處理時(shí)耗時(shí)較長(zhǎng)，無(wú)法滿足工程數(shù)字化應(yīng)用的要求的情況，尚未有較好的解決方案，存在較多的技術(shù)難點(diǎn)，主要包括海量數(shù)據(jù)的高效存取、地形數(shù)據(jù)的分塊模型建立、切斷面算法的并行處理以及分布式處理結(jié)果的合并等，均有較大的研究難度。

解決上述技術(shù)問(wèn)題的意義在于：本發(fā)明內(nèi)容提出的基于大數(shù)據(jù)進(jìn)行地形切斷面進(jìn)行并行計(jì)算的方法有效解決了勘察設(shè)計(jì)領(lǐng)域大量地形數(shù)據(jù)切斷面效率低下、耗時(shí)長(zhǎng)的問(wèn)題，極大的提升了設(shè)計(jì)工作的效率，為二維設(shè)計(jì)向三維設(shè)計(jì)轉(zhuǎn)化奠定了良好的基礎(chǔ)，可有效促進(jìn)勘察設(shè)計(jì)領(lǐng)域業(yè)務(wù)升級(jí)及發(fā)展。

發(fā)明內(nèi)容

為克服相關(guān)技術(shù)中存在的問(wèn)題，本發(fā)明公開(kāi)實(shí)施例提供了基于大數(shù)據(jù)進(jìn)行地形切斷面并行計(jì)算方法。所述技術(shù)方案如下：

根據(jù)本發(fā)明公開(kāi)實(shí)施例的第一方面，該基于大數(shù)據(jù)進(jìn)行地形切斷面并行計(jì)算方法包括以下步驟：

步驟1：建立地形數(shù)據(jù)模型；

步驟2：服務(wù)器啟動(dòng)多線程監(jiān)聽(tīng)服務(wù)及大數(shù)據(jù)處理服務(wù)；

步驟3：客戶端發(fā)起到服務(wù)器的連接請(qǐng)求；

步驟4：建立連接后，客戶端發(fā)起切斷面請(qǐng)求；

步驟5：服務(wù)器接收切斷面請(qǐng)求后，啟動(dòng)切斷面處理任務(wù)。

在一個(gè)實(shí)施方案中，所述建立地形數(shù)據(jù)模型步驟中，其具體為，

1.1地形數(shù)據(jù)預(yù)處理，形成規(guī)則格網(wǎng)與不規(guī)則三角形格網(wǎng)相結(jié)合的分塊數(shù)據(jù)，把一個(gè)項(xiàng)目所用到的地形數(shù)據(jù)，拆分成多個(gè)規(guī)則的矩形，每個(gè)矩形由若干不規(guī)則三角形組成的格網(wǎng)表示；

1.2建模后的地形數(shù)據(jù)采用HDFS的機(jī)制進(jìn)行存儲(chǔ)。

在一個(gè)實(shí)施方案中，所述客戶端發(fā)起到服務(wù)器的連接請(qǐng)求步驟，其具體為，服務(wù)器監(jiān)聽(tīng)服務(wù)在判定后端資源充足的前提下同意請(qǐng)求并建立與客戶端的持久連接；具體包括以下步驟：

步驟3.1獲取服務(wù)器CPU資源利用率；

步驟3.2獲取服務(wù)器內(nèi)存資源利用率；