[發(fā)明專利]處理大數(shù)據(jù)的方法、執(zhí)行其的裝置以及儲(chǔ)存其的存儲(chǔ)媒介

有效

• 申請?zhí)枺?/td>: 201410496053.7
• 申請日: 2014-09-24
• 公開（公告）號(hào): CN104462179B
• 公開（公告）日: 2020-08-18
• 發(fā)明（設(shè)計(jì)）人: 李周烈;姜絢湘;金基道;吳石根;樸鍾元;崔燉廷
• 申請（專利權(quán)）人: 樂金信世股份有限公司
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F3/0481
• 代理公司: 北京弘權(quán)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11363
• 代理人: 周曉雨;俞波

本發(fā)明涉及一種處理大數(shù)據(jù)的方法，所述方法包括以下步驟：在調(diào)色板上布置多個(gè)動(dòng)作圖標(biāo)和表示所述多個(gè)動(dòng)作圖標(biāo)的非循環(huán)順序的多個(gè)流程圖標(biāo)以產(chǎn)生工作流程；檢查所述多個(gè)布置的動(dòng)作圖標(biāo)和所述多個(gè)流程圖標(biāo)的語法，所述多個(gè)流程圖標(biāo)中的每個(gè)從屬于相對應(yīng)的動(dòng)作圖標(biāo)；以及當(dāng)發(fā)現(xiàn)特定圖標(biāo)的語法錯(cuò)誤時(shí)，圖形地產(chǎn)生表示特定圖標(biāo)的語法錯(cuò)誤的報(bào)警標(biāo)記。因此，所述方法和裝置可以利用Hadoop有效地管理用于處理不規(guī)則大數(shù)據(jù)的工作流程。

相關(guān)申請的交叉引用

本申請要求2013年9月24日提交的申請?zhí)枮?0-2013-0113502的韓國專利申請的先前申請日的權(quán)益以及優(yōu)先權(quán)，其全部內(nèi)容通過引用合并于此。

技術(shù)領(lǐng)域

實(shí)施例可以涉及大數(shù)據(jù)處理技術(shù)，并且更具體地涉及利用Hadoop有效地管理用于處理不規(guī)則大數(shù)據(jù)的工作流程的處理大數(shù)據(jù)的方法、執(zhí)行所述方法的裝置、以及儲(chǔ)存所述方法的存儲(chǔ)媒介。

背景技術(shù)

大數(shù)據(jù)在數(shù)字環(huán)境中產(chǎn)生，并且對應(yīng)于包括數(shù)值數(shù)據(jù)和字母、圖像數(shù)據(jù)的大規(guī)模數(shù)據(jù)，且大數(shù)據(jù)的大小是龐大的。Hadoop是支持用于處理大數(shù)據(jù)的分配程序的基于java的平臺(tái)。Hadoop包括HDFS(Hadoop分布式文件系統(tǒng))，并且分布式存儲(chǔ)的數(shù)據(jù)經(jīng)由映射-歸約(map-reduce)并行處理。

韓國專利登記號(hào)10-1218087公開了一種Hadoop映射-歸約中的用于二進(jìn)制數(shù)據(jù)分析的輸入格式提取方法和一種利用所述方法的用于二進(jìn)制數(shù)據(jù)的分析方法。在所述二進(jìn)制數(shù)據(jù)分析方法中，當(dāng)在Hadoop環(huán)境下分配式處理具有固定長度的二進(jìn)制數(shù)據(jù)時(shí)，可以在沒有數(shù)據(jù)格式轉(zhuǎn)換處理的情況下處理所述二進(jìn)制數(shù)據(jù)，由此需要相對較小的存儲(chǔ)空間，且可以縮短處理時(shí)間。

韓國專利公開號(hào)10-2012-0085400公開了一種利用基于Hadoop的并行算法的數(shù)據(jù)包分析系統(tǒng)以及能降低數(shù)據(jù)包處理成本的方法。所述數(shù)據(jù)包分析方法通過對多個(gè)服務(wù)器執(zhí)行并行算法來執(zhí)行數(shù)據(jù)包分析，使得所述數(shù)據(jù)包分析方法可以不需要高成本服務(wù)器并且降低處理成本。

發(fā)明內(nèi)容

實(shí)施例可以提供一種能利用Hadoop有效地管理用于處理不規(guī)則大數(shù)據(jù)的工作流程的處理大數(shù)據(jù)的方法。

實(shí)施例可以提供一種能根據(jù)提供用于產(chǎn)生工作流程的元數(shù)據(jù)的語法錯(cuò)誤來提供報(bào)警標(biāo)記的處理大數(shù)據(jù)的方法。

實(shí)施例可以提供一種能通過從任務(wù)跟蹤器受信于動(dòng)作圖標(biāo)執(zhí)行來提供映射-歸約處理的完成時(shí)間的處理大數(shù)據(jù)的方法。

在至少一個(gè)實(shí)施例中，一種處理大數(shù)據(jù)的方法包括以下步驟：在調(diào)色板上布置多個(gè)動(dòng)作圖標(biāo)和表示所述多個(gè)動(dòng)作圖標(biāo)的非循環(huán)順序的多個(gè)流程圖標(biāo)以產(chǎn)生工作流程；檢查所述多個(gè)布置的動(dòng)作圖標(biāo)和所述多個(gè)流程圖標(biāo)的語法，所述多個(gè)流程圖標(biāo)中的每個(gè)從屬于相對應(yīng)的動(dòng)作圖標(biāo)；以及當(dāng)發(fā)現(xiàn)特定圖標(biāo)的語法錯(cuò)誤時(shí)，圖形地產(chǎn)生表示特定圖標(biāo)的語法錯(cuò)誤的報(bào)警標(biāo)記。

在至少一個(gè)實(shí)施例中，布置所述多個(gè)動(dòng)作圖標(biāo)和所述多個(gè)流程圖標(biāo)可以包括：當(dāng)在一對動(dòng)作圖標(biāo)之間布置特定的流程圖標(biāo)時(shí)，檢查所述一對動(dòng)作圖標(biāo)的順序處理可用性。

布置所述多個(gè)動(dòng)作圖標(biāo)和所述多個(gè)流程圖標(biāo)還可以包括：當(dāng)在工作流程中選擇特定圖標(biāo)時(shí)從圖標(biāo)窗口提供用于特定動(dòng)作圖標(biāo)的元數(shù)據(jù)，以及儲(chǔ)存用于元數(shù)據(jù)的順序執(zhí)行過程。布置所述多個(gè)動(dòng)作圖標(biāo)和所述多個(gè)流程圖標(biāo)還可以包括：接收與用于特定動(dòng)作圖標(biāo)的映射-歸約操作相關(guān)的Hadoop設(shè)定參數(shù)。

布置所述多個(gè)動(dòng)作圖標(biāo)和所述多個(gè)流程圖標(biāo)還可以包括：設(shè)定與用于特定動(dòng)作圖標(biāo)的映射-歸約工作相關(guān)的Hadoop分布式存儲(chǔ)的輸入-輸出位置。

在至少一個(gè)實(shí)施例中，所述多個(gè)動(dòng)作圖標(biāo)中的一部分可以分別包括大數(shù)據(jù)處理工作，而所述多個(gè)工作圖標(biāo)中的其他部分可以分別包括流程處理工作。

在至少一個(gè)實(shí)施例中，檢查語法可以包括：檢查用在所述多個(gè)布置的動(dòng)作圖標(biāo)及其從屬流程圖標(biāo)中的執(zhí)行過程是否被定義和可用。