[發(fā)明專利]一種大數據開發(fā)與運行方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201611232140.7
• 申請日: 2016-12-28
• 公開（公告）號: CN106648672A
• 公開（公告）日: 2017-05-10
• 發(fā)明（設計）人: 黃超;曹正鳳;張祺君;郜義浩;邊海葉
• 申請（專利權）人: 北京云星宇交通科技股份有限公司;北京博宇通達科技有限公司
• 主分類號: G06F9/44
• 分類號: G06F9/44;G06Q10/10
• 代理公司: 北京正鼎專利代理事務所(普通合伙)11495
• 代理人: 岳亞

1.一種大數據開發(fā)與運行方法，其特征在于，包括：

擴展大數據計算處理流程，形成大數據處理流程的集成環(huán)境；

基于所述集成環(huán)境，獲取用戶定制的大數據處理流程；

上傳所述定制的大數據處理流程，調度運行所述上傳的大數據處理流程，并顯示運行結果。

2.根據權利要求1所述的大數據開發(fā)與運行方法，其特征在于，用戶根據所述運行結果，與其期望運行結果進行對比，如果所述運行結果與其期望運行結果不同，則重新定制新的大數據處理流程。

3.根據權利要求1所述的大數據開發(fā)與運行方法，其特征在于，所述擴展大數據計算處理流程，形成大數據處理流程的集成環(huán)境的步驟包括數據采集的擴展、數據存儲的擴展、數據處理的擴展和數據分享的擴展。

4.根據權利要求3所述的大數據開發(fā)與運行方法，其特征在于，所述數據采集的擴展包括歷史數據的采集和實時數據的采集，采集的數據類型包括結構化數據、半結構化數據和非結構化數據。

5.根據權利要求3或4所述的大數據開發(fā)與運行方法，其特征在于，所述數據存儲的擴展包括存儲結構化數據的關系型數據存儲和支持存儲半結構化數據和非結構化數據的非關系型數據存儲。

6.根據權利要求3或4所述的大數據開發(fā)與運行方法，其特征在于，所述數據處理的擴展包括SQL處理、通用算法處理及利用用戶開發(fā)的處理程序的處理；所述數據分享的擴展包括數據的批量輸出、實時輸出和外部高并發(fā)訪問。

7.一種大數據開發(fā)與運行系統(tǒng)，其特征在于，包括：

處理流程集成模塊，用于集成擴展后的大數據計算處理流程；

獲取模塊，用于獲取用戶定制的大數據處理流程；

上傳模塊，用于將定制的大數據處理流程上傳至大數據集群；

調度運行模塊，用于運行上傳至大數據集群的大數據處理流程，獲得運行結果；

顯示模塊，用于顯示所述運行結果。

8.根據權利要求7所述的大數據開發(fā)與運行系統(tǒng)，其特征在于，所述處理流程集成模塊包括：

歷史數據采集模塊，用于采集非交易數據；

實時數據采集模塊，用于實時采集即時發(fā)生的業(yè)務數據；

存儲模塊，用于存儲采集的所述歷史數據和業(yè)務數據；

處理模塊，用于處理采集的歷史數據和業(yè)務數據，獲得處理后的數據；

數據分享模塊，用于分享所述處理后的數據。

9.根據權利要求8所述的大數據開發(fā)與運行系統(tǒng)，其特征在于，所述歷史數據采集模塊和實時數據采集模塊均包括結構化數據采集單元、半結構化數據采集單元和非結構化數據采集單元。

10.根據權利要求8或9所述的大數據開發(fā)與運行系統(tǒng)，其特征在于，所述存儲模塊包括關系型數據存儲單元和非關系型數據存儲單元，所述關系型數據存儲單元用于存儲結構化數據，所述非關系型數據存儲單元用于存儲半結構化數據和非結構化數據；

所述處理模塊包括SQL處理單元、通用算法處理單元及開源處理單元；

所述SQL處理單元用于支持用戶直接使用SQL語句處理所述歷史數據和交易數據；

所述通用算法處理單元用于利用通用算法處理所述歷史數據和交易數據；所述開源處理單元用于基于用戶開發(fā)的處理程序處理所述歷史數據和交易數據；

所述數據分享模塊包括批量輸出單元、實時輸出單元和高并發(fā)訪問接口；

所述批量輸出單元用于將所述處理后的數據一次性或周期性地輸出；

所述實時輸出單元用于將所述處理后的數據實時輸出；

所述高并發(fā)訪問接口用于外部業(yè)務系統(tǒng)高并發(fā)訪問所述處理后的數據。