[發(fā)明專利]基于云計(jì)算和數(shù)據(jù)虛擬化的氣象衛(wèi)星數(shù)據(jù)處理系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201711391975.1
• 申請日: 2017-12-21
• 公開（公告）號: CN108255539B
• 公開（公告）日: 2021-03-12
• 發(fā)明（設(shè)計(jì)）人: 邱珩;李強(qiáng);陳俊鋒
• 申請（專利權(quán)）人: 華風(fēng)象輯（北京）氣象科技有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F9/50;G06F16/25
• 代理公司: 廣州高炬知識產(chǎn)權(quán)代理有限公司 44376
• 代理人: 陳文龍

1.基于云計(jì)算和數(shù)據(jù)虛擬化的氣象衛(wèi)星數(shù)據(jù)處理系統(tǒng)，系統(tǒng)由數(shù)據(jù)資源池、插件集、調(diào)度引擎、生產(chǎn)流組成，數(shù)據(jù)資源池提供各種與數(shù)據(jù)相關(guān)的軟硬資源，插件集提供了對數(shù)據(jù)資源的處理工具，調(diào)度引擎負(fù)責(zé)插件執(zhí)行和計(jì)算資源分配，任務(wù)流實(shí)現(xiàn)生產(chǎn)應(yīng)用，其特征在于先將數(shù)據(jù)和存儲資源封裝成數(shù)據(jù)資源池，再將氣象衛(wèi)星數(shù)據(jù)處理算法或第三方處理命令封裝為可以在平臺上運(yùn)行的插件，氣象衛(wèi)星數(shù)據(jù)處理算法或第三方處理命令封裝的插件通過數(shù)據(jù)代理器來訪問數(shù)據(jù)資源池中的資源，然后用調(diào)度引擎調(diào)用所述氣象衛(wèi)星數(shù)據(jù)處理算法或第三方處理命令封裝的插件，并從計(jì)算資源池中分配相應(yīng)的資源給所述氣象衛(wèi)星數(shù)據(jù)處理算法或第三方處理命令封裝的插件，再將完成一定任務(wù)的所述氣象衛(wèi)星數(shù)據(jù)處理算法或第三方處理命令封裝的插件進(jìn)行邏輯上的編排后得到工作流，工作流根據(jù)時間來定時、重復(fù)執(zhí)行這些所述氣象衛(wèi)星數(shù)據(jù)處理算法或第三方處理命令封裝的插件，并負(fù)責(zé)結(jié)果的輸出。

2.根據(jù)權(quán)利要求1所述的基于云計(jì)算和數(shù)據(jù)虛擬化的氣象衛(wèi)星數(shù)據(jù)處理系統(tǒng)，其特征在于所述數(shù)據(jù)資源池提供存儲服務(wù)和虛擬化服務(wù)。

3.根據(jù)權(quán)利要求2所述的基于云計(jì)算和數(shù)據(jù)虛擬化的氣象衛(wèi)星數(shù)據(jù)處理系統(tǒng)，其特征在于所述存儲服務(wù)提供氣象衛(wèi)星數(shù)據(jù)的物理存儲方案，基于底層的存儲資源池和氣象衛(wèi)星數(shù)據(jù)的常用格式，提供集中的數(shù)據(jù)存儲，實(shí)現(xiàn)數(shù)據(jù)在時間、空間、種類上的統(tǒng)一。

4.根據(jù)權(quán)利要求2所述的基于云計(jì)算和數(shù)據(jù)虛擬化的氣象衛(wèi)星數(shù)據(jù)處理系統(tǒng)，其特征在于所述虛擬化服務(wù)針對使用場景構(gòu)建不同的虛擬視圖，屏蔽了數(shù)據(jù)在不同存儲方式下的差異，可動態(tài)創(chuàng)建表并加載數(shù)據(jù)，并通過封裝實(shí)現(xiàn)了簡單統(tǒng)一的數(shù)據(jù)訪問。

5.根據(jù)權(quán)利要求2所述的基于云計(jì)算和數(shù)據(jù)虛擬化的氣象衛(wèi)星數(shù)據(jù)處理系統(tǒng)，其特征在于所述虛擬化服務(wù)提供的功能包括但不限于空間數(shù)據(jù)提取、通道數(shù)據(jù)提取、時間序列提取、投影轉(zhuǎn)換、NC文件生成、HDF文件生成、元數(shù)據(jù)管理、Gdal命令調(diào)用、動態(tài)數(shù)據(jù)表構(gòu)建、實(shí)時數(shù)據(jù)增量導(dǎo)入、字段映射、表關(guān)聯(lián)、查詢語句封裝、數(shù)據(jù)訪問SDK。

6.根據(jù)權(quán)利要求1所述的基于云計(jì)算和數(shù)據(jù)虛擬化的氣象衛(wèi)星數(shù)據(jù)處理系統(tǒng)，其特征在于所述氣象衛(wèi)星數(shù)據(jù)處理算法或第三方處理命令封裝的插件集提供各類插件的統(tǒng)一管理，實(shí)現(xiàn)從氣象衛(wèi)星數(shù)據(jù)從格式解析、通道數(shù)據(jù)提取運(yùn)算、圖片操作及專業(yè)算法實(shí)現(xiàn)等各方面的工作。

7.基于云計(jì)算和數(shù)據(jù)虛擬化的氣象衛(wèi)星數(shù)據(jù)處理算法，包括以下步驟：步驟S1：用戶在Web頁面上配置數(shù)據(jù)下載插件；步驟S2：用戶在Web頁面上配置數(shù)據(jù)處理插件，為插件配置要處理的數(shù)據(jù)、所需的CPU和內(nèi)存資源、輸出結(jié)果等；步驟S3：用戶在Web頁面編排任務(wù)清單；步驟S4：調(diào)度器根據(jù)任務(wù)清單執(zhí)行其中的插件；步驟S5：取得返回結(jié)果，支持具體服務(wù)。

8.根據(jù)權(quán)利要求7所述的基于云計(jì)算和數(shù)據(jù)虛擬化的氣象衛(wèi)星數(shù)據(jù)處理算法，其特征在于S1包括以下步驟：步驟S101：配置接入數(shù)據(jù)源，包括數(shù)據(jù)源服務(wù)器地址、帳號信息、接入方式、更新頻次、文件名過濾規(guī)則等；步驟S102：配置接入數(shù)據(jù)屬性，包括文件格式、儀器名稱、通道名稱等信息；步驟S103：配置數(shù)據(jù)使用屬性，用于查詢、文件服務(wù)、計(jì)算服務(wù)還是地圖服務(wù)；步驟S104：根據(jù)使用屬性分別存于NoSQL數(shù)據(jù)庫、分布式文件系統(tǒng)或用邏輯分塊方式存于對象或文件系統(tǒng)中；步驟S105：數(shù)據(jù)代理器為數(shù)據(jù)表封裝統(tǒng)一SQL查詢接口。

9.根據(jù)權(quán)利要求7所述的基于云計(jì)算和數(shù)據(jù)虛擬化的氣象衛(wèi)星數(shù)據(jù)處理算法，其特征在于S3包括以下步驟：步驟S301：配置任務(wù)的基本信息，包括任務(wù)的描述、所有者、功能、使用數(shù)據(jù)的描述、輸出數(shù)據(jù)描述等信息； 步驟S302：選擇處理衛(wèi)星數(shù)據(jù)所需的插件，每個插件與氣象衛(wèi)星數(shù)據(jù)處理過程中相應(yīng)的步驟相關(guān)，邏輯上劃分的處理步驟對應(yīng)為系統(tǒng)中的具體插件，插件可以平臺預(yù)制的，也可以根據(jù)任務(wù)需要新編寫的；步驟S303：根據(jù)業(yè)務(wù)邏輯設(shè)計(jì)插件的執(zhí)行順序，通過拖拽方式排列插件的順序，并連接插件完成插件之間的拓?fù)鋱D，就完成了對插件邏輯的建立；步驟S304：根據(jù)插件在執(zhí)行中的依賴關(guān)系，設(shè)置插件的耦合方式，耦合方式有四種：數(shù)據(jù)耦合、邏輯耦合、全局耦合、消息耦合；步驟S305：設(shè)置任務(wù)的執(zhí)行計(jì)劃，主要是執(zhí)行時間，是否重復(fù)等，最后將保存配置好的任務(wù)在生產(chǎn)流中，并可根據(jù)業(yè)務(wù)的變化重新編輯、調(diào)整任務(wù)的插件、執(zhí)行計(jì)劃等信息。