[發(fā)明專利]一種用于采集自動氣象站數(shù)據(jù)的系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201710044854.3
• 申請日: 2017-01-20
• 公開（公告）號: CN106897159A
• 公開（公告）日: 2017-06-27
• 發(fā)明（設(shè)計）人: 龔杰;金琪;王希;謝道奇;王勇華;彭琦;蔡楊;房珊珊;彭姍姍
• 申請（專利權(quán)）人: 武漢華信聯(lián)創(chuàng)技術(shù)工程有限公司;湖北省氣象信息與技術(shù)保障中心
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F17/30
• 代理公司: 北京輕創(chuàng)知識產(chǎn)權(quán)代理有限公司11212
• 代理人: 楊立,陳振玉

1.一種用于采集自動氣象站數(shù)據(jù)的系統(tǒng)，其特征在于：包括消息生產(chǎn)模塊、消息隊(duì)列模塊和消息消費(fèi)模塊，所述消息生產(chǎn)模塊與所述消息消費(fèi)模塊之間是相互獨(dú)立的,且所述消息生產(chǎn)模塊中設(shè)有與不同的自動氣象站相連的兼容接口,所述消息消費(fèi)模塊中配置有與不同的自動氣象站相匹配的數(shù)據(jù)解析類和數(shù)據(jù)倉庫類；

所述消息生產(chǎn)模塊，其用于采用消息隊(duì)列持久化技術(shù)通過兼容接口向不同的自動氣象站請求相應(yīng)的自動氣象站數(shù)據(jù)，并將請求到的自動氣象站數(shù)據(jù)發(fā)送給所述消息列隊(duì)模塊；

所述消息隊(duì)列模塊，其用于將所述消息生產(chǎn)模塊發(fā)送過來的自動氣象站數(shù)據(jù)進(jìn)行存儲并以消息隊(duì)列的方式進(jìn)行異步傳輸；

所述消息消費(fèi)模塊，其用于接收所述消息隊(duì)列模塊異步傳輸過來的自動氣象站數(shù)據(jù)，并通過數(shù)據(jù)解析類和數(shù)據(jù)倉庫類對獲取的自動氣象站數(shù)據(jù)進(jìn)行解析后寫入到數(shù)據(jù)庫中。

2.根據(jù)權(quán)利要求1所述的一種用于采集自動氣象站數(shù)據(jù)的系統(tǒng)，其特征在于：所述消息隊(duì)列模塊具體為Kafka、ActiveMQ和RabbitMQ中的任一個。

3.根據(jù)權(quán)利要求1或2所述的一種用于采集自動氣象站數(shù)據(jù)的系統(tǒng)，其特征在于：所述消息生產(chǎn)模塊采用消息隊(duì)列持久化技術(shù)具體為，所述消息模塊配置有數(shù)據(jù)采集日志，所述數(shù)據(jù)采集日志用于記錄當(dāng)發(fā)生網(wǎng)絡(luò)異常時所述消息生產(chǎn)模塊請求和/或發(fā)送失敗的異常節(jié)點(diǎn)數(shù)據(jù)，且所述消息生產(chǎn)模塊在網(wǎng)絡(luò)恢復(fù)后自動的對所述數(shù)據(jù)采集日志記錄的異常節(jié)點(diǎn)數(shù)據(jù)進(jìn)行重新請求和/或發(fā)送。

4.根據(jù)權(quán)利要求3所述的一種用于采集自動氣象站數(shù)據(jù)的系統(tǒng)，其特征在于：所述消息生產(chǎn)模塊包括省級自動氣象站Z文件數(shù)據(jù)采集器，所述省級自動氣象站Z文件數(shù)據(jù)采集器通過監(jiān)聽省級自動氣象站Z文件數(shù)據(jù)的FTP目錄變化，獲取實(shí)時被添加和/或修改到FTP目錄中的文件，匹配獲取到的實(shí)時被添加和/或修改到FTP目錄中的文件的文件名，并讀取實(shí)時被添加和/或修改到FTP目錄中的文件的內(nèi)容，且以省級自動氣象站Z文件數(shù)據(jù)為消息主題將實(shí)時被添加和/或修改到FTP目錄中的文件的內(nèi)容轉(zhuǎn)發(fā)至消息隊(duì)列模塊。

5.根據(jù)權(quán)利要求4所述的一種用于采集自動氣象站數(shù)據(jù)的系統(tǒng)，其特征在于：所述省級自動氣象站Z文件數(shù)據(jù)采集器配置有Z文件數(shù)據(jù)采集日志，所述Z文件數(shù)據(jù)采集日志用于記錄當(dāng)發(fā)生網(wǎng)絡(luò)異常時所述省級自動氣象站Z文件數(shù)據(jù)采集器請求和/或發(fā)送失敗的異常節(jié)點(diǎn)數(shù)據(jù)，且所述消息生產(chǎn)模塊在網(wǎng)絡(luò)恢復(fù)后自動的對所述Z文件數(shù)據(jù)采集日志記錄的異常節(jié)點(diǎn)數(shù)據(jù)進(jìn)行重新請求和/或發(fā)送。

6.根據(jù)權(quán)利要求4或5所述的一種用于采集自動氣象站數(shù)據(jù)的系統(tǒng)，其特征在于：所述消息生產(chǎn)模塊包括全國綜合氣象信息共享平臺數(shù)據(jù)采集器，所述全國綜合氣象信息共享平臺數(shù)據(jù)采集器通過定時向全國綜合氣象信息共享平臺發(fā)送請求來不斷地讀取實(shí)時的全國綜合氣象信息數(shù)據(jù)，并以全國綜合氣象信息共享平臺數(shù)據(jù)為消息主題將讀取到的實(shí)時的全國綜合氣象信息數(shù)據(jù)轉(zhuǎn)發(fā)給消息隊(duì)列模塊。

7.根據(jù)權(quán)利要求6所述的一種用于采集自動氣象站數(shù)據(jù)的系統(tǒng)，其特征在于：所述全國綜合氣象信息共享平臺數(shù)據(jù)采集器配置有全國綜合氣象信息數(shù)據(jù)采集日志，所述全國綜合氣象信息數(shù)據(jù)采集日志用于記錄當(dāng)發(fā)生網(wǎng)絡(luò)異常時所述全國綜合氣象信息共享平臺數(shù)據(jù)采集器請求和/或發(fā)送失敗的異常節(jié)點(diǎn)數(shù)據(jù)，且所述消息生產(chǎn)模塊在網(wǎng)絡(luò)恢復(fù)后自動的對所述全國綜合氣象信息數(shù)據(jù)采集日志記錄的異常節(jié)點(diǎn)數(shù)據(jù)進(jìn)行重新請求和/或發(fā)送。

8.一種用于采集自動氣象站數(shù)據(jù)的方法，其特征在于：利用上述權(quán)利要求1至7任一項(xiàng)所述的一種用于采集自動氣象站數(shù)據(jù)的系統(tǒng)進(jìn)行采集，包括以下步驟，

S1，消息生產(chǎn)模塊采用消息隊(duì)列持久化技術(shù)通過兼容接口向不同自動氣象站請求自動氣象站數(shù)據(jù)，并將請求到的自動氣象站數(shù)據(jù)發(fā)送給所述消息列隊(duì)模塊；

S2，消息隊(duì)列模塊將所述消息生產(chǎn)模塊發(fā)送過來的自動氣象站數(shù)據(jù)進(jìn)行存儲并以消息隊(duì)列的方式進(jìn)行異步傳輸；

S3，消息消費(fèi)模塊接收所述消息隊(duì)列模塊異步傳輸過來的自動氣象站數(shù)據(jù)，并通過數(shù)據(jù)解析類和數(shù)據(jù)倉庫類對獲取的自動氣象站數(shù)據(jù)進(jìn)行解析后寫入到數(shù)據(jù)庫中。