[發(fā)明專利]一種分布式數(shù)據(jù)的獲取方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711025749.1
• 申請(qǐng)日: 2017-10-27
• 公開（公告）號(hào): CN107844325A
• 公開（公告）日: 2018-03-27
• 發(fā)明（設(shè)計(jì)）人: 陳云龍
• 申請(qǐng)（專利權(quán)）人: 上海斐訊數(shù)據(jù)通信技術(shù)有限公司
• 主分類號(hào): G06F9/44
• 分類號(hào): G06F9/44;G06F9/445;G06F11/30;G06F11/34
• 代理公司: 上海碩力知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)31251
• 代理人: 郭桂峰

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)采集領(lǐng)域，尤指一種分布式數(shù)據(jù)的獲取方法及系統(tǒng)。

背景技術(shù)

分布式數(shù)據(jù)有很多種類，其實(shí)kafka集群中的數(shù)據(jù)就是其中的一種。kafka全稱是ApacheKafka，最初是由Linkedin公司開發(fā)并開源的一種分布式消息系統(tǒng)，因?yàn)槠浞植际郊案咄掏侣识粡V泛使用。它可以處理網(wǎng)站中所有的動(dòng)作流數(shù)據(jù)，這種動(dòng)作(例如搜索、瀏覽)是現(xiàn)代網(wǎng)絡(luò)中的許多社會(huì)功能的關(guān)鍵因素。

Kafka中涉及幾個(gè)概念，生產(chǎn)者、消費(fèi)者、broker、topic等。生產(chǎn)者即為生產(chǎn)數(shù)據(jù)的一方，英文為producer；消費(fèi)者就是使用數(shù)據(jù)的一方，英文consumer；Broker即為kafka集群的節(jié)點(diǎn)，每個(gè)kafka集群由多個(gè)broker組成，這些broker相互關(guān)聯(lián)，共同對(duì)外提供服務(wù)；Topic即為業(yè)務(wù)數(shù)據(jù)類型，比如路由器的心跳數(shù)據(jù)等。

當(dāng)前分布式數(shù)據(jù)的獲取方法一般是基于swoole來獲取分布式數(shù)據(jù)；但是需要引入第三方插件swoole，使用比較麻煩，需要考慮兼容性問題，并且不方便對(duì)程序進(jìn)行調(diào)試，也不方便完善錯(cuò)誤程序。

目前使用php作為kafka消費(fèi)者從kafka獲取數(shù)據(jù)的方式都較為簡(jiǎn)單，采用的都是單一進(jìn)程的方式，經(jīng)常出現(xiàn)獲取數(shù)據(jù)失敗的情況，出現(xiàn)錯(cuò)誤查找困難，獲取數(shù)據(jù)的速度慢、獲取的數(shù)據(jù)量小等問題。

因此，需要提供一種更為便捷、高效、數(shù)據(jù)獲取成功率更高的分布式數(shù)據(jù)的獲取方式。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種分布式數(shù)據(jù)的獲取方法及系統(tǒng)，提高了系統(tǒng)的兼容性，使分布式數(shù)據(jù)獲取更為便捷、高效，成功率更高。

本發(fā)明提供的技術(shù)方案如下：

本發(fā)明提供了一種分布式數(shù)據(jù)的獲取方法，包括步驟：S10創(chuàng)建守護(hù)進(jìn)程；S20所述守護(hù)進(jìn)程監(jiān)聽是否有原始數(shù)據(jù)的信息推送；S30若未監(jiān)聽到有所述原始數(shù)據(jù)的信息推送，所述守護(hù)進(jìn)程繼續(xù)保持監(jiān)聽狀態(tài)；S40若監(jiān)聽到有所述原始數(shù)據(jù)的信息推送，根據(jù)所述原始數(shù)據(jù)的主題類型創(chuàng)建多個(gè)子進(jìn)程，所述守護(hù)進(jìn)程將所述原始數(shù)據(jù)分配給相應(yīng)的子進(jìn)程；S50所述子進(jìn)程從所述原始數(shù)據(jù)中獲取分布式數(shù)據(jù)。

優(yōu)選的，步驟S50之后包括：S60所述守護(hù)進(jìn)程讀取預(yù)先設(shè)定在配置文件中的重啟時(shí)間；S61所述守護(hù)進(jìn)程根據(jù)讀取到的重啟時(shí)間，對(duì)所述子進(jìn)程進(jìn)行定時(shí)；S62當(dāng)所述子進(jìn)程的運(yùn)行時(shí)間達(dá)到所述重啟時(shí)間時(shí)，所述守護(hù)進(jìn)程重新啟動(dòng)所述子進(jìn)程。

優(yōu)選的，步驟S50之后還包括：S70所述守護(hù)進(jìn)程記錄所述守護(hù)進(jìn)程和所述子進(jìn)程的工作日志；S71所述守護(hù)進(jìn)程根據(jù)預(yù)先獲取的所述原始數(shù)據(jù)，以及所述工作日志，同步所述守護(hù)進(jìn)程和所述子進(jìn)程的工作數(shù)據(jù)。

優(yōu)選的，步驟S10中創(chuàng)建所述守護(hù)進(jìn)程具體包括：S101清除文件掩碼；S102創(chuàng)建一個(gè)進(jìn)程；S103對(duì)所述進(jìn)程進(jìn)行處理，使所述進(jìn)程脫離終端控制，成為所述守護(hù)進(jìn)程。

優(yōu)選的，步驟S50具體包括：S501所述子進(jìn)程根據(jù)所述原始數(shù)據(jù)的業(yè)務(wù)類型，創(chuàng)建任務(wù)線程；S502所述任務(wù)線程從所述原始數(shù)據(jù)中獲取所述分布式數(shù)據(jù)。

本發(fā)明還提供了一種分布式數(shù)據(jù)的獲取系統(tǒng)，包括：守護(hù)進(jìn)程創(chuàng)建模塊，用于創(chuàng)建守護(hù)進(jìn)程；監(jiān)聽模塊，所述進(jìn)程創(chuàng)建模塊電連接，用于通過守護(hù)進(jìn)程監(jiān)聽是否有原始數(shù)據(jù)的信息推送；所述監(jiān)聽模塊還用于若未監(jiān)聽到有所述原始數(shù)據(jù)的信息推送，通過所述守護(hù)進(jìn)程繼續(xù)保持監(jiān)聽狀態(tài)；子進(jìn)程創(chuàng)建模塊，用于若監(jiān)聽到有所述原始數(shù)據(jù)的信息推送，根據(jù)所述原始數(shù)據(jù)的主題類型創(chuàng)建多個(gè)子進(jìn)程；分配模塊，與所述進(jìn)程創(chuàng)建模塊電連接，用于通過所述守護(hù)進(jìn)程將所述原始數(shù)據(jù)分配給相應(yīng)的子進(jìn)程；數(shù)據(jù)獲取模塊，與所述監(jiān)聽模塊、進(jìn)程創(chuàng)建模塊電連接，用于通過所述子進(jìn)程從所述原始分布式數(shù)據(jù)中獲取分布式數(shù)據(jù)。

優(yōu)選的，還包括：讀取模塊，用于通過所述守護(hù)進(jìn)程讀取預(yù)先設(shè)定在配置文件中的重啟時(shí)間；定時(shí)模塊，與所述讀取模塊電連接，用于通過所述守護(hù)進(jìn)程根據(jù)讀取到的重啟時(shí)間，對(duì)所述子進(jìn)程進(jìn)行定時(shí)；重啟控制模塊，與所述定時(shí)模塊電連接，當(dāng)所述子進(jìn)程的運(yùn)行時(shí)間達(dá)到所述重啟時(shí)間時(shí)，通過所述守護(hù)進(jìn)程重新啟動(dòng)所述子進(jìn)程。

優(yōu)選的，還包括：日志記錄模塊，用于通過所述守護(hù)進(jìn)程記錄所述守護(hù)進(jìn)程和所述子進(jìn)程的工作日志；數(shù)據(jù)同步模塊，用于通過所述守護(hù)進(jìn)程根據(jù)預(yù)先獲取的所述原始數(shù)據(jù)，以及所述工作日志，同步所述守護(hù)進(jìn)程和所述子進(jìn)程的工作數(shù)據(jù)。

優(yōu)選的，所述守護(hù)進(jìn)程創(chuàng)建模塊還包括：處理子模塊，用于清除文件掩碼；創(chuàng)建子模塊，用于創(chuàng)建一個(gè)進(jìn)程；所述處理子模塊還用于對(duì)所述進(jìn)程進(jìn)行處理，使所述進(jìn)程脫離終端控制，成為所述守護(hù)進(jìn)程。