[發(fā)明專利]一種智能設(shè)備實時數(shù)據(jù)流式處理方法及處理系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710377077.4
• 申請日: 2017-05-25
• 公開（公告）號: CN107241278B
• 公開（公告）日: 2021-08-27
• 發(fā)明（設(shè)計）人: 吳自興;孫志東;羅立斌
• 申請（專利權(quán)）人: 北京君泊網(wǎng)絡(luò)科技有限責(zé)任公司
• 主分類號: H04L12/803
• 分類號: H04L12/803;H04L29/06;H04L29/08;G06F9/455;G06F11/36
• 代理公司: 北京君泊知識產(chǎn)權(quán)代理有限公司 11496
• 代理人: 王程遠(yuǎn)

本發(fā)明公開了一種智能設(shè)備實時數(shù)據(jù)流式處理方法，包括：步驟1，用戶通過前端模塊上傳數(shù)據(jù)流處理程序包并配置需要啟動的元數(shù)據(jù)信息；不同智能設(shè)備上傳的實時數(shù)據(jù)流經(jīng)過路由模塊傳輸給對應(yīng)的數(shù)據(jù)流處理程序?qū)嵗M(jìn)行處理；每個機(jī)器上部署的執(zhí)行模塊收集本機(jī)上所有的數(shù)據(jù)流處理程序?qū)嵗畔ⅲ瑓R報給策略調(diào)度模塊，策略調(diào)度模塊根據(jù)這些信息來決定實例的擴(kuò)縮容；日志收集模塊收集機(jī)器上所有數(shù)據(jù)流處理程序?qū)嵗娜罩静⑻峁┮粋€日志查詢接口，前端模塊通過這個日志查詢接口展示實例的日志。本發(fā)明還提供了一種智能設(shè)備實時數(shù)據(jù)流式處理系統(tǒng)。本發(fā)明的有益效果：有很強(qiáng)的魯棒性，能夠解決海量設(shè)備實時數(shù)據(jù)的處理問題。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，涉及一種智能設(shè)備實時數(shù)據(jù)流式處理方法及處理系統(tǒng)。

背景技術(shù)

智能設(shè)備是目前研究的熱點，伴隨各種智能設(shè)備的接入，會產(chǎn)生大量的數(shù)據(jù)，需要通過大量數(shù)據(jù)的分析計算來推斷用戶的行為，然后用計算得來的數(shù)據(jù)反饋到智能設(shè)備中，自動的將自己調(diào)整到用戶想要的那種狀態(tài)，這其中最主要的步驟就是數(shù)據(jù)的處理。隨著接入的智能設(shè)備越來越多，傳統(tǒng)的數(shù)據(jù)處理已經(jīng)無法滿足需求，需要一種可擴(kuò)展系統(tǒng)來實時處理越來越多的智能設(shè)備產(chǎn)生的實時數(shù)據(jù)流。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明的目的在于提供一種智能設(shè)備實時數(shù)據(jù)流式處理方法及處理系統(tǒng)，解決海量智能設(shè)備的數(shù)據(jù)實時處理問題。

本發(fā)明提供了一種智能設(shè)備實時數(shù)據(jù)流式處理方法，該方法包括：

步驟1，用戶通過前端模塊上傳數(shù)據(jù)流處理程序包并配置需要啟動的元數(shù)據(jù)信息；

步驟2，不同智能設(shè)備上傳的實時數(shù)據(jù)流經(jīng)過路由模塊傳輸給對應(yīng)的數(shù)據(jù)流處理實例進(jìn)行處理；

步驟3，每個機(jī)器上部署的執(zhí)行模塊收集本機(jī)上所有的數(shù)據(jù)流處理程序?qū)嵗畔ⅲ瑓R報給策略調(diào)度模塊，策略調(diào)度模塊根據(jù)這些信息來決定實例的擴(kuò)縮容；

步驟4，日志收集模塊收集機(jī)器上所有實例的日志并提供一個日志查詢接口，前端模塊通過這個日志查詢接口展示實例的日志。

作為本發(fā)明進(jìn)一步的改進(jìn)，步驟1具體包括：

步驟101，用戶通過前端模塊上傳數(shù)據(jù)流處理程序包，并配置元數(shù)據(jù)信息，元數(shù)據(jù)信息包括實例個數(shù)、資源大小、語言類型，同時所述前端模塊將這些元數(shù)據(jù)信息存儲至存儲模塊中供后續(xù)調(diào)度使用；

步驟102，多個執(zhí)行模塊在多臺機(jī)器上構(gòu)成一個資源池，每個執(zhí)行模塊收集本機(jī)的內(nèi)存使用信息及所有實例信息，并將這些信息通過HTTP協(xié)議發(fā)送給策略調(diào)度模塊；

步驟103，策略調(diào)度模塊根據(jù)前端模塊配置的元數(shù)據(jù)信息和所有機(jī)器上執(zhí)行模塊發(fā)送來的信息確定各個機(jī)器的資源使用情況及各個數(shù)據(jù)流處理實例布置情況，同時，所述策略調(diào)度模塊從所述存儲模塊中查詢數(shù)據(jù)流處理實例信息，并結(jié)合執(zhí)行模塊發(fā)送來的信息確定調(diào)度方案，包括是否需要新增數(shù)據(jù)流處理實例或刪除多余數(shù)據(jù)流處理實例，所述策略調(diào)度模塊在執(zhí)行模塊發(fā)送過來的HTTP請求連接上直接響應(yīng)返回調(diào)度信息下發(fā)調(diào)度命令；

步驟104，執(zhí)行模塊接收策略調(diào)度模塊的調(diào)度命令后執(zhí)行相應(yīng)的操作。

作為本發(fā)明進(jìn)一步的改進(jìn)，步驟104中，如果調(diào)度命令是刪除多余數(shù)據(jù)流處理實例，所述執(zhí)行模塊通過調(diào)用docker api的方式將此實例的容器停掉并清除遺留數(shù)據(jù)，服務(wù)發(fā)現(xiàn)模塊從路由表中清除沒有定期更新的數(shù)據(jù)流處理實例信息；

如果調(diào)度命令是增加數(shù)據(jù)流處理實例，所述執(zhí)行模塊先判斷用戶采用的程序語言，并根據(jù)該程序語言選擇一個對應(yīng)的鏡像，然后根據(jù)配置的資源參數(shù)、環(huán)境參數(shù)調(diào)用docker api的方式基于此鏡像創(chuàng)建實例容器，最后將新實例的ip:port信息即地址信息注冊到所述服務(wù)發(fā)現(xiàn)模塊中。

作為本發(fā)明進(jìn)一步的改進(jìn)，步驟2具體包括：