[發明專利]一種智能設備實時數據流式處理方法及處理系統

有效

• 申請號: 201710377077.4
• 申請日: 2017-05-25
• 公開（公告）號: CN107241278B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 吳自興;孫志東;羅立斌
• 申請（專利權）人: 北京君泊網絡科技有限責任公司
• 主分類號: H04L12/803
• 分類號: H04L12/803;H04L29/06;H04L29/08;G06F9/455;G06F11/36
• 代理公司: 北京君泊知識產權代理有限公司 11496
• 代理人: 王程遠

1.一種智能設備實時數據流式處理方法，其特征在于，該方法包括：

步驟1，用戶通過前端模塊上傳數據流處理程序包并配置需要啟動的元數據信息；具體包括：

步驟101，用戶通過前端模塊上傳數據流處理程序包，并配置元數據信息，元數據信息包括實例個數、資源大小、語言類型，同時所述前端模塊將這些元數據信息存儲至存儲模塊中供后續調度使用；

步驟102，多個執行模塊在多臺機器上構成一個資源池，每個執行模塊收集本機的內存使用信息及所有實例信息，并將這些信息通過HTTP協議發送給策略調度模塊；

步驟103，策略調度模塊根據前端模塊配置的元數據信息和所有機器上執行模塊發送來的信息確定各個機器的資源使用情況及各個數據流處理實例布置情況，同時，所述策略調度模塊從所述存儲模塊中查詢數據流處理實例信息，并結合執行模塊發送來的信息確定調度方案，包括是否需要新增數據流處理實例或刪除多余數據流處理實例，所述策略調度模塊在執行模塊發送過來的HTTP請求連接上直接響應返回調度信息下發調度命令；

步驟104，執行模塊接收策略調度模塊的調度命令后執行相應的操作；

步驟2，不同智能設備上傳的實時數據流經過路由模塊傳輸給對應的數據流處理實例進行處理；

步驟3，每個機器上部署的執行模塊收集本機上所有的數據流處理程序實例信息，匯報給策略調度模塊，策略調度模塊根據這些信息來決定實例的擴縮容，單個數據流處理實例在收到上傳的實時數據流后，將處理的結果數據儲存在cache模塊里對應的隊列中，隊列是根據智能設備的物理ID創建的，每個智能設備對應一個隊列，定期將各個隊列中的數據批量刷出到存儲模塊中進行存儲；

步驟4，日志收集模塊收集機器上所有實例的日志并提供一個日志查詢接口，前端模塊通過這個日志查詢接口展示實例的日志。

2.根據權利要求1所述的智能設備實時數據流式處理方法，其特征在于，步驟104中，如果調度命令是刪除多余數據流處理實例，所述執行模塊通過調用dockerapi的方式將此實例的容器停掉并清除遺留數據，服務發現模塊從路由表中清除沒有定期更新的數據流處理實例信息；

如果調度命令是增加數據流處理實例，所述執行模塊先判斷用戶采用的程序語言，并根據該程序語言選擇一個對應的鏡像，然后根據配置的資源參數、環境參數調用dockerapi的方式基于此鏡像創建實例容器，最后將新實例的ip:port信息即地址信息注冊到所述服務發現模塊中。

3.根據權利要求1所述的智能設備實時數據流式處理方法，其特征在于，步驟2具體包括：

步驟201，智能設備上報的實時數據流通過網關先傳輸至路由模塊；

步驟202，所述路由模塊根據實時數據流中的信息獲取智能設備的名稱信息，并根據此信息在服務發現模塊中查詢該智能設備對應的數據流處理實例地址，并將實時數據發送給其中一個數據流處理實例進行處理。

4.根據權利要求3所述的智能設備實時數據流式處理方法，其特征在于，步驟202中，當某個智能設備對應多個數據流處理實例時，根據負載均衡策略選取其中一個數據流處理實例進行處理。

5.根據權利要求1所述的智能設備實時數據流式處理方法，其特征在于，步驟4具體包括：

步驟401，日志收集模塊收集機器上所有數據流處理實例的日志并存儲到ES中，對外提供一個日志查詢接口；

步驟402，前端模塊通過所述日志查詢接口，根據內容、時間進行相關日志的查找，同時，所述前端模塊通過所述日志查詢接口將實例的日志展示在WEB系統上。

6.一種智能設備實時數據流式處理系統，其特征在于，包括智能設備和服務器，所述智能設備上報需要處理的數據流至所述服務器，所述服務器用于處理接收到的實時數據流；

所述服務器包括：

前端模塊，用于上傳數據流處理程序包，并配置元數據信息，元數據信息包括實例個數、資源大小、語言類型，同時所述前端模塊將這些元數據信息存儲至存儲模塊中供后續調度使用；

路由模塊，用于將智能設備上報的數據流傳輸給對應的數據流處理實例進行處理，在服務發現模塊中查詢數據流對應的數據流處理實例地址信息來選擇一個實例，并將智能設備的數據流發送給選中的實例來處理；

執行模塊，用于收集本機的內存使用信息及所有實例信息，并將這些信息通過HTTP協議發送給策略調度模塊，同時接收策略調度模塊的調度命令并執行相應的操作；

策略調度模塊，用于根據前端模塊配置的元數據信息和所有機器上的執行模塊發送來的信息確定調度方案，并在執行模塊發送過來的HTTP請求連接上直接響應返回調度信息下發調度命令；

服務發現模塊，用于存儲數據流處理實例地址信息，并定期更新的路由表中的實例信息；

cache模塊，用于存儲被數據流處理實例處理后的結果數據，并將處理后結果數據批量傳輸至存儲模塊中進行存儲；

存儲模塊，用于存儲前端模塊中配置的元數據信息及cache模塊中的結果數據；

日志收集模塊，用于收集機器上所有實例的日志并存儲到ES中，提供一個日志查詢接口，前端模塊通過這個接口將實例的日志展示在WEB系統上。