[發明專利]一種大數據集群管理方法和裝置

在審

• 申請號: 202110050342.4
• 申請日: 2021-01-14
• 公開（公告）號: CN112667430A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 何懷文;程東;李瑞芳;肖濤;黃敏
• 申請（專利權）人: 電子科技大學中山學院
• 主分類號: G06F11/07
• 分類號: G06F11/07;G06F16/901;G06F16/906;G06F21/56;G06F21/60
• 代理公司: 中山市粵捷信知識產權代理事務所(普通合伙) 44583
• 代理人: 張謙

1.一種大數據集群管理方法和裝置，其特征在于，包括數據處理分析系統、數據收集系統和節點檢測維護系統，且數據處理分析系統分別與數據收集系統和節點檢測維護系統通訊連接，數據收集系統和節點檢測維護系統通訊連接；其中，數據收集系統包括數據儲存庫和資源收集服務器，資源收集服務器與數據儲存庫通訊連接；節點檢測維護系統包括節點反饋模塊、故障警示模塊和自動維護模塊，故障警示模塊分別與節點反饋模塊和自動維護模塊通訊連接；數據處理分析系統包括調度策略執行器和智能防采集模塊，調度策略執行器與智能防采集模塊通訊連接；其中，還包括異常行為檢測系統；異常行為檢測系統設置在資源收集服務器和數據儲存庫之間；

數據儲存庫，用于儲存數量龐大，種類多樣且含有不同價值密度的數據；

資源收集服務器，用于收集互聯網上各種各樣的數據，并將數據傳輸給數據庫進行儲存；

節點反饋模塊，用于定期向節點服務器發送信號并接受其反饋信號，根據反饋信息來判斷節點設備工作情況；

自動維護模塊，用于發送指令并通過相應程序對宕機的節點進行維護修復；

節點警示模塊，用于收集節點反饋模塊的信息，當收到節點宕機信息時，發送信號給自動維護模塊進行維護，并將故障信息發送給主控制系統；當收到節點正常工作信息后保持待機模式；

調度策略執行器，用于對數據儲存庫內不同質量和數量的數據進行管理；

智能防采集模塊，用于自動識別多種驗證碼和代理IP，并根據相應的驗證信息提供相應的數據和文件；

異常行為檢測系統，用于檢測數據和網絡中的異常情況。

2.根據權利要求1所述的一種大數據集群管理方法和裝置，其特征在于，還包括多組節點管理設備，且節點管理設備上設有用于儲存數據的容器；多組節點管理設備分別與資源收集服務器通訊連接。

3.根據權利要求1所述的一種大數據集群管理方法和裝置，其特征在于，異常行為檢測系統包括入侵數據庫、比對模塊、自動檢測模塊和自動警示模塊；

入侵數據庫，用于儲存入侵過的病毒案例以及解決方法；

自動檢測模塊，用于檢測數據和網絡在信息交換時是否有病毒和非法腳本；

自動警示模塊，用于向下一級發送危險警示信號；

比對模塊，用于對入侵病毒的種類與入侵數據庫進行比對，當與入侵數據庫內新型比對成功的直接使用相應程序進行消滅，當比對不成功時，發送信息給自動警示模塊。

4.根據權利要求3所述的一種大數據集群管理方法和裝置，其特征在于，自動檢測模塊包括漏洞掃描、木馬掃描、內容監控和數據加密；

漏洞掃描，用于對網絡中的漏洞進行掃描捕獲；

木馬掃描，用于對數據和網絡中的木馬病毒進行掃描；

內容監控，用于對傳輸的數據內容進行監控，防止非法數據和內容的輸入；

數據加密，用于對重要信息和數據進行加密，增加數據的安全性。

5.根據權利要求1所述的一種大數據集群管理方法和裝置，其特征在于，調度策略執行器包括數據統計模塊、數據解析模塊和數據比對模塊；

數據統計模塊，用于對數據存儲庫內的數據進行統計分類，并分類儲存；

數據解析模塊，用于對數據儲存庫內的不同數據進行解析方便歸類和統計；

數據比對模塊，用于對數據儲存庫內的數據進行比對，將不同大小的數據分開，方便計算占用內存。

6.根據權利要求1所述的一種大數據集群管理方法和裝置，其特征在于，智能防采集模塊包括關鍵詞索引模塊、類別索引模塊和功能索引模塊；

關鍵詞索引模塊，用于根據搜索關鍵詞并抓取數據儲存庫內的信息；

類別索引模塊，用于根據不同類別來搜索并抓取數據儲存庫內的信息；

功能索引模塊，用于根據不同功能來搜索并抓取數據儲存庫內的信息。

7.根據權利要求1所述的一種大數據集群管理方法和裝置，其特征在于，入侵數據庫設有自動更新和手動更新功能。

8.根據權利要求1-7所述的一種大數據集群管理方法和裝置，其特征在于，大數據集群管理方法，具體包括以下步驟；

S1、通過資源收集服務器負責搜集這些節點管理設備中容器當前的狀態，如果有已經執行結束的，則把它們添加進數據儲存庫當中；

S2、在儲存的過程中，先通過異常行為檢測系統對其數據進檢測；檢測時，通過自動檢測模塊中的漏洞掃描和木馬掃描，對數據和網絡中的木馬病毒和漏洞進行掃描捕獲；然后對傳輸的數據內容進行監控，防止非法數據和內容的輸入；以及對重要信息和數據進行加密，增加數據的安全性；

S3、當自動檢測模塊檢測到病毒或腳本時，自動對病毒和腳本與入侵數據庫內的數據進行比對；當比對成功時，自動執行相應程序進行殺毒，當比對不成功時，啟動自動警示模式進行提醒；然后通過人工操作進行殺毒

S4、數據進入數據儲存庫儲存后，通過調度策略執行器對數據儲存庫內不同質量和數量的數據進行管理，之后通過數據統計模塊、數據解析模塊和數據比對模塊對數據存儲庫內的數據進行統計分類、解析歸類和將不同大小的數據分開并儲存；

S5、最后通過智能防采集模塊，自動識別多種驗證碼和代理IP，并根據相應的驗證信息提供相應的數據和文件。