[發(fā)明專利]數(shù)據(jù)處理方法、裝置、系統(tǒng)、計(jì)算設(shè)備以及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810149142.2
• 申請(qǐng)日: 2018-02-13
• 公開(kāi)（公告）號(hào): CN108256118B
• 公開(kāi)（公告）日: 2023-09-22
• 發(fā)明（設(shè)計(jì)）人: 任光輝;崔精兵;張友旭
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F21/56
• 代理公司: 北京德琦知識(shí)產(chǎn)權(quán)代理有限公司 11018
• 代理人: 步文娟;王琦

1.一種數(shù)據(jù)處理方法，其特征在于，應(yīng)用于數(shù)據(jù)處理系統(tǒng)中的主節(jié)點(diǎn)服務(wù)器，所述數(shù)據(jù)處理系統(tǒng)包括：多個(gè)主節(jié)點(diǎn)服務(wù)器、多個(gè)分布式處理節(jié)點(diǎn)、以及調(diào)度服務(wù)器；其中每個(gè)主節(jié)點(diǎn)服務(wù)器對(duì)應(yīng)多個(gè)分布式處理節(jié)點(diǎn)，所述調(diào)度服務(wù)器用于將任務(wù)處理請(qǐng)求中的待處理文件分配給所述多個(gè)主節(jié)點(diǎn)服務(wù)器；所述方法包括：

當(dāng)主節(jié)點(diǎn)服務(wù)器監(jiān)聽(tīng)到調(diào)度服務(wù)器接收到第一客戶端發(fā)送的任務(wù)處理請(qǐng)求時(shí)，從所述調(diào)度服務(wù)器獲取所述任務(wù)處理請(qǐng)求，所述任務(wù)處理請(qǐng)求攜帶多個(gè)待處理文件，所述多個(gè)待處理文件包括：多個(gè)樣本文件以及用于處理所述多個(gè)樣本文件的可執(zhí)行程序文件；

將所述多個(gè)樣本文件劃分為多個(gè)文件集合，每個(gè)文件集合包括至少一個(gè)所述可執(zhí)行程序文件對(duì)應(yīng)的至少一個(gè)樣本文件；

確定所述主節(jié)點(diǎn)服務(wù)器對(duì)應(yīng)的多個(gè)分布式處理節(jié)點(diǎn)，并從所述多個(gè)分布式處理節(jié)點(diǎn)中選擇一部分分布式處理節(jié)點(diǎn)；其中，所述主節(jié)點(diǎn)服務(wù)器對(duì)應(yīng)的多個(gè)分布式處理節(jié)點(diǎn)中未被選擇的分布式處理節(jié)點(diǎn)用于根據(jù)所述主節(jié)點(diǎn)服務(wù)器接收的其他任務(wù)處理請(qǐng)求攜帶的可執(zhí)行程序文件處理其對(duì)應(yīng)的樣本文件；

讀取存儲(chǔ)在所述主節(jié)點(diǎn)服務(wù)器本地的分布式處理節(jié)點(diǎn)的地址列表，根據(jù)所述地址列表創(chuàng)建與每個(gè)所選擇的分布式處理節(jié)點(diǎn)的Socket通信連接；

通過(guò)所述Socket通信連接將所述可執(zhí)行程序文件與所述多個(gè)文件集合分別發(fā)送給每個(gè)所述選擇的多個(gè)分布式處理節(jié)點(diǎn)，當(dāng)可執(zhí)行程序文件為T(mén)AV殺毒引擎可執(zhí)行程序文件，樣本文件為待查殺文件時(shí)，以使每個(gè)所述選擇的分布式處理節(jié)點(diǎn)接收到一個(gè)TAV殺毒引擎可執(zhí)行程序文件及對(duì)應(yīng)的文件集合后，安裝TAV殺毒引擎可執(zhí)行程序文件，運(yùn)行該TAV殺毒引擎可執(zhí)行程序文件，并對(duì)該文件集合中的每個(gè)待查殺文件進(jìn)行殺毒并獲取每個(gè)待查殺文件的查殺結(jié)果；及

通過(guò)所述Socket通信連接獲取所述多個(gè)分布式處理節(jié)點(diǎn)發(fā)送的每個(gè)所述TAV殺毒引擎可執(zhí)行程序文件對(duì)應(yīng)的各個(gè)待查殺文件的查殺結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法進(jìn)一步包括：

生成包含處理結(jié)果的記錄文件；及

發(fā)送所述記錄文件至記錄文件提供服務(wù)器，以便所述記錄文件提供服務(wù)器提供所述記錄文件給第一應(yīng)用客戶端。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述任務(wù)處理請(qǐng)求還攜帶第二客戶端的地址，所述第二客戶端用于展示處理結(jié)果；

所述方法進(jìn)一步包括：

根據(jù)所述第二客戶端的地址發(fā)送所述處理結(jié)果至所述第二客戶端。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述多個(gè)樣本文件劃分為多個(gè)文件集合，包括：

根據(jù)所述樣本文件的數(shù)量以及所述分布式處理節(jié)點(diǎn)的數(shù)量，將所述多個(gè)樣本文件劃分為多個(gè)文件集合。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述樣本文件的數(shù)量以及所述分布式處理節(jié)點(diǎn)的數(shù)量，將所述多個(gè)樣本文件劃分為多個(gè)文件集合，包括：

根據(jù)所述樣本文件的數(shù)量以及所述分布式處理節(jié)點(diǎn)的數(shù)量，確定每個(gè)分布式處理節(jié)點(diǎn)處理的所述樣本文件的數(shù)量；

根據(jù)所述每個(gè)分布式處理節(jié)點(diǎn)處理的所述樣本文件的數(shù)量，確定每個(gè)分布式處理節(jié)點(diǎn)一次處理所述樣本文件的數(shù)量；及

根據(jù)所述每個(gè)分布式處理節(jié)點(diǎn)一次處理所述樣本文件的數(shù)量，將所述多個(gè)樣本文件劃分為多個(gè)文件集合。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述可執(zhí)行程序文件與所述多個(gè)文件集合分配給所述多個(gè)分布式處理節(jié)點(diǎn)，包括：

對(duì)于一個(gè)所述可執(zhí)行程序文件，確定所述可執(zhí)行程序文件對(duì)應(yīng)的多個(gè)所述處理節(jié)點(diǎn)；

發(fā)送該可執(zhí)行程序文件給所確定的所述多個(gè)處理節(jié)點(diǎn)；

向所確定的所述多個(gè)處理節(jié)點(diǎn)分別發(fā)送該可執(zhí)行程序文件對(duì)應(yīng)的一個(gè)所述文件集合；

當(dāng)接收到任一個(gè)所述處理節(jié)點(diǎn)發(fā)送的一個(gè)所述文件集合中的各個(gè)樣本文件的處理結(jié)果時(shí)，向該處理節(jié)點(diǎn)發(fā)送該可執(zhí)行程序文件對(duì)應(yīng)的下一個(gè)所述文件集合，直至發(fā)送完該可執(zhí)行程序文件對(duì)應(yīng)的最后一個(gè)所述文件集合。