[發(fā)明專(zhuān)利]游戲數(shù)據(jù)處理方法、系統(tǒng)及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310395728.8
• 申請(qǐng)日: 2023-04-13
• 公開(kāi)（公告）號(hào): CN116492690A
• 公開(kāi)（公告）日: 2023-07-28
• 發(fā)明（設(shè)計(jì)）人: 潘希健
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廣州炫動(dòng)信息科技有限公司
• 主分類(lèi)號(hào): A63F13/77
• 分類(lèi)號(hào): A63F13/77;G06F9/54;G06F16/27;H04L67/1004;H04L67/131
• 代理公司: 廣東穗科知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44834
• 代理人: 黃啟文;李英杰

本發(fā)明涉及一種游戲數(shù)據(jù)處理方法，包括以下步驟：S1.創(chuàng)建Mysql集群：通過(guò)分布式部署的方式在第一服務(wù)器集群上安裝Mysql；S2.創(chuàng)建Kafka集群：在第一服務(wù)器集群上安裝Kafka，根據(jù)業(yè)務(wù)需求，在第一服務(wù)器集群上創(chuàng)建與Mysql表對(duì)應(yīng)的分片；S3.創(chuàng)建Elasticsearch集群：通過(guò)分布式部署方式在第二服務(wù)器集群上安裝Elasticsearch，根據(jù)業(yè)務(wù)需求，創(chuàng)建對(duì)應(yīng)的索引；S4.提供數(shù)據(jù)源腳本或者API接口，作為數(shù)據(jù)源的接入，寫(xiě)入Mysql集群；S5.使用Nginx作為負(fù)載均衡器，對(duì)數(shù)據(jù)源的請(qǐng)求通過(guò)負(fù)載均衡分發(fā)到Mysql集群上；S6.通過(guò)腳本從對(duì)應(yīng)的Mysql集群服務(wù)器上讀取Mysql數(shù)據(jù)源，將數(shù)據(jù)源進(jìn)行封裝。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，更具體地，涉及一種基于Mysql、Kafka和Elasticsearch的游戲數(shù)據(jù)處理方法、系統(tǒng)及存儲(chǔ)介質(zhì)。

背景技術(shù)

目前，現(xiàn)有的游戲數(shù)據(jù)處理方法一般采用Mysql進(jìn)行數(shù)據(jù)存儲(chǔ)，以文件采集的方式對(duì)游戲數(shù)據(jù)進(jìn)行采集，然后通過(guò)sql語(yǔ)句對(duì)游戲數(shù)據(jù)進(jìn)行處理，這種方法主要存在以下缺點(diǎn)：

1、數(shù)據(jù)采集和處理能力受限于單臺(tái)機(jī)器的性能，在高并發(fā)和大數(shù)據(jù)量的情況下，Mysql的性能可能會(huì)受到影響。

2、Mysql的擴(kuò)展性存在一些限制，如單個(gè)表的數(shù)據(jù)量、并發(fā)連接數(shù)等限制，難以處理超大規(guī)模的游戲數(shù)據(jù)。

3、Mysql的存儲(chǔ)空間占用較高，尤其是對(duì)于大量重復(fù)數(shù)據(jù)的情況下，需要進(jìn)行額外的存儲(chǔ)空間優(yōu)化。

4、Mysql無(wú)法單獨(dú)處理冷數(shù)據(jù)，只能刪除處理，刪除之后存儲(chǔ)空間不會(huì)立即釋放，需要額外進(jìn)行表空間優(yōu)化，數(shù)據(jù)量大的情況下，對(duì)表進(jìn)行優(yōu)化，容易引起業(yè)務(wù)無(wú)法訪問(wèn)數(shù)據(jù)表的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的發(fā)明目的在于提供一種游戲數(shù)據(jù)處理方法，用于解決現(xiàn)有的技術(shù)方案無(wú)法處理高并發(fā)場(chǎng)景的技術(shù)問(wèn)題。

為實(shí)現(xiàn)以上發(fā)明目的，采用的技術(shù)方案是：

游戲數(shù)據(jù)處理方法，包括以下步驟：

S1.創(chuàng)建Mysql集群：通過(guò)分布式部署的方式在第一服務(wù)器集群上安裝Mysql；

S2.創(chuàng)建Kafka集群：在第一服務(wù)器集群上安裝Kafka，根據(jù)業(yè)務(wù)需求，在第一服務(wù)器集群上創(chuàng)建與Mysql表對(duì)應(yīng)的分片；

S3.創(chuàng)建Elasticsearch集群：通過(guò)分布式部署方式在第二服務(wù)器集群上安裝Elasticsearch，根據(jù)業(yè)務(wù)需求，創(chuàng)建對(duì)應(yīng)的索引；

S4.提供數(shù)據(jù)源腳本或者API接口，作為數(shù)據(jù)源的接入，寫(xiě)入Mysql集群；

S5.使用Nginx作為負(fù)載均衡器，對(duì)數(shù)據(jù)源的請(qǐng)求通過(guò)負(fù)載均衡分發(fā)到Mysql集群上；

S6.通過(guò)腳本從對(duì)應(yīng)的Mysql集群服務(wù)器上讀取Mysql數(shù)據(jù)源，將數(shù)據(jù)源進(jìn)行封裝；

S7.將封裝好的數(shù)據(jù)源，通過(guò)Kafka的api發(fā)送至Kafka集群對(duì)應(yīng)的topic中；

S8.Elasticsearch集群中的服務(wù)器，通過(guò)Kafka?Consumer?API消費(fèi)Kafka消息隊(duì)列中的數(shù)據(jù)；對(duì)于每個(gè)消費(fèi)的消息，使用Elasticsearch?Bulk?API將其寫(xiě)入Elasticsearch索引中；

S9.使用Elasticsearch?Index?Templates定義Elasticsearch集群服務(wù)器的索引模板；使用自定義分詞器通過(guò)Elasticsearch?Search?API配置Elasticsearch集群服務(wù)器的搜索策略；

S10.根據(jù)業(yè)務(wù)需求，Elasticsearch集群服務(wù)器編寫(xiě)對(duì)應(yīng)的Elasticsearch腳本，對(duì)游戲數(shù)據(jù)進(jìn)行分析和展示。