[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置及計算機存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201710286287.2
• 申請日: 2017-04-27
• 公開（公告）號: CN107423336B
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計）人: 鄒煒
• 申請（專利權(quán)）人: 努比亞技術(shù)有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/172;G06F16/17;G06F16/18;G06F11/34;G06F11/30
• 代理公司: 深圳協(xié)成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44458
• 代理人: 章小燕

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

獲取第一日志數(shù)據(jù)，所述第一日志數(shù)據(jù)為已采集到的歷史日志數(shù)據(jù)；

對所述第一日志數(shù)據(jù)進行索引構(gòu)建，得到第一索引文件；所述第一索引文件包括N個子索引文件和總索引文件；

利用所述第一索引文件進行增量同步，得到第二索引文件；

根據(jù)所述第二索引文件采集第二日志數(shù)據(jù)，所述第二日志數(shù)據(jù)為當前要采集的日志數(shù)據(jù)；

所述利用所述第一索引文件進行增量同步，得到第二索引文件，包括：

分別利用所述第一索引文件中的N個子索引文件進行增量同步，得到第二索引文件，N的取值大于等于2。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述第一日志數(shù)據(jù)進行索引構(gòu)建，得到第一索引文件，包括：

監(jiān)聽索引構(gòu)建規(guī)則；

根據(jù)所監(jiān)聽到的索引構(gòu)建規(guī)則對所述第一日志數(shù)據(jù)進行索引構(gòu)建，得到N個子索引文件；

對所述N個子索引文件進行同類合并處理，得到總索引文件。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所監(jiān)聽到的索引構(gòu)建規(guī)則對所述第一日志數(shù)據(jù)進行索引構(gòu)建，得到N個子索引文件，包括：

根據(jù)所監(jiān)聽到的索引構(gòu)建規(guī)則，對所述第一日志數(shù)據(jù)進行頻次統(tǒng)計，得到統(tǒng)計結(jié)果；

將所述統(tǒng)計結(jié)果中滿足所述索引構(gòu)建規(guī)則的日志塊進行分類構(gòu)建索引，得到N個子索引文件。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

監(jiān)聽負載均衡規(guī)則；

根據(jù)所監(jiān)聽到的負載均衡規(guī)則收集并存儲所采集到的第二日志數(shù)據(jù)。

5.一種數(shù)據(jù)處理設(shè)備，其特征在于，所述數(shù)據(jù)處理設(shè)備包括處理器、存儲器及通信總線；

所述通信總線用于實現(xiàn)處理器和存儲器之間的連接通信；

所述處理器用于執(zhí)行存儲器中存儲的數(shù)據(jù)處理程序，以實現(xiàn)以下步驟：

獲取第一日志數(shù)據(jù)，所述第一日志數(shù)據(jù)為已采集到的歷史日志數(shù)據(jù)；

對所述第一日志數(shù)據(jù)進行索引構(gòu)建，得到第一索引文件；所述第一索引文件包括N個子索引文件和總索引文件；

利用所述第一索引文件進行增量同步，得到第二索引文件；

根據(jù)所述第二索引文件采集第二日志數(shù)據(jù)，所述第二日志數(shù)據(jù)為當前要采集的日志數(shù)據(jù)；

所述利用所述第一索引文件進行增量同步，得到第二索引文件，包括：

分別利用所述第一索引文件中的N個子索引文件進行增量同步，得到第二索引文件，N的取值大于等于2。

6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理設(shè)備，其特征在于，所述第一索引文件包括N個子索引文件和總索引文件；

所述處理器還用于執(zhí)行存儲器中存儲的用于對所述第一日志數(shù)據(jù)進行索引構(gòu)建，得到第一索引文件的程序，以實現(xiàn)以下步驟：

監(jiān)聽索引構(gòu)建規(guī)則；

根據(jù)所監(jiān)聽到的索引構(gòu)建規(guī)則對所述第一日志數(shù)據(jù)進行索引構(gòu)建，得到N個子索引文件；

對所述N個子索引文件進行同類合并處理，得到總索引文件。

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理設(shè)備，其特征在于，所述處理器還用于執(zhí)行存儲器中存儲的用于根據(jù)所監(jiān)聽到的索引構(gòu)建規(guī)則對所述第一日志數(shù)據(jù)進行索引構(gòu)建，得到N個子索引文件的程序，以實現(xiàn)以下步驟：

根據(jù)所監(jiān)聽到的索引構(gòu)建規(guī)則，對所述第一日志數(shù)據(jù)進行頻次統(tǒng)計，得到統(tǒng)計結(jié)果；

將所述統(tǒng)計結(jié)果中滿足所述索引構(gòu)建規(guī)則的日志塊進行分類構(gòu)建索引，得到N個子索引文件。

8.根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理設(shè)備，其特征在于，所述處理器還用于執(zhí)行存儲器中存儲的數(shù)據(jù)處理程序，以實現(xiàn)以下步驟：

監(jiān)聽負載均衡規(guī)則；

根據(jù)所監(jiān)聽到的負載均衡規(guī)則收集并存儲所采集到的第二日志數(shù)據(jù)。