[發(fā)明專利]數(shù)據(jù)處理方法、系統(tǒng)及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010738887.X
• 申請(qǐng)日: 2020-07-28
• 公開（公告）號(hào): CN113297282A
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 楊文龍
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458;G06F16/27
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 吳肖肖

本說明書實(shí)施例提供數(shù)據(jù)處理方法、系統(tǒng)及裝置，其中，第一種所述數(shù)據(jù)處理方法包括第一數(shù)據(jù)存儲(chǔ)裝置接收寫入的第一數(shù)據(jù)，且獲取預(yù)設(shè)的數(shù)據(jù)管理文件；在根據(jù)所述數(shù)據(jù)管理文件確定所述第一數(shù)據(jù)為目標(biāo)數(shù)據(jù)的情況下，將所述第一數(shù)據(jù)按照第一預(yù)設(shè)要求寫入日志文件；同步裝置在監(jiān)控到所述第一數(shù)據(jù)被寫入到所述日志文件，且確定所述第一數(shù)據(jù)為所述目標(biāo)數(shù)據(jù)的情況下，將所述第一數(shù)據(jù)寫入所述第二數(shù)據(jù)存儲(chǔ)裝置。

技術(shù)領(lǐng)域

本說明書實(shí)施例涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及數(shù)據(jù)處理方法。本說明書一個(gè)或者多個(gè)實(shí)施例同時(shí)涉及數(shù)據(jù)處理系統(tǒng)，數(shù)據(jù)處理裝置，計(jì)算設(shè)備，以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

Solr(搜索引擎)是業(yè)界廣泛應(yīng)用的分布式全文檢索。Solr支持各種復(fù)雜的條件查詢和全文索引，通過結(jié)合HBase(數(shù)據(jù)庫)，可以最大限度發(fā)揮HBase和Solr各自的優(yōu)點(diǎn)，從而使得我們可以構(gòu)建復(fù)雜的大數(shù)據(jù)存儲(chǔ)和檢索服務(wù)。

而現(xiàn)有技術(shù)中，由于搜索引擎需要更新全量數(shù)據(jù)，因此在確定HBase中存在寫入數(shù)據(jù)，是需要基于寫入數(shù)據(jù)回讀與其對(duì)應(yīng)的全量數(shù)據(jù)之后才能寫入Solr，同步效率較低。

因此需要提供一種可以將HBase中的寫入數(shù)據(jù)無需回讀即可按照用戶的需求同步到Solr搜索引擎中的數(shù)據(jù)處理方法。

發(fā)明內(nèi)容

有鑒于此，本說明書施例提供了數(shù)據(jù)處理方法。本說明書一個(gè)或者多個(gè)實(shí)施例同時(shí)涉及數(shù)據(jù)處理系統(tǒng)，數(shù)據(jù)處理裝置，計(jì)算設(shè)備，以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中存在的技術(shù)缺陷。

根據(jù)本說明書實(shí)施例的第一方面，提供了一種數(shù)據(jù)處理方法，包括：

第一數(shù)據(jù)存儲(chǔ)裝置接收寫入的第一數(shù)據(jù)，且獲取預(yù)設(shè)的數(shù)據(jù)管理文件；

在根據(jù)所述數(shù)據(jù)管理文件確定所述第一數(shù)據(jù)為目標(biāo)數(shù)據(jù)的情況下，將所述第一數(shù)據(jù)按照第一預(yù)設(shè)要求寫入日志文件；

同步裝置在監(jiān)控到所述第一數(shù)據(jù)被寫入到所述日志文件，且確定所述第一數(shù)據(jù)為所述目標(biāo)數(shù)據(jù)的情況下，將所述第一數(shù)據(jù)寫入所述第二數(shù)據(jù)存儲(chǔ)裝置。

根據(jù)本說明書實(shí)施例的第二方面，提供了一種數(shù)據(jù)處理系統(tǒng)，包括：

第一數(shù)據(jù)存儲(chǔ)裝置、同步裝置以及第二數(shù)據(jù)存儲(chǔ)裝置，其中，

所述第一數(shù)據(jù)存儲(chǔ)裝置，被配置為接收寫入的第一數(shù)據(jù)，且獲取預(yù)設(shè)的數(shù)據(jù)管理文件；

在根據(jù)所述數(shù)據(jù)管理文件確定所述第一數(shù)據(jù)為目標(biāo)數(shù)據(jù)的情況下，將所述第一數(shù)據(jù)按照第一預(yù)設(shè)要求寫入日志文件；

所述同步裝置，被配置為在監(jiān)控到所述第一數(shù)據(jù)被寫入到所述日志文件，且確定所述第一數(shù)據(jù)為所述目標(biāo)數(shù)據(jù)的情況下，將所述第一數(shù)據(jù)寫入所述第二數(shù)據(jù)存儲(chǔ)裝置。

根據(jù)本說明書實(shí)施例的第三方面，提供了一種數(shù)據(jù)處理方法，包括：

監(jiān)控日志文件；

在監(jiān)控到第一數(shù)據(jù)存儲(chǔ)裝置接收的第一數(shù)據(jù)被寫入到所述日志文件的情況下，獲取所述第一數(shù)據(jù)；

確定所述第一數(shù)據(jù)為目標(biāo)數(shù)據(jù)，且將所述第一數(shù)據(jù)寫入第二數(shù)據(jù)存儲(chǔ)裝置。

根據(jù)本說明書實(shí)施例的第四方面，提供了一種數(shù)據(jù)處理裝置，包括：

監(jiān)控模塊，被配置為監(jiān)控日志文件；

獲取模塊，被配置為在監(jiān)控到第一數(shù)據(jù)存儲(chǔ)裝置接收的第一數(shù)據(jù)被寫入到所述日志文件的情況下，獲取所述第一數(shù)據(jù)；

寫入模塊，被配置為確定所述第一數(shù)據(jù)為目標(biāo)數(shù)據(jù)，且將所述第一數(shù)據(jù)寫入第二數(shù)據(jù)存儲(chǔ)裝置。

根據(jù)本說明書實(shí)施例的第五方面，提供了一種計(jì)算設(shè)備，包括：

存儲(chǔ)器和處理器；