[發(fā)明專利]數(shù)據(jù)處理方法、系統(tǒng)及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010738887.X
• 申請(qǐng)日: 2020-07-28
• 公開（公告）號(hào): CN113297282A
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 楊文龍
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458;G06F16/27
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 吳肖肖

1.一種數(shù)據(jù)處理方法，包括：

第一數(shù)據(jù)存儲(chǔ)裝置接收寫入的第一數(shù)據(jù)，且獲取預(yù)設(shè)的數(shù)據(jù)管理文件；

在根據(jù)所述數(shù)據(jù)管理文件確定所述第一數(shù)據(jù)為目標(biāo)數(shù)據(jù)的情況下，將所述第一數(shù)據(jù)按照第一預(yù)設(shè)要求寫入日志文件；

同步裝置在監(jiān)控到所述第一數(shù)據(jù)被寫入到所述日志文件，且確定所述第一數(shù)據(jù)為所述目標(biāo)數(shù)據(jù)的情況下，將所述第一數(shù)據(jù)寫入所述第二數(shù)據(jù)存儲(chǔ)裝置。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，所述數(shù)據(jù)管理文件包括索引列；

所述根據(jù)所述數(shù)據(jù)管理文件確定所述第一數(shù)據(jù)為目標(biāo)數(shù)據(jù)包括：

根據(jù)所述數(shù)據(jù)管理文件確定所述第一數(shù)據(jù)對(duì)應(yīng)的列為所述索引列，將所述第一數(shù)據(jù)確定為目標(biāo)數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，所述數(shù)據(jù)管理文件包括目標(biāo)數(shù)據(jù)類型；

所述根據(jù)所述數(shù)據(jù)管理文件確定所述第一數(shù)據(jù)為目標(biāo)數(shù)據(jù)包括：

根據(jù)所述數(shù)據(jù)管理文件確定所述第一數(shù)據(jù)對(duì)應(yīng)的類型為所述目標(biāo)數(shù)據(jù)類型，將所述第一數(shù)據(jù)確定為目標(biāo)數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，所述確定所述第一數(shù)據(jù)為所述目標(biāo)數(shù)據(jù)包括：

獲取被寫入到所述日志文件的所述第一數(shù)據(jù)，且確定所述第一數(shù)據(jù)在所述日志文件中的存儲(chǔ)格式；

在所述存儲(chǔ)格式與所述第一數(shù)據(jù)按照所述第一預(yù)設(shè)要求寫入到所述日志文件的寫入格式相同的情況下，確定所述第一數(shù)據(jù)為目標(biāo)數(shù)據(jù)。

5.根據(jù)權(quán)利要求2或3所述的數(shù)據(jù)處理方法，所述確定所述第一數(shù)據(jù)為所述目標(biāo)數(shù)據(jù)包括：

獲取被寫入到所述日志文件的所述第一數(shù)據(jù)，且獲取所述數(shù)據(jù)管理文件；

根據(jù)所述數(shù)據(jù)管理文件確定被寫入到所述日志文件的所述第一數(shù)據(jù)為所述目標(biāo)數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，所述第一數(shù)據(jù)存儲(chǔ)裝置接收寫入的第一數(shù)據(jù)，且獲取預(yù)設(shè)的數(shù)據(jù)管理文件之后，還包括：

在根據(jù)所述數(shù)據(jù)管理文件確定所述第一數(shù)據(jù)為非目標(biāo)數(shù)據(jù)的情況下，將所述第一數(shù)據(jù)按照第二預(yù)設(shè)要求寫入日志文件。

7.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理方法，所述將所述第一數(shù)據(jù)按照第一預(yù)設(shè)要求寫入日志文件包括：

根據(jù)所述數(shù)據(jù)管理文件以及所述第一數(shù)據(jù)確定第二數(shù)據(jù)；

獲取未寫入所述第一數(shù)據(jù)的日志文件、所述第一數(shù)據(jù)的寫入時(shí)間戳、以及所述第二數(shù)據(jù)；

將所述未寫入所述第一數(shù)據(jù)的日志文件、所述第一數(shù)據(jù)的寫入時(shí)間戳、所述第二數(shù)據(jù)進(jìn)行組合，寫入所述日志文件。

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)處理方法，所述根據(jù)所述數(shù)據(jù)管理文件以及所述第一數(shù)據(jù)確定第二數(shù)據(jù)包括：

根據(jù)所述數(shù)據(jù)管理文件確定索引列，且確定所述第一數(shù)據(jù)對(duì)應(yīng)的行；

將所述第一數(shù)據(jù)對(duì)應(yīng)的行與索引列交叉的數(shù)據(jù)確定為所述第二數(shù)據(jù)。

9.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，所述第一數(shù)據(jù)存儲(chǔ)裝置為分布式數(shù)據(jù)庫，所述第二數(shù)據(jù)存儲(chǔ)裝置為搜索引擎；

相應(yīng)的，所述第一數(shù)據(jù)存儲(chǔ)裝置接收寫入的第一數(shù)據(jù)，且獲取預(yù)設(shè)的數(shù)據(jù)管理文件包括：

所述分布式數(shù)據(jù)庫接收寫入的第一數(shù)據(jù)，且獲取預(yù)設(shè)的數(shù)據(jù)管理文件；

相應(yīng)的，所述將所述第一數(shù)據(jù)寫入所述第二數(shù)據(jù)存儲(chǔ)裝置包括：

將所述第一數(shù)據(jù)寫入所述搜索引擎。

10.一種數(shù)據(jù)處理系統(tǒng)，包括：

第一數(shù)據(jù)存儲(chǔ)裝置、同步裝置以及第二數(shù)據(jù)存儲(chǔ)裝置，其中，

所述第一數(shù)據(jù)存儲(chǔ)裝置，被配置為接收寫入的第一數(shù)據(jù)，且獲取預(yù)設(shè)的數(shù)據(jù)管理文件；

在根據(jù)所述數(shù)據(jù)管理文件確定所述第一數(shù)據(jù)為目標(biāo)數(shù)據(jù)的情況下，將所述第一數(shù)據(jù)按照第一預(yù)設(shè)要求寫入日志文件；

所述同步裝置，被配置為在監(jiān)控到所述第一數(shù)據(jù)被寫入到所述日志文件，且確定所述第一數(shù)據(jù)為所述目標(biāo)數(shù)據(jù)的情況下，將所述第一數(shù)據(jù)寫入所述第二數(shù)據(jù)存儲(chǔ)裝置。