[發(fā)明專利]離線數(shù)據(jù)處理方法、裝置、電子設(shè)備和計算機(jī)可讀介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011604530.9
• 申請日: 2020-12-29
• 公開（公告）號: CN112579326A
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計）人: 張文選;史忠偉
• 申請（專利權(quán)）人: 北京五八信息技術(shù)有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F16/182;G06F16/27
• 代理公司: 北京衛(wèi)智暢科專利代理事務(wù)所(普通合伙) 11557
• 代理人: 陳佳

1.一種離線數(shù)據(jù)處理方法，包括：

根據(jù)分布式消息系統(tǒng)訂閱信息，從分布式消息系統(tǒng)中獲取預(yù)先過濾的離線數(shù)據(jù)，其中，所述分布式消息系統(tǒng)訂閱信息用于指示所述預(yù)先過濾的離線數(shù)據(jù)在所述分布式消息系統(tǒng)中的存儲位置；

對所述預(yù)先過濾的離線數(shù)據(jù)進(jìn)行格式統(tǒng)一處理，得到目標(biāo)格式的離線數(shù)據(jù)；

對所述目標(biāo)格式的離線數(shù)據(jù)進(jìn)行內(nèi)容修正處理，得到與在線數(shù)據(jù)的內(nèi)容一致的修正數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述方法還包括：

對所述修正數(shù)據(jù)進(jìn)行深度過濾處理，得到深度過濾數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述分布式消息系統(tǒng)中預(yù)先過濾的離線數(shù)據(jù)是通過以下步驟得到的：

根據(jù)原始離線數(shù)據(jù)地址，從分布式文件系統(tǒng)中獲取原始離線數(shù)據(jù)；

根據(jù)預(yù)先設(shè)置的預(yù)處理過濾條件對所述原始離線數(shù)據(jù)進(jìn)行初步過濾處理，得到初步過濾數(shù)據(jù)；

將所述初步過濾數(shù)據(jù)作為所述預(yù)先過濾的離線數(shù)據(jù)發(fā)送至所述分布式消息系統(tǒng)。

4.根據(jù)權(quán)利要求2所述的方法，其中，所述對所述修正數(shù)據(jù)進(jìn)行深度過濾處理，得到深度過濾數(shù)據(jù)，包括：

根據(jù)預(yù)設(shè)的深度過濾信息組對所述修正數(shù)據(jù)進(jìn)行深度過濾處理，得到深度過濾數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述深度過濾信息組中的深度過濾信息包括：字段補(bǔ)全信息，深度過濾條件；以及

所述根據(jù)預(yù)設(shè)的深度過濾信息組對所述修正數(shù)據(jù)進(jìn)行深度過濾處理，得到深度過濾數(shù)據(jù)，包括：

將所述修正數(shù)據(jù)確定為初始修正數(shù)據(jù)；

從所述深度過濾信息組中選取深度過濾信息，以及執(zhí)行以下深度過濾處理步驟：

根據(jù)選取的深度過濾信息中包括的字段補(bǔ)全信息，對初始修正數(shù)據(jù)進(jìn)行字段補(bǔ)全，得到字段補(bǔ)全后的修正數(shù)據(jù)；

根據(jù)選取的深度過濾信息中包括的深度過濾條件，對字段補(bǔ)全后的修正數(shù)據(jù)進(jìn)行過濾，得到過濾后的補(bǔ)全數(shù)據(jù)；

響應(yīng)于確定所述深度過濾信息組中未選取過的深度過濾信息的個數(shù)滿足預(yù)設(shè)條件，將過濾后的補(bǔ)全數(shù)據(jù)確定為所述深度過濾數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述根據(jù)預(yù)設(shè)的深度過濾信息組對所述修正數(shù)據(jù)進(jìn)行深度過濾處理，得到深度過濾數(shù)據(jù)，還包括：

響應(yīng)于確定所述深度過濾信息組中未選取過的深度過濾信息的個數(shù)不滿足所述預(yù)設(shè)條件，將過濾后的補(bǔ)全數(shù)據(jù)作為初始修正數(shù)據(jù)，從所述深度過濾信息組中重新選取未選取過的深度過濾信息，執(zhí)行所述深度過濾處理步驟。

7.根據(jù)權(quán)利要求2所述的方法，其中，所述方法還包括：

將所述深度過濾數(shù)據(jù)發(fā)送至目標(biāo)地址所指示的位置。

8.一種離線數(shù)據(jù)處理裝置，包括：

獲取單元，被配置成根據(jù)分布式消息系統(tǒng)訂閱信息，從分布式消息系統(tǒng)中獲取預(yù)先過濾的離線數(shù)據(jù)，其中，所述分布式消息系統(tǒng)訂閱信息用于指示所述預(yù)先過濾的離線數(shù)據(jù)在所述分布式消息系統(tǒng)中的存儲位置；

格式統(tǒng)一處理單元，被配置成對所述預(yù)先過濾的離線數(shù)據(jù)進(jìn)行格式統(tǒng)一處理，得到目標(biāo)格式的離線數(shù)據(jù)；

內(nèi)容修正處理單元，被配置成對所述目標(biāo)格式的離線數(shù)據(jù)進(jìn)行內(nèi)容修正處理，得到與在線數(shù)據(jù)的內(nèi)容一致的修正數(shù)據(jù)。

9.一種電子設(shè)備，包括：

一個或多個處理器；

存儲裝置，其上存儲有一個或多個程序，

當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)如權(quán)利要求1-7中任一所述的方法。

10.一種計算機(jī)可讀介質(zhì)，其上存儲有計算機(jī)程序，其中，所述程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7中任一所述的方法。