[發(fā)明專利]一種大數(shù)據(jù)量的數(shù)據(jù)稽核方法和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202211511195.7
• 申請(qǐng)日: 2022-11-29
• 公開（公告）號(hào): CN116089436A
• 公開（公告）日: 2023-05-09
• 發(fā)明（設(shè)計(jì)）人: 何耀楓;趙黃起;李義;藺鶴鵬;王昱東
• 申請(qǐng)（專利權(quán)）人: 榮耀終端有限公司
• 主分類號(hào): G06F16/23
• 分類號(hào): G06F16/23;G06F16/2455
• 代理公司: 北京中博世達(dá)專利商標(biāo)代理有限公司 11274
• 代理人: 申健

1.一種大數(shù)據(jù)量的數(shù)據(jù)稽核方法，其特征在于，所述方法包括：

獲取第一文件和第二文件；

對(duì)所述第一文件進(jìn)行數(shù)據(jù)抽取，獲取第一數(shù)據(jù)，所述第一數(shù)據(jù)包括至少一條數(shù)據(jù)；

對(duì)所述第二文件進(jìn)行數(shù)據(jù)抽取，獲取第二數(shù)據(jù)，所述第二數(shù)據(jù)包括至少一條數(shù)據(jù)；

分別對(duì)所述第一數(shù)據(jù)和所述第二數(shù)據(jù)中每一條數(shù)據(jù)進(jìn)行字段拼接，生成所述第一數(shù)據(jù)和所述第二數(shù)據(jù)中每一條數(shù)據(jù)的拼接字段；

生成所述第一數(shù)據(jù)和所述第二數(shù)據(jù)中每一條數(shù)據(jù)的拼接字段對(duì)應(yīng)的身份編碼，所述身份編碼用于唯一標(biāo)識(shí)一個(gè)拼接字段；

根據(jù)所述第一數(shù)據(jù)中每一條數(shù)據(jù)對(duì)應(yīng)的身份編碼、對(duì)應(yīng)的拼接字段和第一標(biāo)志位生成所述第一數(shù)據(jù)中每一條所述數(shù)據(jù)的拼接數(shù)據(jù)；

根據(jù)所述第二數(shù)據(jù)中每一條數(shù)據(jù)對(duì)應(yīng)的身份編碼、對(duì)應(yīng)的拼接字段和第二標(biāo)志位生成所述第二數(shù)據(jù)中每一條所述數(shù)據(jù)的拼接數(shù)據(jù)；其中，所述第一標(biāo)志位和所述第二標(biāo)志位不同，所述第一標(biāo)志位和所述第二標(biāo)志位之和為0；

將根據(jù)所述第一數(shù)據(jù)生成的拼接數(shù)據(jù)和根據(jù)所述第二數(shù)據(jù)生成的拼接數(shù)據(jù)合并入結(jié)果文件；其中，身份編碼相同且標(biāo)志位之和為0的拼接數(shù)據(jù)被刪除；

所述結(jié)果文件包括所述第一文件和所述第二文件的差異數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述身份編碼為所述一條數(shù)據(jù)的拼接字段的校驗(yàn)和。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述對(duì)所述第一文件進(jìn)行數(shù)據(jù)抽取，獲取第一數(shù)據(jù)，包括：

讀取所述第一文件中每一條數(shù)據(jù)的全部字段，獲取第一數(shù)據(jù)；

所述對(duì)所述第二文件進(jìn)行數(shù)據(jù)抽取，獲取第二數(shù)據(jù)，包括：

讀取所述第二文件中每一條數(shù)據(jù)的全部字段，獲取第二數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述對(duì)所述第一文件進(jìn)行數(shù)據(jù)抽取，獲取第一數(shù)據(jù)，包括：

讀取所述第一文件中每一條數(shù)據(jù)的部分字段，獲取第一數(shù)據(jù)；

所述對(duì)所述第二文件進(jìn)行數(shù)據(jù)抽取，獲取第二數(shù)據(jù)，包括：

讀取所述第二文件中每一條數(shù)據(jù)的部分字段，獲取第二數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述對(duì)所述第一文件進(jìn)行數(shù)據(jù)抽取，獲取第一數(shù)據(jù)，包括：

多次抽取所述第一文件中的數(shù)據(jù)；其中，每次抽取所述第一文件中N行數(shù)據(jù)，獲取一組第一數(shù)據(jù)；

對(duì)所述第二文件進(jìn)行數(shù)據(jù)抽取，獲取第二數(shù)據(jù)，包括：

多次抽取所述第二文件中的數(shù)據(jù)；其中，每次抽取所述第二文件中N行數(shù)據(jù)，獲取一組第二數(shù)據(jù)；

其中，N大于或等于1。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將根據(jù)所述第一數(shù)據(jù)生成的拼接數(shù)據(jù)和根據(jù)所述第二數(shù)據(jù)生成的拼接數(shù)據(jù)合并入結(jié)果文件，包括：

根據(jù)所述第一數(shù)據(jù)生成的拼接數(shù)據(jù)生成第一臨時(shí)文件；

根據(jù)所述第二數(shù)據(jù)生成的拼接數(shù)據(jù)生成第二臨時(shí)文件；

根據(jù)所述第一臨時(shí)文件和所述第二臨時(shí)文件生成結(jié)果文件。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述第一臨時(shí)文件和所述第二臨時(shí)文件生成結(jié)果文件，包括：

依次將所述第一臨時(shí)文件和所述第二臨時(shí)文件中的拼接數(shù)據(jù)寫入至少一個(gè)中間文件；其中，每次將一個(gè)第一臨時(shí)文件或一個(gè)第二臨時(shí)文件寫入中間文件后，身份編碼相同且標(biāo)志位之和為0的拼接數(shù)據(jù)被刪除；

根據(jù)所述中間文件獲取所述結(jié)果文件。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述中間文件的名稱包括所述中間文件中拼接數(shù)據(jù)的身份編碼的最小值和最大值。

9.根據(jù)權(quán)利要求7所述的方法，其特征在于，不同的中間文件包含的身份編碼區(qū)間不重疊。

10.根據(jù)權(quán)利要求9所述的方法，其特征在于，多個(gè)所述中間文件按照中間文件中包含的身份編碼的大小順序排列。