[發(fā)明專利]數(shù)據(jù)的比對(duì)方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)有效

申請(qǐng)?zhí)枺?/td>	202011015168.1	申請(qǐng)日：	2020-09-24
公開(kāi)（公告）號(hào)：	CN112199935B	公開(kāi)（公告）日：	2023-05-26
發(fā)明（設(shè)計(jì)）人：	張同虎;王文娟	申請(qǐng)（專利權(quán)）人：	建信金融科技有限責(zé)任公司
主分類號(hào)：	G06F40/194	分類號(hào)：	G06F40/194;G06F40/205;G06F16/182;G06Q40/02
代理公司：	北京市蘭臺(tái)律師事務(wù)所 11354	代理人：	張峰
地址：	200120 上海市浦東新區(qū)***	國(guó)省代碼：	上海;31
權(quán)利要求書(shū)：	查看更多	說(shuō)明書(shū)：	查看更多
摘要：
搜索關(guān)鍵詞：	數(shù)據(jù) 方法裝置電子設(shè)備計(jì)算機(jī) 可讀存儲(chǔ) 介質(zhì)
鉆瓜網(wǎng) 技術(shù)展會(huì) 專利詞庫(kù) 專利權(quán)人專利榜在售專利公布日期熱門專利

【權(quán)利要求書(shū)】：

1.一種數(shù)據(jù)的比對(duì)方法，其特征在于，包括：

獲取主機(jī)數(shù)據(jù)文件以及分布式平臺(tái)數(shù)據(jù)文件；

基于行數(shù)據(jù)的鍵值，確定所述主機(jī)數(shù)據(jù)文件的行數(shù)據(jù)的鍵值是否唯一，以及所述分布式平臺(tái)數(shù)據(jù)文件的行數(shù)據(jù)的鍵值是否唯一；

基于所述主機(jī)數(shù)據(jù)文件的行數(shù)據(jù)的鍵值是否唯一，以及所述分布式平臺(tái)數(shù)據(jù)文件的行數(shù)據(jù)的鍵值是否唯一，對(duì)所述主機(jī)數(shù)據(jù)文件的行數(shù)據(jù)以及所述分布式平臺(tái)數(shù)據(jù)文件的行數(shù)據(jù)進(jìn)行比對(duì)，所述對(duì)主機(jī)數(shù)據(jù)文件的行數(shù)據(jù)以及所述分布式平臺(tái)數(shù)據(jù)文件的行數(shù)據(jù)進(jìn)行比對(duì)，包括：

將所述主機(jī)數(shù)據(jù)文件以及所述分布式平臺(tái)數(shù)據(jù)文件中的行數(shù)據(jù)解析成列，并提取所述列的列值，所述將所述主機(jī)數(shù)據(jù)文件以及所述分布式平臺(tái)數(shù)據(jù)文件中的行數(shù)據(jù)解析成列，包括：

確定所述主機(jī)數(shù)據(jù)文件以及所述分布式平臺(tái)數(shù)據(jù)文件所屬的文件類型；

基于所述文件類型確定對(duì)應(yīng)的解析規(guī)則；

基于所述解析規(guī)則將所述主機(jī)數(shù)據(jù)文件以及所述分布式平臺(tái)數(shù)據(jù)文件中的行數(shù)據(jù)解析成列；

基于所述列值進(jìn)行所述主機(jī)數(shù)據(jù)文件的行數(shù)據(jù)以及所述分布式平臺(tái)數(shù)據(jù)文件的行數(shù)據(jù)的比對(duì)；

確定所述主機(jī)數(shù)據(jù)文件與所述分布式平臺(tái)數(shù)據(jù)文件的差異數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取主機(jī)數(shù)據(jù)文件以及分布式平臺(tái)數(shù)據(jù)文件，包括：

從NAS存儲(chǔ)節(jié)點(diǎn)分別獲取主機(jī)數(shù)據(jù)文件以及分布式平臺(tái)數(shù)據(jù)文件。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述主機(jī)數(shù)據(jù)文件的行數(shù)據(jù)的鍵值是否唯一，以及所述分布式平臺(tái)數(shù)據(jù)文件的行數(shù)據(jù)的鍵值是否唯一，對(duì)所述主機(jī)數(shù)據(jù)文件的行數(shù)據(jù)以及所述分布式平臺(tái)數(shù)據(jù)文件的行數(shù)據(jù)進(jìn)行比對(duì)，包括：

若所述主機(jī)數(shù)據(jù)文件以及所述分布式平臺(tái)數(shù)據(jù)文件中存在鍵值唯一的行數(shù)據(jù)，則將所述主機(jī)數(shù)據(jù)文件與所述分布式平臺(tái)數(shù)據(jù)文件中相同鍵值的行數(shù)據(jù)進(jìn)行比對(duì)；

若所述主機(jī)數(shù)據(jù)文件以及所述分布式平臺(tái)數(shù)據(jù)文件中存在鍵值不唯一的行數(shù)據(jù)，則將主機(jī)數(shù)據(jù)文件與所述分布式平臺(tái)數(shù)據(jù)文件中鍵值不唯一的行數(shù)據(jù)中相同鍵值的行數(shù)據(jù)進(jìn)行比對(duì)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將所述主機(jī)數(shù)據(jù)文件與所述分布式平臺(tái)數(shù)據(jù)文件中相同鍵值的行數(shù)據(jù)進(jìn)行比對(duì)，包括：

通過(guò)Shuffle操作獲取所述主機(jī)數(shù)據(jù)文件與所述分布式平臺(tái)數(shù)據(jù)文件中相同鍵值的行數(shù)據(jù)，并進(jìn)行比對(duì)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，若所述文件類型為字符分隔型，所述基于所述解析規(guī)則將所述主機(jī)數(shù)據(jù)文件以及所述分布式平臺(tái)數(shù)據(jù)文件中的行數(shù)據(jù)解析成列，包括：

基于預(yù)配置的分隔符對(duì)所述主機(jī)數(shù)據(jù)文件以及所述分布式平臺(tái)數(shù)據(jù)文件中的行數(shù)據(jù)進(jìn)行切割，得到列。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，若所述文件類型為定長(zhǎng)型，所述基于所述解析規(guī)則將所述主機(jī)數(shù)據(jù)文件以及所述分布式平臺(tái)數(shù)據(jù)文件中的行數(shù)據(jù)解析成列，包括：

基于字段的起始位置以及字段的字符長(zhǎng)度，將所述主機(jī)數(shù)據(jù)文件以及所述分布式平臺(tái)數(shù)據(jù)文件中的行數(shù)據(jù)解析成列。

下載完整專利技術(shù)內(nèi)容需要扣除積分，VIP會(huì)員可以免費(fèi)下載。

免登錄下載普通用戶下載升級(jí)VIP會(huì)員，免費(fèi)下載

該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于建信金融科技有限責(zé)任公司，未經(jīng)建信金融科技有限責(zé)任公司許可，擅自商用是侵權(quán)行為。如果您想購(gòu)買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請(qǐng)聯(lián)系【客服】

本文鏈接：http://www.szxzyx.cn/pat/books/202011015168.1/1.html，轉(zhuǎn)載請(qǐng)聲明來(lái)源鉆瓜專利網(wǎng)。