日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發(fā)明專利]交通一卡通交易數(shù)據(jù)全量查重方法及系統(tǒng)在審

專利信息
申請?zhí)枺?/td> 201711184282.5 申請日: 2017-11-23
公開(公告)號: CN108038140A 公開(公告)日: 2018-05-15
發(fā)明(設(shè)計)人: 謝振東;方秋水;李之明;陳衛(wèi)國;徐鋒;何建兵;張景奎 申請(專利權(quán))人: 廣東嶺南通股份有限公司
主分類號: G06F17/30 分類號: G06F17/30
代理公司: 廣州市越秀區(qū)哲力專利商標(biāo)事務(wù)所(普通合伙) 44288 代理人: 莫之特;羅峰
地址: 510110 廣東省廣州*** 國省代碼: 廣東;44
權(quán)利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關(guān)鍵詞: 交通 一卡通 交易 數(shù)據(jù) 全量查重 方法 系統(tǒng)
【說明書】:

發(fā)明公開了一種交通一卡通交易數(shù)據(jù)全量查重方法及系統(tǒng),該方法包括:設(shè)計有助于查重的預(yù)處理數(shù)據(jù)表,同步以往所有的交易數(shù)據(jù)到預(yù)處理數(shù)據(jù)表(包含交易文件、數(shù)據(jù)倉庫和非規(guī)則文件),在清分過程對全數(shù)據(jù)進行查重,后續(xù)可以將查重結(jié)果信息顯示在客戶端的顯示界面上。在有新數(shù)據(jù)進入時,同樣依照前述方式在預(yù)處理數(shù)據(jù)表中進行查重,完成清分。本發(fā)明針對交通一卡通的歷史海量交易數(shù)據(jù)和新產(chǎn)生的龐大交易數(shù)據(jù)提供了一套穩(wěn)定、高效、快速的全數(shù)據(jù)查重方法,使用戶在日益增加的交易數(shù)據(jù)量的情況下,對各種不同類型的交易數(shù)據(jù)進行查重清分,同時該查重方法也適用于其他行業(yè)的大數(shù)據(jù)查重應(yīng)用領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理的技術(shù)領(lǐng)域,尤其涉及交通一卡通交易數(shù)據(jù)全量查重方法及系統(tǒng)。

背景技術(shù)

近幾年來,隨著計算機和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用,行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴大,行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長,例如交通一卡通的交易數(shù)據(jù),動輒達到數(shù)百TB甚至數(shù)十至數(shù)百PB規(guī)模的行業(yè)/企業(yè)大數(shù)據(jù)已遠(yuǎn)遠(yuǎn)超出了現(xiàn)有傳統(tǒng)的計算技術(shù)和信息系統(tǒng)的處理能力,導(dǎo)致面對海量歷史數(shù)據(jù)和新產(chǎn)生的龐大數(shù)據(jù)時,傳統(tǒng)的數(shù)據(jù)處理方法其數(shù)據(jù)處理的效率較低,時間較長,因此,尋求有效的大數(shù)據(jù)處理技術(shù)、方法和手段已經(jīng)成為當(dāng)下的迫切需求。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足,本發(fā)明的目的在于提供交通一卡通交易數(shù)據(jù)全量查重方法及系統(tǒng),旨在解決現(xiàn)有技術(shù)的大數(shù)據(jù)處理技術(shù)面對海量歷史數(shù)據(jù)和新產(chǎn)生的龐大數(shù)據(jù)時其查重效率較低、所需時間較長的問題。

本發(fā)明的目的采用以下技術(shù)方案實現(xiàn):

一種交通一卡通交易數(shù)據(jù)全量查重方法,其特征在于,包括:

預(yù)處理步驟,設(shè)計預(yù)處理數(shù)據(jù)表;

同步步驟,將以往所有的交易數(shù)據(jù)同步到預(yù)處理數(shù)據(jù)表,所述交易數(shù)據(jù)包括交易文件、數(shù)據(jù)倉庫和非規(guī)則文件;

查重步驟,在預(yù)處理數(shù)據(jù)表中,對交易數(shù)據(jù)進行歷史查重,完成清分過程。

在上述實施例的基礎(chǔ)上,優(yōu)選的,所述預(yù)處理步驟包括:

將交易數(shù)據(jù)按票卡發(fā)行年分開,將票卡發(fā)行年作為獨立分表的基礎(chǔ);

在物理上進行獨立分表,得到票卡同發(fā)行年的數(shù)據(jù),根據(jù)發(fā)行票卡數(shù)量,采用票卡HASH取模方法建立若干張查重表;

在邏輯分區(qū)的基礎(chǔ)上,根據(jù)預(yù)估年交易筆數(shù),在查重表上建立若干個分區(qū),分區(qū)采用HASH方式,聯(lián)合查重鍵和邏輯票卡作為分區(qū)索引,根據(jù)執(zhí)行效率優(yōu)化分區(qū)索引類型。

在上述任意實施例的基礎(chǔ)上,優(yōu)選的,所述同步步驟包括:

對于交易文件類型的交易數(shù)據(jù),采用文件數(shù)據(jù)批量導(dǎo)入到預(yù)處理數(shù)據(jù)表的方式,完成交易數(shù)據(jù)的同步;

對于數(shù)據(jù)倉庫類型的交易數(shù)據(jù),采用數(shù)據(jù)庫鏈接到預(yù)處理數(shù)據(jù)表的方式,創(chuàng)建存儲過程,完成交易數(shù)據(jù)的同步;

對于非規(guī)則文件類型的交易數(shù)據(jù),采用日志引擎分析、查找和清洗的方式,完成交易數(shù)據(jù)的同步。

在上述任意實施例的基礎(chǔ)上,優(yōu)選的,所述查重步驟包括:

對于預(yù)處理數(shù)據(jù)表中的每條交易數(shù)據(jù),分組緩存并聚合同一票卡的所有交易記錄;

如果聚合得到的數(shù)據(jù)沒有重復(fù),則將該條交易數(shù)據(jù)緩存;

所有交易數(shù)據(jù)逐條查重結(jié)束,完成清分后,預(yù)處理數(shù)據(jù)表中的交易數(shù)據(jù)轉(zhuǎn)成查重數(shù)據(jù)文件,并同步到查重表中。

在上述任意實施例的基礎(chǔ)上,優(yōu)選的,還包括:

下載完整專利技術(shù)內(nèi)容需要扣除積分,VIP會員可以免費下載。

該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于廣東嶺南通股份有限公司,未經(jīng)廣東嶺南通股份有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服

本文鏈接:http://www.szxzyx.cn/pat/books/201711184282.5/2.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。

×

專利文獻下載

說明:

1、專利原文基于中國國家知識產(chǎn)權(quán)局專利說明書;

2、支持發(fā)明專利 、實用新型專利、外觀設(shè)計專利(升級中);

3、專利數(shù)據(jù)每周兩次同步更新,支持Adobe PDF格式;

4、內(nèi)容包括專利技術(shù)的結(jié)構(gòu)示意圖流程工藝圖技術(shù)構(gòu)造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關(guān)于我們 尋求報道 投稿須知 廣告合作 版權(quán)聲明 網(wǎng)站地圖 友情鏈接 企業(yè)標(biāo)識 聯(lián)系我們

鉆瓜專利網(wǎng)在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 国产呻吟久久久久久久92| 精品国产一区二区三区在线| 日韩精品福利片午夜免费观看| 狠狠色狠狠色合久久伊人| 国产专区一区二区| 久久夜色精品国产亚洲| 美国三级日本三级久久99| 一区二区三区免费高清视频| 中文字幕一区一区三区| 国产日韩欧美精品一区| 99爱精品在线| 国产欧美一区二区三区四区| 亚洲国产一区二区久久久777| 国产一区免费播放| 亚洲精品一区二区另类图片| 性国产日韩欧美一区二区在线| 午夜免费网址| 6080日韩午夜伦伦午夜伦| 浪潮av色| 91精品国产91热久久久做人人| 97涩国一产精品久久久久久久| 少妇bbwbbwbbw高潮| 销魂美女一区二区| 日本一区二区电影在线观看 | 福利视频亚洲一区| 亚洲色欲色欲www| 国产一区二区a| 国产视频二区| **毛片免费| 93精品国产乱码久久久| 久久夜靖品2区| 精品美女一区二区三区| 激情久久一区| 91精品啪在线观看国产手机| 国产精彩视频一区二区| 国产麻豆一区二区三区精品| 国产色婷婷精品综合在线手机播放| 国产午夜精品一区二区三区欧美| 精品国产乱码久久久久久久| 妖精视频一区二区三区| 日韩精品免费一区二区三区| 欧美精品xxxxx| 国产精品19乱码一区二区三区| 一级久久久| 亚洲精品少妇一区二区 | 国产精品久久久久久久妇女| 日本一码二码三码视频| 国产精品视频久久久久久久 | 久爱视频精品| 亚洲欧美另类久久久精品2019| 国产一区二区激情| 日韩欧美国产高清91| 日本xxxxxxxxx68护士| 欧美一区免费| 日本精品在线一区| 欧美日韩久久一区二区| 日韩精品久久一区二区三区| 91久久国产露脸精品国产| 久久精品综合| 国产美女三级无套内谢| 国产偷久久一区精品69| 香港三日三级少妇三级99| 亚洲欧洲日本在线观看| 69久久夜色精品国产69乱青草| 四虎国产精品永久在线国在线 | 免费精品一区二区三区第35| 国产精品综合在线观看| 99国产伦精品一区二区三区| 国产午夜精品一区二区三区四区| 右手影院av| 日韩精品免费一区二区三区| 日本一区二区三区免费视频| 17c国产精品一区二区| 国产一级片一区| 欧美日韩亚洲另类| 99久久精品免费看国产交换| 日韩欧美精品一区二区三区经典| 国产高清不卡一区| 亚洲国产精品网站| 国产精品亚洲а∨天堂123bt| 国产欧美一区二区精品久久| 国产91色综合| 大bbw大bbw巨大bbw看看| 91一区二区三区视频| 欧洲在线一区| 国产乱xxxxx97国语对白| xoxoxo亚洲国产精品| 中文字幕久久精品一区| 国产一区二区免费在线| 狠狠色噜噜狠狠狠狠综合久| 中文乱码在线视频| 色噜噜日韩精品欧美一区二区| 国产精品你懂的在线| 欧美日韩一卡二卡| av午夜影院| 99精品一级欧美片免费播放 | 国产精品美女www爽爽爽视频| 毛片大全免费观看| 在线观看欧美日韩国产| 国产九九影院| 香港三日本三级三级三级| 亚洲精欧美一区二区精品| 亚洲欧美日本一区二区三区 | 中文在线一区| 国产丝袜一区二区三区免费视频| 国产精品白浆一区二区| 亚洲免费精品一区二区| 欧美高清视频一区二区三区| 日本一区二区免费电影| 亚洲欧美国产日韩综合| 国产一区二区三区乱码| 一区二区国产盗摄色噜噜| 狠狠色噜噜狠狠狠狠2021免费 | 国产一区在线视频观看| 高清在线一区二区| 日韩精品免费播放| 日韩av在线资源| 日韩欧美中文字幕一区| 国产日韩精品一区二区三区| 69xx国产| 国产一区二区电影| 亚洲精品91久久久久久| 中文文精品字幕一区二区| 99精品视频一区| 国产一区二区三区乱码| 国产精品18久久久久白浆| 91avpro| 国产色婷婷精品综合在线手机播放| 国产淫片免费看| 精品一区二区三区中文字幕| 久99久视频| 猛男大粗猛爽h男人味| 国产午夜三级一区二区三| 99国产精品免费观看视频re| 国产高清不卡一区| 国产一a在一片一级在一片 | 午夜一级免费电影| 四虎精品寂寞少妇在线观看 | 国产在线不卡一| 99久久精品国产系列| 狠狠躁夜夜躁人人爽天天天天97| 亚洲精品国产一区| 欧美精品亚洲一区| 日韩国产精品一区二区| 理论片高清免费理伦片| 蜜臀久久精品久久久用户群体| 国产麻豆91视频| 91福利视频导航| 午夜av电影院| 亚洲欧洲一二三区| 国产精品伦一区二区三区在线观看| 国产精品美女一区二区视频| 亚洲精品久久久久www| 国产乱码一区二区三区| 91亚洲欧美强伦三区麻豆| 欧美资源一区| 精品国产1区2区3区| 欧美一区二区三区黄| 欧美系列一区二区| 欧美一级日韩一级| 色综合欧美亚洲国产| 国产中文字幕一区二区三区| 午夜裸体性播放免费观看| 国产精品三级久久久久久电影| 欧美激情国产一区| 综合久久激情| 久久国产精品欧美| 国产精品综合一区二区三区| 国产欧美日韩亚洲另类第一第二页| 国产1区2区3区| 国产日韩欧美91| 97午夜视频| 国产综合久久精品| 国产精品亚洲二区| 韩漫无遮韩漫免费网址肉| 91精品免费观看| 国产欧美日韩亚洲另类第一第二页| 九九国产精品视频| 国产精品麻豆一区二区三区| 日韩av在线导航| 99国产超薄丝袜足j在线观看| 国产精品亚洲二区| 中文字幕av一区二区三区高| 国产精品一区二区毛茸茸| 欧美日韩一级二级三级| 午夜伦全在线观看| 国产精品日本一区二区不卡视频 | 国产欧美久久一区二区三区| 色综合久久久久久久粉嫩| 99久久国产综合精品女不卡| 国产91在| 激情久久一区| 久久91精品国产91久久久| 丰满少妇在线播放bd日韩电影| 久久69视频| 欧美一级久久久| 国产日韩欧美精品一区| 亚洲神马久久| 亚洲五码在线| 精品久久久久久中文字幕| 99精品欧美一区二区| 亚洲精品乱码久久久久久国产主播| 538在线一区二区精品国产| 日韩av免费网站| 久久久国产精品一区| 欧美激情在线观看一区| 国产69精品久久久久9999不卡免费 | 免费看性生活片| 久久99国产视频| 久久久精品久久日韩一区综合| 欧美一区二区三区久久| 99国产精品| 一区二区三区香蕉视频| 国产二区免费视频| 97视频一区| 精品国产一区二区三区忘忧草| 强制中出し~大桥未久4| 欧美激情视频一区二区三区| 最新av中文字幕| 欧美日韩一区二区三区不卡视频| 国产理论片午午午伦夜理片2021| 精品国产一区二区三区麻豆免费观看完整版 | 国产精品久久久区三区天天噜| 久久久精品a| aaaaa国产欧美一区二区| 亚洲乱码一区二区三区三上悠亚| 国产精品综合一区二区| 丰满岳乱妇在线观看中字 | 香港三日本三级三级三级| 国产日本欧美一区二区三区| 国产精品你懂的在线| 国产无套精品久久久久久| 国产精品美女www爽爽爽视频| 国产精品麻豆自拍| 久久久久久久国产精品视频| 久久免费福利视频| 99国产精品9| 国产一区不卡视频| 国产日韩欧美二区| 国产视频一区二区三区四区| 91一区二区三区视频| 国产真实一区二区三区| 91免费国产| freexxxxxxx| 91一区二区三区视频| 亚洲欧美日韩三区|