[發明專利]基于大數據技術的大指數據比對方法

有效

• 申請號: 201710559045.6
• 申請日: 2017-07-11
• 公開（公告）號: CN107329846B
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 賈偉;洪啟祥;高希;劉聰;蔣澤鑫;李革華;吳燕將;向剛;柳其明;許一君;許雷
• 申請（專利權）人: 深圳市信義科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 深圳市嘉宏博知識產權代理事務所 44273
• 代理人: 孫強

1.基于大數據技術的大指數據比對方法，其特征在于：包括如下步驟：

第一步、第一分布式消息隊列傳遞給比對JOB，該第一分布式消息隊列包括若干條消息，每一條該消息包括若干個字段信息，

第二步、在該比對JOB中按照分布式流式計算按時間順序截取每一條該消息中的該字段信息，形成信息片段，該信息片段包括若干個該字段信息，

第三步、在該比對JOB中配置比對信息，第二分布式消息隊列傳遞給該比對JOB，該第二分布式消息隊列包括若干條比對消息，每一條該比對消息包括若干個比對字段信息，第二步中的每一條該消息的該信息片段與一條該比對消息形成一個該比對信息，第二步中的每一條該消息的該信息片段與另外一條該比對消息形成另外一個該比對信息，如此類推，

第四步、在該比對JOB中對第三步中的該比對信息進行運算得到比對結果，

第五步、由該比對JOB提取每一條該消息的該信息片段中的關鍵字段形成索引，

在該比對JOB中按照分布式流式計算按時間順序截取每一條該比對消息中的該比對字段信息，形成比對信息片段，該比對信息片段包括若干個該比對字段信息，由該比對JOB提取每一條該比對消息的該比對信息片段中的關鍵字段形成比對索引，

第六步、新的第二分布式消息隊列傳遞給該比對JOB時，在該比對JOB中按照分布式流式計算按時間順序截取每一條新的比對消息中的新的比對字段信息，形成新的比對信息片段，該新的比對信息片段與第五步中的該索引進行對比并輸出結果，

第七步、新的第一分布式消息隊列傳遞給該比對JOB時，在該比對JOB中按照分布式流式計算按時間順序截取每一條新的消息中的新的字段信息，形成新的信息片段，該新的比對信息片段與第五步中的該比對索引進行對比并輸出結果，

第八步、第六步與第七步循環運行能夠即時輸出比對結果。

2.如權利要求1所述的基于大數據技術的大指數據比對方法，其特征在于：若干條該消息分別屬于不同類型的消息。

3.如權利要求1所述的基于大數據技術的大指數據比對方法，其特征在于：若干條該比對消息分別屬于不同類型的消息。

4.如權利要求1所述的基于大數據技術的大指數據比對方法，其特征在于：每五秒就截取每一條該消息中的該字段信息，形成該信息片段。

5.如權利要求1所述的基于大數據技術的大指數據比對方法，其特征在于：第二步、第三步、第四步以及第五步同時進行。

6.如權利要求1所述的基于大數據技術的大指數據比對方法，其特征在于：第五步中的該索引以及該比對索引輸入到內存中。