[發明專利]數據處理系統及其實現的方法和硬件存儲設備

在審

• 申請號: 202010092462.6
• 申請日: 2018-02-22
• 公開（公告）號: CN111400336A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: O·拉維德;L·P·羅西;P·巴克斯特;喬爾·古爾德
• 申請（專利權）人: 起元技術有限責任公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2455;G06F16/22
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本發明涉及數據處理系統及其實現的方法和硬件存儲設備。描述了一種用于處理各自與鍵的值相關聯的帶鍵數據項的方法，這些帶鍵數據項來自多個不同的數據流，該處理包括：采集這些帶鍵數據項，基于這些帶鍵數據項中的至少一個的內容確定用于執行一個或多個動作的一個或多個指定條件的滿足度，以及使得響應于該確定執行該一個或多個動作中的至少一個動作。

本申請是申請號為201880013670.3、申請日為2018年2月22日、發明名稱為“對用于處理帶鍵網絡數據流的參數化應用的動態執行”的申請的分案申請。

技術領域

本申請涉及用于在參數化應用中采集、驗證、格式化和進一步處理(近)實時網絡數據流以執行某些動作(例如跨如電信網絡等網絡執行的動作)的網絡就緒計算機實施的方法、計算機系統和計算機可讀介質。

優先權要求

本申請要求于2017年2月23日提交的美國臨時專利申請第62/462,498號和于2017年8月28日提交的美國專利申請第15/688,587號的優先權，這些專利申請中的每一個的全部內容通過引用并入本文。

背景技術

在處理從不同源接收的數據記錄的通用方法中，多個不同系統采集數據記錄，每個系統被配置成處理特定類型的數據。一旦特定類型的數據由被配置成處理該類型數據的系統處理，系統然后就將數據下游傳遞到另一個應用以供進一步處理。在常規系統中，此下游應用然后對接收到的數據記錄執行附加格式化(和/或重新格式化)以將其轉換為該應用的可接受格式。因此，此常規方法導致接收和采集數據的系統與處理數據的下游應用之間的時延和延遲交互。由于單個數據記錄必須多次被重新格式化，這種常規方法還會導致增加的時延。例如，數據記錄由接收它并處理它的每個系統格式化(和/或重新格式化)，導致增加的時延的累積。這種(各自執行其自己的數據格式化和處理的不同系統的)非集成系統框架還會導致處理數據時的時延，因為數據不能被實時或至少近實時地處理或分析。因此，如果當前情況已經再次改變，則依賴于已處理數據的操作或動作還會越來越多地被延遲，或最終根本不執行，從而使執行過時。

發明內容

與這些常見方法相反，本文所描述的方法、系統和計算機可讀介質以簡化和加速的方式執行數據整合和數據記錄管理的準備。所描述的能力允許對批量數據流和實時數據流的采集、驗證、格式化和進一步處理(例如，在接收數據時實時或近實時，例如，不將已采集數據存儲到磁盤)。另外，通過具有執行采集、檢測和動作的操作的單個執行系統，執行系統消除了將數據整合到一個系統中以進行數據采集并且然后將該已采集數據重新整合到另一個系統中以執行檢測和動作所涉及的復雜性。本文所描述的能力能夠提供對數據記錄或數據項的立即響應(例如，當它們被接收時)，這也提供了應用結果的即時可見性。由于期望的最終動作通常取決于數據的快速處理，因此最終動作(如物流或電信中的動作)極大地受益于對來自各種不同源的大量數據的更快速處理，從而產生各種不同格式的數據。本文所描述的系統可以為五千萬用戶每天處理超過二十億個數據記錄或數據項。與常見方法相反，本文所描述的系統提供增加的帶寬和減少的存儲器消耗。