[發明專利]用于可擴展的結構化數據分布的系統和方法

有效

• 申請號: 201810203145.X
• 申請日: 2013-04-15
• 公開（公告）號: CN108337320B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 馬修·沃斯;毗瑟挐·馬武拉姆;斯科特·科恩
• 申請（專利權）人: 高盛有限責任公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F16/20
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 方挺;侯曉艷

提供用于有效地吸收、歸檔和分布任何規模的數據集的系統和方法。一些實施例通過實時流以及過去的數據重放提供了靈活的、基于策略大容量數據的分布。此外，一些實施例通過先進的版本特征提供了可靠和清晰的跨任何供應商系統的一致性。這種一致性對金融行業是特別有價值的，但對于任何管理多個數據分布點用于改進和可靠的數據可用性的公司也特別有用。

本申請是申請日為2013年4月15日，發明名稱為“用于可擴展的結構化數據分布的系統和方法”的第201380031492.4號中國發明專利申請的分案申請，該中國發明專利申請基于國際申請PCT/US2013/036652,并且要求2012年4月13日提交的美國臨時申請61/623,877的優先權，該臨時申請通過引用被整體合并于此。

技術領域

本申請的技術的各種實施例通常涉及數據傳送。更具體而言，本申請的技術的一些實施例涉及用于可擴展的結構化數據分布的系統和方法。

背景技術

各個行業存在日益增長的監管和競爭壓力，以提高報告的數據的質量、一致性和可用性。存儲和處理需求從多個維度日益增加，諸如粒度、在線歷史、冗余和用于將數據的新組合結合起來的收集。此外，日內版本化對于管理具有不同時間需求的部門之間的差異而言將是必然趨勢，因為數據在公司內的部門之間越來越多的被共享。部門也已經開始尋求方法，以能夠使他們從批量處理變為增量的實時和流數據管理。

盡管對高效和一致的數據管理的需求不斷增長，許多大公司都將失敗的ACID(原子性，一致性，隔離性和持久性)架構更換為可擴展的BASE架構。查看和分析大至龐大的數據集的解決方案逐漸變得司空見慣，因為這些公司發布其云擴展系統的內容以開源。盡管超大規模的分析引擎逐漸變得司空見慣，管理數據集移動的工具并沒有跟上。大公司都在爭相保護自己免受日益增加的儲運損耗的可能性，因為他們缺乏管理大型數據流的可用性的方法。

許多其它公司面臨著同樣的無法復制不斷增長的數據集。ACID架構是昂貴的、復雜的，并且無法確保數據跨越空間和時間的一致性和可用性(例如，部門數據共享和鑒證)。對這些不斷增長的數據集的可用性、一致性，以及管理的更高的標準將始終被設置。

發明內容

用于可擴展的結構化數據分布的系統和方法被描述。在一些實施例中，方法可包括從數據發生器接收流原始數據。這些數據可以基于歸檔策略被捆綁成數據包(即，束)。在某些情況下，任何與流數據相關聯的元數據被利用于高效的策略驅動路由。該元數據可以可能遞歸地在一個或多個通道上(例如，控制通道)被發布。可通過使用由主時鐘產生的一系列連續的整數對每個數據包排序。然后該數據包可以被歸檔和傳遞(例如，平行地)至已訂閱該數據發生器的用戶。該數據包可以基于排序被重放，所述排序通過基于來自數據用戶的請求的連續的整數被識別。

本發明的實施例還包括包含指令集合的計算機可讀存儲介質，以引起一個或多個處理器執行本文所描述的方法、該方法的變體，以及其它操作。

一些實施例包括系統，其包括捆綁器、轉換器、流時鐘和歸檔服務。捆綁器可以被配置為從數據發生器接收流原始數據，且通過將每個數據包與具有單調增加的順序的唯一的標識符關聯將該原始數據捆綁為一系列數據包。轉換器可以接收該數據包(例如，從歸檔)并生成可加載的數據結構用于與數據訂閱者關聯的報告存儲。加載器可以基于邏輯排序接收并存儲該可加載的數據結構至與該數據訂閱者關聯的存儲設備。

一些實施例可包括主時鐘，其被配置為生成序列邏輯的整數，每個都與在業務對齊的、策略驅動(聲明的)的系列的數據包中的單個數據包關聯。在各種實施例中，該系統可以包括數據通道，其允許來自數據發生器的數據連續流至數據訂閱者。此外，消息通道可以被用于提供通過數據分布系統連續地從數據發生器流至數據訂閱者的數據的當前的狀態。控制通道與數據通道分離以允許數據訂閱者請求對數據的重放也可以被用于一些實施例中。