[發明專利]用于可擴展的結構化數據分布的系統和方法

有效

• 申請號: 201810203145.X
• 申請日: 2013-04-15
• 公開（公告）號: CN108337320B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 馬修·沃斯;毗瑟挐·馬武拉姆;斯科特·科恩
• 申請（專利權）人: 高盛有限責任公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F16/20
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 方挺;侯曉艷

1.一種用于可擴展的結構化數據分布的方法包括：

通過可編程電路從數據發生器接收流數據；

通過可編程電路根據一組捆綁參數將所述流數據捆綁成數據包；

通過可編程電路識別與所述數據包關聯的元數據；

通過可編程電路將具有關聯的元數據的所述數據包歸檔在存儲器中；

歸檔同時，將數據包分配給平行數據流，以及將與所述數據包關聯的元數據發布至與所述平行數據流分離的控制數據流；

接收對所述流數據部分的請求；

傳送對應于所述流數據的被請求部分的歸檔的數據包和所述關聯的元數據，其中，所傳送的關聯的元數據包括一個或多個用于校驗數據一致性的列式校驗和，其中與歸檔的數據包一起傳送的所述關聯元數據與發布到所述控制數據流的元數據相同；

根據接收的請求，從存儲器請求要處理的第一多個數據包；

處理所述第一多個數據包；以及

當沒有接收到指示第二多個數據包準備處理的信號時，以增加的時間間隔從存儲器請求額外的數據包。

2.根據權利要求1所述的方法，其中所述傳送對應于所述流數據的被請求部分的歸檔的數據包還包括:

掃描與所述流數據的被請求部分關聯的元數據的歸檔的數據包；

確定具有與所述流數據的被請求部分相匹配的關聯的元數據的多個歸檔的數據包；以及

響應于確定具有與所述流數據的被請求部分相匹配的關聯的元數據的多個歸檔的數據包，傳送所述多個歸檔的數據包及關聯的元數據。

3.根據權利要求1所述的方法，其中所述傳送對應于所述流數據的被請求部分的歸檔的數據包還包括：

從特定的數據流中檢索歸檔的數據包的連續序列并將所述歸檔的數據包的連續序列轉換成與請求者兼容的格式。

4.根據權利要求1所述的方法，還包括：

在傳送對應于所述流數據的被請求部分的歸檔的數據包之后，使用已傳送的元數據中的一個或多個列式校驗和來驗證所述流數據的被請求部分是否一致。

5.根據權利要求1所述的方法，還包括：

接收指示第三多個數據包準備處理的信號；和

以減小的時間間隔從存儲器請求額外的數據包。

6.根據權利要求1所述的方法，還包括：

接收具有唯一標識符的邏輯數據集的定義；

標記與所述唯一標識符相匹配的所有后續接收的流數據；

在獨立的數據流上發布經標記的數據，其中所述獨立的數據流包括對其它數據流的引用；和

使請求者能夠自定義對獨立的數據流的訪問。

7.根據權利要求1所述的方法，其中數據流的流動獨立于其他數據流的流動。

8.一種用于可擴展的結構化數據分布的系統包括：

存儲器；和

通信地聯接至所述存儲器的可編程電路，所述可編程電路配置用于：

從數據發生器接收流數據；

根據一組捆綁參數將所述流數據捆綁成數據包；

識別與所述數據包關聯的元數據；

將具有關聯元數據的所述數據包歸檔在所述存儲器中；

歸檔同時，將數據包分配給平行數據流，以及將與所述數據包關聯的元數據發布至與所述平行數據流分離的控制數據流；

接收對所述流數據部分的請求；

傳送對應于所述流數據的被請求部分的歸檔的數據包以及所述關聯的元數據，其中，所傳送的關聯的元數據包括一個或多個用于校驗數據一致性的列式校驗和，其中與歸檔的數據包一起傳送的所述關聯元數據與發布到所述控制數據流的元數據相同；

根據接收的請求，從所述存儲器請求要處理的第一多個數據包；

處理所述第一多個數據包；以及

當沒有接收到指示第二多個數據包準備處理的信號時，以增加的時間間隔從所述存儲器請求額外的數據包。