[發明專利]基于數據并發能力的數據流通方法及系統

有效

• 申請號: 201711435819.0
• 申請日: 2017-12-26
• 公開（公告）號: CN108021701B
• 公開（公告）日: 2021-08-10
• 發明（設計）人: 湯奇峰;謝磊
• 申請（專利權）人: 上海數據交易中心有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/2455;G06F16/2453
• 代理公司: 上海翰信知識產權代理事務所(普通合伙) 31270
• 代理人: 張維東

1.一種基于數據并發能力的數據流通方法，其特征在于：

多個數據供給方為數據需求方供給數據，所述數據需求方請求數據時，根據該次請求的數據量結合數據需求方和數據供給方的并發能力，執行多次選擇選擇數據供給方，每次采用低價優先策略、質高優先策略、輪詢策略、隨機選擇策略中任意一種數據聚合的方式選擇為該次請求提供數據的數據供給方，并向為該次請求提供數據的數據供給方發起請求，

所述低價優先策略為：

步驟1，計算根據心跳包的方法確定的數據供給方和數據需求方配置的數據供給方的交集，

步驟2，選擇交集中價格最低的數據供給方為數據需求方提供數據，

所述質高優先策略為：

步驟1，計算根據心跳包的方法確定的數據供給方和數據需求方配置的數據供給方的交集，

步驟2，選擇交集中質量最好的數據供給方為數據需求方提供數據，

所述隨機選擇策略為：

步驟1，計算根據心跳包的方法確定的數據供給方和數據需求方配置的數據供給方的交集，并將交集轉換為列表，計算列表的長度n，

步驟2，隨機產生一個小于等于n的正整數a，選擇所述列表中第a個數據供給方為數據需求方提供數據，

所述輪詢策略為：

步驟1，數據需求方第一次向數據供給方發起輪詢請求時會被分配一個隨機的值n，

步驟2，計算根據心跳包的方法確定的數據供給方和數據需求方配置的數據供給方的交集，并對交集中的每個數據供給方，根據其訪問ip和端口基于md5運算得到交集中的各數據供給方的md5值，其中，計算所得的md5值為數值，

步驟3，選擇交集中數據供給方的md5值大于n中md5值最小的數據供給方為數據需求方提供數據，如果交集中數據供給方的md5值均小于n，則選擇md5值最小的數據供給方為數據需求方提供數據。

2.根據權利要求1所述的基于數據并發能力的數據流通方法，其特征在于：

其中，所述數據需求方請求數據時，首先查詢數據緩存模塊中是否存儲有請求需要的數據，若有，則從所述數據緩存模塊中獲取數據，若否，則通過數據聚合的方式從數據供給方獲得數據，并將從數據供給方請求的數據緩存到所述數據緩存模塊中。

3.根據權利要求2所述的基于數據并發能力的數據流通方法，其特征在于：

其中，所述數據緩存模塊存儲數據時采用分布式緩存。

4.根據權利要求2或3所述的基于數據并發能力的數據流通方法，其特征在于：

其中，對所述數據緩存模塊緩存的數據設置存儲時間，并對到達所述存儲時間的緩存的數據進行刪除。

5.根據權利要求3所述的基于數據并發能力的數據流通方法，其特征在于：

其中，對數據進行緩存時，對源數據的value值進行編碼處理后存入所述數據緩存模塊。

6.根據權利要求1所述的基于數據并發能力的數據流通方法，其特征在于：

其中，所述數據需求方向所述數據供給方請求數據前，通過心跳包的方式確定當前可用的數據供給方。

7.根據權利要求6所述的基于數據并發能力的數據流通方法，其特征在于：

其中，在確定數據聚合方式時，通過網頁的形式為數據需求方提供選擇數據聚合方式的接口，設定預定時間，定時拉取數據需求方選擇的數據聚合方式，在所述預定時間內，數據需求方向所述數據供給方請求數據時，均按照該次選擇的數據聚合方式進行數據配送。