[發明專利]用于服務器和用于消費者的數據槽數據處理方法和裝置

有效

• 申請號: 201610411103.6
• 申請日: 2016-06-13
• 公開（公告）號: CN107491975B
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 周洲;孫廷韜
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06F16/90
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 馮德魁

本申請提供一種用于服務器的數據槽數據處理方法，包括：接收消費者發送的匯報信息；所述匯報信息，至少包括心跳信息；所述心跳信息，至少包括：所述消費者當前持有的數據槽的標識；根據接收的所述匯報信息以及維護的消費者和數據槽狀態數據庫的相關信息，執行服務器的數據槽數據處理邏輯，以更新所述消費者和數據槽狀態數據庫并向所述消費者返回對應于所述匯報信息的響應信息；其中，所述數據槽數據處理邏輯，至少包括：返回希望所述消費者持有的數據槽的標識。配套與所述用于服務器的數據槽數據處理方法，本申請還提供一種用于消費者的數據槽數據處理方法。本申請可以解決在存在祖先關系的數據槽上自動處理數據按序消費的問題。

技術領域

本申請涉及數據處理技術領域，具體涉及用于服務器的數據槽數據處理方法和裝置以及用于消費者的數據槽數據處理方法和裝置。

背景技術

一個數據槽數據處理的典型應用場景就是有一個數據倉庫，在數據倉庫里面有若干供數據生產者和消費者使用的數據槽。每個數據槽均具備以下特征：

1)數據槽有只讀和讀寫兩種狀態。只讀表示數據槽不接收寫入數據，但可以從數據槽中讀取數據；讀寫表示數據槽可讀可寫；

2)每個數據槽均關聯一個哈希值集合。初始時，所有數據槽都是讀寫狀態，并且任意數據槽的哈希值集合不相交；

3)數據槽可以發生合并動作。例如，合并(數據槽1，數據槽2)表示新建一個讀寫狀態的數據槽，新建的槽關聯的哈希值集合是數據槽1和數據槽2的并集；在合并完成之后，數據槽1和數據槽2將變成只讀狀態；

4)數據槽可以發生分割動作。例如，分割(數據槽1)，表示將數據槽1分割成兩個讀寫狀態的數據槽；第一個新分割的數據槽從數據槽1關聯的哈希值集合中切一部分作為自己的哈希值集合，剩下的哈希值集合會被分配給另一個新分割的數據槽，而且數據槽1將變成只讀狀態。

在實際應用中，數據槽的上游是數據生產者。一批數據生產者會不停地生產數據，并將數據按照其哈希值塞到某一個特定的數據槽里面。具體寫入某一個特定的數據槽必須同時符合以下兩個因素：這個數據槽是讀寫狀態；這個數據槽關聯的哈希值集合包含數據的哈希值。

由于數據槽和數據寫入的上述特性，每一份數據只能寫入唯一的數據槽中；不僅如此，每一份數據在特定的數據槽中都有其位置信息，可以根據位置信息從特定的數據槽中讀取這份數據。

在實際應用中，數據槽的下游是若干消費者。每個消費者均持有一部分數據槽，并消費這些數據槽中的數據。這些消費者必須滿足以下消費規則：

1)不同消費者持有的數據槽不相交；

2)所有消費者均攤數據槽，保證任意兩個消費者持有的數據槽的數量差值的絕對值小于或等于1；

3)必須順序消費相同哈希值的數據。

在實際應用中，在多個消費者協同消費數據倉庫中數據槽的數據的過程中，可能會出現以下情況：

1)數據槽發生合并或分割動作，產生讀寫狀態的新槽，原數據槽變成只讀狀態；

2)消費者數量動態變化，例如，新的消費者加入、已有的消費者退出；

3)只讀狀態的數據槽中的數據被消費完畢，此時這個數據槽不再由消費者持有。

上述情況發生時，如何保證消費者仍然滿足上述消費規則，是一個亟待解決的問題。一般的解決辦法基本上是基于數據槽來提供消費者的協同消費，這些辦法通常都是僅提供最基本的協同消費方案，不能滿足數據按序消費的需求。特別是當數據槽發生合并或者分割時，由于數據槽之間產生了祖先關系，祖先數據槽變成只讀屬性，新產生的數據槽為讀寫屬性，之前按照哈希值應該寫到原數據槽的數據會被寫入新產生的數據槽中；如果要滿足按序消費就要求在原數據槽消費完之前，新數據槽不應該被消費。現有的技術方案無法處理這種有祖先關系的數據槽，不能解決數據按序消費的問題。