[發明專利]數據處理的方法及裝置

在審

• 申請號: 201610933611.0
• 申請日: 2016-10-31
• 公開（公告）號: CN106657247A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 任志森
• 申請（專利權）人: 東軟集團股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙)11348
• 代理人: 劉喆,劉鐵生

技術領域

本發明涉及互聯網技術領域，尤其涉及一種數據處理的方法及裝置。

背景技術

集群部署環境下，集群中對于同一個消息表中消息的執行方式通常為：集群中的多個服務器節點輪詢該消息表，從消息表中讀取消息進行處理，然而這種輪詢的方式可能導致同一個消息被多個服務器節點讀取，造成同一消息的重復處理。對于同一消息被重復處理的問題，現有技術的解決方案主要有兩種：一種是對于同一消息表中的消息只對應設置集群中一個服務器節點來處理；另一種是建立集群控制器，通過廣播機制使集群中的服務器節點相互告知彼此執行的消息，保證同一時刻只有一個服務器節點處理同一消息。對于上述第一種解決方案，同一消息表中的消息對應只啟動一個服務器節點進行處理，因此喪失了集群本身高效處理消息的性能。對于上述第二種解決方案，由于采用廣播機制，各服務器節點之間呈網狀的通信結構，這種網狀的通信結構很容易造成網絡的堵塞。綜上，現有方案會降低整個集群工作的高效性。

發明內容

鑒于上述問題，本發明提供一種數據處理的方法及裝置，用以解決現有解決同一消息重復處理的方案會降低整個集群工作的高效性的問題。

為解決上述技術問題，一方面，本發明提供了一種數據處理的方法，所述方法包括：

服務器節點獲取消息表中的消息；

根據預設映射規則對所述消息的消息標識進行轉換，獲得消息映射值；

判斷所述消息映射值是否與所述服務器節點的標識相同，不同服務器節點的標識唯一不重復；

若所述消息映射值與所述服務器節點的標識相同，則處理所述消息；

若所述消息映射值與所述服務器節點的標識不相同，則丟棄所述消息。

可選的，在處理所述消息之前，所述方法進一步包括：

對所述消息加鎖，以使集群中其他服務器節點不能重復獲取所述消息。

可選的，所述對所述消息加鎖，包括：

將所述消息表中所述消息對應的鎖定節點信息更新為所述服務器節點的標識。

可選的，所述服務器節點獲取消息表中的消息，包括：

服務器節點獲取消息表中未加鎖的消息。

可選的，所述方法進一步包括：

判斷服務注冊表中是否存在宕機的服務器節點，所述服務注冊表中記錄所述集群中所有已開啟的服務器節點以及所有已開啟的服務器節點的狀態信息；

若存在宕機的服務器節點，則刪除所述服務注冊表中宕機的服務器節點以及宕機的服務器節點的狀態信息；并且，

將宕機的服務器節點對應的加鎖消息解鎖。

可選的，在刪除所述服務注冊表中宕機的服務器節點以及宕機的服務器節點的狀態信息之后，所述方法進一步包括：

根據刪除宕機的服務器節點之后的服務注冊表中的服務器節點，更新預設映射規則。

可選的，所述判斷服務注冊表中是否存在宕機的服務器節點，包括：

查詢所述服務注冊表中其他服務器節點的更新時間；

判斷更新時間與當前時間的差值是否超過預設閾值；

若所述差值超過預設閾值，則將與所述差值對應的服務器節點確定為宕機的服務器節點。

可選的，所述將宕機的服務器節點對應的加鎖消息解鎖，包括：

在所述消息表中查找宕機的服務器節點對應的加鎖消息；

將所述宕機的服務器節點對應的加鎖消息的節點鎖定消息清除，以使所述宕機的服務器節點對應的加鎖消息能夠被集群中未宕機的服務器節點重新獲取。

可選的，所述方法進一步包括：

定時更新所述服務注冊表中對應所述服務器節點的更新時間。

可選的，所述根據預設映射規則對所述消息的消息標識進行轉換，包括：

根據哈希Hash算法對所述消息的消息標識進行轉換。

另一方面，本發明提供了一種數據處理的裝置，所述裝置包括：

獲取單元，用于服務器節點獲取消息表中的消息；

轉換單元，用于根據預設映射規則對所述消息的消息標識進行轉換，獲得消息映射值；

判斷單元，用于判斷所述消息映射值是否與所述服務器節點的標識相同，不同服務器節點的標識唯一不重復；

處理單元，用于若所述消息映射值與所述服務器節點的標識相同，則處理所述消息；

丟棄單元，用于若所述消息映射值與所述服務器節點的標識不相同，則丟棄所述消息。

可選的，所述裝置進一步包括：

加鎖單元，用于在處理所述消息之前，對所述消息加鎖，以使集群中其他服務器節點不能重復獲取所述消息。