[發明專利]分布式數據處理方法及系統

有效

• 申請號: 201910173569.0
• 申請日: 2019-03-07
• 公開（公告）號: CN110046062B
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 鄭軒;賈志忠;曲家朋;段和楓
• 申請（專利權）人: 佳都新太科技股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/27;G06F16/2455
• 代理公司: 北京澤方譽航專利代理事務所(普通合伙) 11884
• 代理人: 陳照輝

1.一種分布式數據處理方法，其特征在于，包括：

元數據節點接收客戶端發送的檢索指令，所述元數據節點屬于元數據集群；

所述元數據節點根據檢索指令將存儲的全部元數據反饋至所述客戶端，以使所述客戶端根據所述元數據選擇第一目標數據節點并向所述第一目標數據節點發送檢索請求，一組元數據對應一個數據節點，多個數據節點組成一個數據節點組，全部數據節點組組成特征索引服務器集群，每個數據節點組存在一個數據節點作為第一目標數據節點，所述數據節點組內數據同步；

所述第一目標數據節點接收檢索請求，并獲取所述檢索請求中的特征索引；

所述第一目標數據節點根據所述特征索引確定檢索數據，并將所述檢索數據反饋至所述客戶端，以使所述客戶端根據檢索數據確定檢索結果；

所述方法還包括：

所述元數據節點接收所述客戶端發送的寫入指令；

所述元數據節點根據所述寫入指令在全部數據節點內確定第二目標數據節點；

所述元數據節點將所述第二目標數據節點的元數據反饋至所述客戶端，以使所述客戶端根據所述元數據向所述第二目標數據節點發送寫入請求；

所述第二目標數據節點接收所述寫入請求；

所述第二目標數據節點根據所述寫入請求進行寫入響應。

2.根據權利要求1所述的分布式數據處理方法，其特征在于，所述第一目標數據節點根據所述特征索引確定檢索數據包括：

所述第一目標數據節點確定自身緩存管理器中是否存在與所述特征索引對應的檢索數據；

若存在，則獲取所述檢索數據；

若不存在，則在自身存儲管理器中查找與所述特征索引對應的檢索數據。

3.根據權利要求1或2所述的分布式數據處理方法，其特征在于，所述特征索引包括特征數據，所述特征數據是對待檢索數據進行深度學習得到的。

4.根據權利要求1或2所述的分布式數據處理方法，其特征在于，所述檢索數據包括數據唯一標識和/或數據位置信息。

5.根據權利要求1所述的分布式數據處理方法，其特征在于，所述數據節點組包括主數據節點和多個從數據節點，所述主數據節點用于控制所述數據節點組的數據同步。

6.根據權利要求5所述的分布式數據處理方法，其特征在于，所述第二目標數據節點為所屬數據節點組內的主數據節點，

所述第二目標數據節點根據所述寫入請求進行寫入響應包括：

所述第二目標數據節點根據所述寫入請求在自身存儲管理器中進行寫入操作并創建特征索引；

所述第二目標數據節點將所述存儲管理器中寫入的數據及特征索引更新至自身緩存管理器；

所述第二目標數據節點向所述客戶端反饋寫入響應信息。

7.根據權利要求5所述的分布式數據處理方法，其特征在于，所述第二目標數據節點為所屬數據節點組內的從數據節點，

所述第二目標數據節點根據所述寫入請求進行寫入響應包括：

所述第二目標數據節點將所述寫入請求發送至第三目標數據節點，所述第三目標數據節點為所屬數據節點組內的主數據節點；

所述第三目標數據節點根據所述寫入請求在自身存儲管理器中進行寫入操作并創建特征索引；

所述第三目標數據節點將所述存儲管理器中寫入的數據及特征索引更新至自身緩存管理器；

所述第三目標數據節點向所述第二目標數據節點反饋寫入響應信息；

所述第二目標數據節點向所述客戶端反饋所述寫入響應信息。