[發明專利]數據處理系統、方法和裝置

在審

• 申請號: 202110014581.4
• 申請日: 2021-01-06
• 公開（公告）號: CN114722259A
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 鄭琪霖;關義金;張喆;牛迪民;鄭宏忠
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/9535;G06K9/62
• 代理公司: 北京博浩百睿知識產權代理有限責任公司 11134
• 代理人: 謝湘寧;張文華

本申請公開了一種數據處理系統、方法和裝置。其中，該系統包括：多個存儲塊，用于存儲多個特征向量；多個處理模塊，與多個存儲塊堆疊，每個處理模塊用于訪問對應的存儲塊中的特征向量；處理器，與多個處理模塊連接，用于獲取目標對象對應的目標索引信息，從多個處理模塊中確定目標索引信息對應的目標處理模塊，并發送目標索引信息至目標處理模塊；目標處理模塊用于從目標存儲塊中獲取目標索引信息對應的匹配特征向量；處理器還用于基于匹配特征向量，得到目標對象的目標特征向量。本申請解決了相關技術中數據處理系統的訪存并行度和訪存帶寬較低的技術問題。

技術領域

本申請涉及互聯網領域，具體而言，涉及一種數據處理系統、方法和裝置。

背景技術

在電子商務環境中，服務器需要實時處理大批量的用戶搜索需求，適應大批量的推薦場景的應用。對于推薦任務而言，由于計算力以及存儲帶寬的限制，傳統的服務器無法滿足大規模模型。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種數據處理系統、方法和裝置，以及至少解決相關技術中數據處理系統的訪存并行度和訪存帶寬較低的技術問題。

根據本申請實施例的一個方面，提供了一種數據處理系統，包括：多個存儲塊，用于存儲多個特征向量；多個處理模塊，與多個存儲塊堆疊，每個處理模塊用于訪問對應的存儲塊中的特征向量；處理器，與多個處理模塊連接，用于獲取目標對象對應的目標索引信息，從多個處理模塊中確定目標索引信息對應的目標處理模塊，并發送目標索引信息至目標處理模塊；目標處理模塊用于從目標存儲塊中獲取目標索引信息對應的匹配特征向量；處理器還用于基于匹配特征向量，得到目標對象的目標特征向量。

根據本申請實施例的另一方面，還提供了一種數據處理方法，包括：獲取目標對象對應的目標索引信息；從多個處理模塊中確定目標索引信息對應的目標處理模塊，其中，多個處理模塊與多個存儲塊堆疊，多個存儲塊用于存儲多個特征向量，每個處理模塊用于訪問對應的存儲塊中的特征向量；發送目標索引信息至目標處理模塊，并接收目標處理模塊返回的目標索引信息對應的匹配特征向量，其中，匹配特征向量從目標處理模塊對應的目標存儲塊中確定；基于匹配特征向量，得到目標對象的目標特征向量。

根據本申請實施例的另一方面，還提供了一種數據處理方法，包括：獲取目標對象，以及向目標對象推薦的對象集合；利用多個處理模塊獲取目標對象的第一特征向量，以及對象集合中多個對象的第二特征向量，其中，多個處理模塊與多個存儲塊堆疊，多個存儲塊用于存儲多個特征向量，每個處理模塊用于訪問對應的存儲塊中的特征向量；確定多個第二特征向量中與第一特征向量匹配成功的第二特征向量，得到目標特征向量；向目標對象推薦對象集合中的推薦對象，其中，推薦對象為對象集合中目標特征向量對應的對象。

根據本申請實施例的另一方面，還提供了一種數據處理方法，包括：接收數據處理請求，其中，數據處理請求包括：目標對象，以及向目標對象推薦的對象集合；利用多個處理模塊獲取目標對象的第一特征向量，以及對象集合中多個對象的第二特征向量，其中，多個處理模塊與多個存儲塊堆疊，多個存儲塊用于存儲多個特征向量，每個處理模塊用于訪問對應的存儲塊中的特征向量；確定多個第二特征向量中與第一特征向量匹配成功的第二特征向量，得到目標特征向量；輸出對象集合中的推薦對象，其中，推薦對象為對象集合中目標特征向量對應的對象。

根據本申請實施例的另一方面，還提供了一種數據處理系統，包括：多個存儲塊；多個處理模塊，與多個存儲塊堆疊；處理器，與多個處理模塊連接，用于控制多個處理模塊訪問對應的存儲器中存儲的數據。