[發明專利]基于神經網絡模型的數據處理方法及裝置

在審

• 申請號: 202010144746.5
• 申請日: 2020-03-04
• 公開（公告）號: CN113360747A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 張東杰;崔世強
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06N3/08
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙) 11348
• 代理人: 任媛;孟阿妮

本發明公開一種基于神經網絡模型的數據處理方法及裝置，涉及互聯網技術領域，其目的在于解決現有技術中信息推薦效率低的問題。本發明的方法主要包括：獲取用戶行為信息和系統中的業務信息；在基于注意力模型對所述用戶行為信息和所述業務信息進行分析之前，識別所述注意力模型的算子中是否存在待優化的多路算子；若所述注意力模型的算子中存在所述待優化的多路算子，則使用預設的優化后的算子替換所述待優化的多路算子；基于更新后的注意力模型對所述用戶行為信息和所述業務信息進行分析，并根據分析結果確定待推薦的業務信息。本發明主要適用于向用戶推薦信息的場景中。

技術領域

本發明涉及互聯網技術領域，特別是涉及一種基于神經網絡模型的數據處理方法及裝置。

背景技術

隨著互聯網的不斷發展，網絡上信息的數據量不斷加大，各式各樣的網站、APP逐漸融入人們的生活，人們可以足不出戶，完成很多事情，例如購物、查資料、看視頻、定外賣等。

為了讓用戶快速獲取到所需的信息，技術人員研究出了一種能夠分析用戶注意力的模型，即Attention模型。舉例子來說，當我們觀賞一幅畫時，雖然我們可以看到整幅畫的全貌，但是在我們深入仔細地觀察時，其實眼睛聚焦的就只有很小的一塊，這個時候人的大腦主要關注在這一小塊圖案上，也就是說這個時候人腦對整幅圖的關注并不是均衡的，是有一定的權重區分的。因此，在分析用戶的興趣愛好時，可以使用Attention模型來對用戶行為信息進行分析，確定出對各部分信息的權重，從而預估出用戶感興趣的信息。并且當采用多路的注意力模型時，可以獲取多種類型的信息，并基于多路并行對這些信息進行分析，從而快速且準確地得到結果。

然而，目前的多路注意力模型中的多路算子在路數較多或需要計算的數據量較大時，計算效率會大打折扣，從而導致信息推薦產生延遲。為了提高效率，現有技術提供了一種對多路算子進行優化的方案：通過調用圖形處理器(Graphics Processing Unit，簡稱GPU)的接口，來自定義融合算子的方式實現對注意力模型的優化。但是，由于GPU是第三方硬件，其GPU底層接口不公開，只能使用較高層的應用程序編程接口(ApplicationProgramming Interface，簡稱API)實現，無法實現其他層面的深度優化，導致實際加速效果不理想。

發明內容

有鑒于此，本發明提供的基于神經網絡模型的數據處理方法及裝置，其目的在于解決現有技術中基于神經網絡模型的數據處理效率低的問題。

第一方面，本發明提供了一種基于神經網絡模型的數據處理方法，所述方法包括：

獲取用戶行為信息和系統中的業務信息；

在基于注意力模型對所述用戶行為信息和所述業務信息進行分析之前，識別所述注意力模型的算子中是否存在待優化的多路算子；

若所述注意力模型的算子中存在所述待優化的多路算子，則使用預設的優化后的算子替換所述待優化的多路算子；

基于更新后的注意力模型對所述用戶行為信息和所述業務信息進行分析，并根據分析結果確定待推薦的業務信息。

可選的，使用預設的優化后的算子替換所述待優化的多路算子包括：

對所述待優化的多路算子添加優化標記；

根據所述待優化的多路算子的優化標記，將所述待優化的多路算子替換為優化標記所對應的優化后的算子。

可選的，所述優化標記包括優化后的算子的算子類型和算子類型的組合方式。

可選的，識別所述注意力模型的算子中是否存在待優化的多路算子包括：

根據多路算子的路數和/或業務場景確定所述注意力模型的算子中是否存在待優化的多路算子。

可選的，根據多路算子的路數和/或業務場景確定所述注意力模型的算子中是否存在待優化的多路算子包括：