[發明專利]數據處理方法、裝置、計算機設備及可讀存儲介質

在審

• 申請號: 202010042517.2
• 申請日: 2020-01-15
• 公開（公告）號: CN111210010A
• 公開（公告）日: 2020-05-29
• 發明（設計）人: 周康明;趙佳男
• 申請（專利權）人: 上海眼控科技股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F17/16
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 樊倩

本申請提供一種數據處理方法、裝置、計算機設備以及可讀存儲介質，該方法包括將待處理數據輸入至目標神經網絡模型，通過所述目標神經網絡模型對所述待處理數據進行第一稀疏化處理，得到第一稀疏化矩陣，通過所述目標神經網絡模型對所述待處理數據進行第二稀疏化處理，得到第二稀疏化矩陣，對所述第一稀疏化矩陣與所述第二稀疏化矩陣進行運算處理，得到目標稀疏化矩陣，對所述目標稀疏化矩陣進行分析處理，得到目標結果；該方法可以對復雜度較高的任務實現稀疏化處理，以減少任務實現過程中的數據運算量。

技術領域

本申請涉及計算機技術領域，特別是涉及一種數據處理方法、裝置、計算機設備及可讀存儲介質。

背景技術

隨著科學技術的發展，深度學習的相關技術在諸多自然語言處理領域得到了廣泛的應用。在自然語言處理領域，Transformer模型取代了傳統的循環神經網絡模型和卷積神經網絡模型，成為當今自然語言處理領域中的主流模型。

為了滿足自然語言處理領域的應用，傳統技術中，主要采用Transformer模型，來對圖像數據、語音數據或文本數據進行一系列分析處理，實現模式識別、自動控制、圖像識別處理、輔助決策、人工智能等方面的任務。

例如，在實現圖像識別處理任務時，原始圖像數據的數據量較大，對采集到的原始圖像數據進行圖像識別處理時，但是，對于任務量較大的數據，采用傳統的Transformer模型實現目標任務，會導致在任務實現過程中數據運算量較大。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠降低數據運算量的數據處理方法、裝置、計算機設備及可讀存儲介質。

本申請實施例提供一種數據處理方法，所述方法包括：

將待處理數據輸入至目標神經網絡模型，通過所述目標神經網絡模型對所述待處理數據進行第一稀疏化處理，得到第一稀疏化矩陣；其中，所述待處理數據包括語音數據、圖像數據以及文本數據，所述目標神經網絡模型為對初始神經網絡模型進行訓練處理得到的模型，所述初始神經網絡模型包括自注意力機制；

通過所述目標神經網絡模型對所述待處理數據進行第二稀疏化處理，得到第二稀疏化矩陣；其中，所述第二稀疏化處理的稀疏化程度與所述第一稀疏化處理的稀疏化程度不同；

對所述第一稀疏化矩陣與所述第二稀疏化矩陣進行運算處理，得到目標稀疏化矩陣；

對所述目標稀疏化矩陣進行目標識別處理，得到目標結果。

在其中一個實施例中，所述將待處理數據輸入至目標Transformer模型，采用所述目標Transformer模型中的分步自注意力機制，對所述待處理數據進行第一稀疏化處理，得到第一稀疏化矩陣，包括：

對所述待處理數據進行矩陣運算處理，得到注意力矩陣；

以所述注意力矩陣對角線位置上的數據為初始數據，所述目標Transformer模型采用所述分步自注意力機制，根據所述初始數據以及第一預設距離，對所述注意力矩陣進行稀疏化處理，得到所述第一稀疏化矩陣。

在其中一個實施例中，所述以所述注意力矩陣對角線位置上的數據為初始數據，所述目標Transformer模型采用所述分步自注意力機制，根據所述初始數據以及第一預設距離，對所述注意力矩陣進行稀疏化處理，得到所述第一稀疏化矩陣，包括：

以所述注意力矩陣對角線位置上的數據為初始數據，所述目標Transformer模型采用所述分步自注意力機制，將所述注意力矩陣內與所述初始數據所在位置間隔大于所述第一預設距離位置上的所有數據進行稀疏化處理，得到所述第一稀疏化矩陣。

在其中一個實施例中，所述通過所述目標神經網絡模型對所述待處理數據進行第二稀疏化處理，得到第二稀疏化矩陣，包括：

對所述待處理數據進行矩陣運算處理，得到注意力矩陣；