[發明專利]數據處理方法、裝置、計算機設備及可讀存儲介質

在審

• 申請號: 202010042517.2
• 申請日: 2020-01-15
• 公開（公告）號: CN111210010A
• 公開（公告）日: 2020-05-29
• 發明（設計）人: 周康明;趙佳男
• 申請（專利權）人: 上海眼控科技股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F17/16
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 樊倩

1.一種數據處理方法，其特征在于，所述方法包括：

將待處理數據輸入至目標神經網絡模型，通過所述目標神經網絡模型對所述待處理數據進行第一稀疏化處理，得到第一稀疏化矩陣；其中，所述待處理數據包括語音數據、圖像數據以及文本數據，所述目標神經網絡模型為對初始神經網絡模型進行訓練處理得到的模型，所述初始神經網絡模型包括自注意力機制；

通過所述目標神經網絡模型對所述待處理數據進行第二稀疏化處理，得到第二稀疏化矩陣；其中，所述第二稀疏化處理的稀疏化程度與所述第一稀疏化處理的稀疏化程度不同；

對所述第一稀疏化矩陣與所述第二稀疏化矩陣進行運算處理，得到目標稀疏化矩陣；

對所述目標稀疏化矩陣進行目標識別處理，得到目標結果。

2.根據權利要求1所述的方法，其特征在于，所述將待處理數據輸入至所述目標神經網絡模型，通過所述目標神經網絡模型對所述待處理數據進行第一稀疏化處理，得到第一稀疏化矩陣，包括：

將所述待處理數據輸入至目標Transformer模型，通過所述目標Transformer模型中的分步自注意力機制，對所述待處理數據進行第一稀疏化處理，得到第一稀疏化矩陣。

3.根據權利要求2所述的方法，其特征在于，所述將待處理數據輸入至目標Transformer模型，采用所述目標Transformer模型中的分步自注意力機制，對所述待處理數據進行第一稀疏化處理，得到第一稀疏化矩陣，包括：

對所述待處理數據進行矩陣運算處理，得到注意力矩陣；

以所述注意力矩陣對角線位置上的數據為初始數據，所述目標Transformer模型采用所述分步自注意力機制，根據所述初始數據以及第一預設距離，對所述注意力矩陣進行稀疏化處理，得到所述第一稀疏化矩陣。

4.根據權利要求3所述的方法，其特征在于，所述以所述注意力矩陣對角線位置上的數據為初始數據，所述目標Transformer模型采用所述分步自注意力機制，根據所述初始數據以及第一預設距離，對所述注意力矩陣進行稀疏化處理，得到所述第一稀疏化矩陣，包括：

以所述注意力矩陣對角線位置上的數據為初始數據，所述目標Transformer模型采用所述分步自注意力機制，將所述注意力矩陣內與所述初始數據所在位置間隔大于所述第一預設距離位置上的所有數據進行稀疏化處理，得到所述第一稀疏化矩陣。

5.根據權利要求4所述的方法，其特征在于，所述通過所述目標神經網絡模型對所述待處理數據進行第二稀疏化處理，得到第二稀疏化矩陣，包括：

對所述待處理數據進行矩陣運算處理，得到注意力矩陣；

以所述注意力矩陣對角線位置上的數據為所述初始數據，所述目標Transformer模型采用所述分步自注意力機制，對所述注意力矩陣內與所述初始數據所在位置間隔不同第二預設距離對應位置上的所有數據進行稀疏化處理，得到所述第二稀疏化矩陣；

以及優選地，所述以所述注意力矩陣對角線位置上的數據為所述初始數據，所述目標Transformer模型采用所述分步自注意力機制，對所述注意力矩陣內與所述初始數據所在位置間隔第二預設距離對應位置上的數據進行稀疏化處理，得到所述第二稀疏化矩陣，包括：

以所述注意力矩陣對角線位置上的數據為初始數據，所述目標Transformer模型采用所述分步自注意力機制，對所述注意力矩陣內與所述初始數據所在位置間隔所述第二預設距離對應位置上的數據進行稀疏化處理，得到所述初始稀疏化矩陣；

將上一次稀疏化處理的數據作為所述初始數據，將所述初始稀疏化矩陣作為所述注意力矩陣，繼續執行所述目標Transformer模型采用所述分步自注意力機制，對所述注意力矩陣內與所述初始數據所在位置間隔所述第二預設距離對應位置上的數據進行稀疏化處理，直到所述注意力矩陣內當前數據所處位置與上一次稀疏化處理的數據所在位置之間的間隔距離小于等于所述第二預設距離為止，得到所述第二稀疏化矩陣。