[發明專利]數據處理方法、裝置、電子設備及存儲介質

有效

• 申請號: 202110078164.6
• 申請日: 2021-01-20
• 公開（公告）號: CN113159091B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 王震
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F18/2431
• 分類號: G06F18/2431;G06N5/04;G06N3/02;G06N20/00;G06V10/764;G06V40/16;G06V40/10;G06V30/14;G06V10/70;G06V10/82
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓海花

1.一種數據處理方法，包括：

獲取目標數據；

采用第一微服務對所述目標數據進行數據劃分，以得到多種類型的子數據；

采用多個第二微服務基于并行數據處理的方式分別處理對應類型的所述子數據，以得到與所述第二微服務分別對應的多個數據處理結果，其中，每個所述第二微服務與一個類型的所述子數據對應；以及

融合所述多個數據處理結果，以得到目標數據處理結果；

其中，所述第一微服務是對人工智能模型中的第一算子進行微服務化處理得到的，所述第二微服務是對所述人工智能模型中的第二算子進行微服務化處理得到的，所述第一算子，是人工智能模型中用于數據預處理的算子，所述第二算子，是人工智能模型中用于對預處理后的數據進行算法處理的算子，所述第一算子和所述第二算子不相同；

其中，在所述采用第一微服務對所述目標數據進行數據劃分，以得到多種類型的子數據之后，還包括：

根據所述子數據的類型，對與其對應的所述子數據添加類型標簽；

根據所述類型標簽，將所述多種類型的子數據處理為數據矩陣，其中，所述數據矩陣之中包括：所述子數據，和與所述子數據對應的類型標簽；

確定與數據處理任務對應的多個候選算子標識；

采用各個所述候選算子標識對所述數據矩陣之中對應類型標簽的子數據進行標記；

對所述數據矩陣進行備份處理，以得到多個備份數據矩陣；

將所述多個備份數據矩陣存儲至數據處理設備對應的共享內存之中；

其中，所述采用多個第二微服務分別處理對應類型的所述子數據，以得到與所述第二微服務分別對應的多個數據處理結果，包括：

確定所述多個第二微服務分別對應的多個第二算子標識；

根據所述多個第二算子標識，分別從所述數據矩陣之中確定對應的候選算子標識；以及

采用多個第二微服務分別處理所述對應的候選算子標識所標記的子數據，以得到與所述第二微服務分別對應的多個數據處理結果；

其中，當所述目標數據是海量的視頻數據時，所述采用第一微服務對所述目標數據進行數據劃分，以得到多種類型的子數據，包括：

采用所述第一微服務從各個視頻數據中拆分出音頻類型的語音數據、圖像類型的圖片數據或者文本類型的文本數據，所述語音數據、圖片數據、文本數據稱為子數據。

2.根據權利要求1所述的方法，其中，所述采用第一微服務對所述目標數據進行數據劃分，以得到多種類型的子數據，包括：

對所述目標數據之中的無效數據進行過濾處理，以得到過濾后的第一數據；

采用所述第一微服務對所述第一數據進行數據劃分，以得到所述多種類型的子數據。