[發明專利]面向海量數據實時處理的云邊協同自適應深度推理方法

在審

• 申請號: 202211040427.5
• 申請日: 2022-08-29
• 公開（公告）號: CN115392467A
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 劉真;寇澤;馮銘澤;賀翔
• 申請（專利權）人: 北京交通大學
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06N3/04;G06N3/08;G06N3/10;G06F9/50
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 黃曉軍

1.一種面向海量數據實時處理的云邊協同自適應深度推理方法，其特征在于，包括：

將需要部署的DNN模型進行模型量化，根據得到的量化模型對DNN模型進行有向無環圖DAG構建；

對所述DAG網絡進行可行分割點的搜索，找到DAG中的所有割點，將符合約束的割點加入到潛在分割點集，對所述潛在分割點集進行優化處理，得到優化后的潛在分割點集；

基于優化后的潛在分割點集對DNN模型各層在終端設備上運行的累積推理延遲、數據傳輸延遲和累積量化損失進行數據擬合，將離散的數據拓展到連續域上，分別得到DNN模型各層的累積推理延遲、數據傳輸延遲和累積量化損失；

利用以帶寬為變量的權重函數對所述DNN模型各層的累積推理延遲、數據傳輸延遲和累積量化損失的目標函數進行加權優化，得到最優的分割點；

根據所述最優分割點將所述DNN模型進行分割后，分別在終端設備和云上執行任務推理，并得到推理結果。

2.根據權利要求1所述的方法，其特征在于，所述的將需要部署的DNN模型進行模型量化，根據得到的量化模型對DNN模型進行有向無環圖DAG構建，包括：

對需要部署的DNN模型進行預訓練，通過量化器將預訓練后的DNN模型的權重和激活量化為8比特，得到量化模型，只在終端設備上部署量化模型，在云上部署原始DNN模型；

根據得到的量化模型對DNN模型進行DAG構建，給定一個DNN模型，構造一個DAG，通過G＝V,E來表示它，V表示DAG中頂點的集合，E表示DAG中邊的集合，每個頂點v_i∈V對應DNN模型的某一層，有向邊e_i＝v_i,v_j∈E表示v_j把v_i的輸出作為它自己的輸入，使用d_i來表示每條邊e_i的值，其中d_i表示v_i的輸出數據大小，將輸入層作為v₀，將e₀＝v₀,v₁的值d₀作為原始輸入數據大小。

3.根據權利要求2所述的方法，其特征在于，所述的對所述DAG網絡進行可行分割點的搜索，找到DAG中的所有割點，將符合約束的割點加入到潛在分割點集，對所述潛在分割點集進行優化處理，得到優化后的潛在分割點集，包括：

對于所述DAG網絡首先搜索DAG網絡中的所有割點，該割點為DAG中的頂點，被移除后將使得DAG不再連接，所述DAG網絡中包括多個邏輯塊，使用最小割方法在由一個或幾個頂點組成的邏輯塊中找到具有最小輸出數據大小的分割點，在一個邏輯塊中找到一個潛在的分割點，所有割點和邏輯塊內的所有最小割點分別構成割點集和最小割集；

如果輸出數據大小滿足d_id₀，則將割點集中的潛在分割點添加到潛在分割點集中，在最小割集中，當時，潛在分割點也被添加到潛在分割點集其中是通過最小割方法獲得的邏輯塊內的輸出數據大小的最小和；對于鏈式拓撲DNN和DAG網絡，移除中連續并具有相同輸出數據大小的分割點；

對潛在分割點集進行優化處理，從潛在分割點集中刪除神經網絡BN層，去除連續且數據輸出量相等的點，得到優化后的潛在分割點集