[發明專利]面向海量數據實時處理的云邊協同自適應深度推理方法

在審

• 申請號: 202211040427.5
• 申請日: 2022-08-29
• 公開（公告）號: CN115392467A
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 劉真;寇澤;馮銘澤;賀翔
• 申請（專利權）人: 北京交通大學
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06N3/04;G06N3/08;G06N3/10;G06F9/50
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 黃曉軍

本發明提供了一種面向海量數據實時處理的云邊協同自適應深度推理方法。該方法包括：將DNN模型進行模型量化，根據得到的量化模型對DNN模型進行DAG構建；對DAG網絡進行可行分割點的搜索，得到優化后的潛在分割點集；基于優化后的潛在分割點集對DNN模型各層在終端設備上運行的累積推理延遲、數據傳輸延遲和累積量化損失進行數據擬合，利用以帶寬為變量的權重函數對DNN模型各層的累積推理延遲、數據傳輸延遲和累積量化損失的目標函數進行加權優化，得到最優的分割點；根據所述最優分割點將DNN模型進行分割。本發明考慮到模型量化帶來的精度損失，將精度損失和時延根據網絡質量的變化進行加權優化，以滿足用戶在不同的網絡質量下對服務質量的不同需求。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種面向海量數據實時處理的云邊協同自適應深度推理方法。

背景技術

深度學習的快速發展使得復雜的推理任務，如計算機視覺和自然語言處理得以解決。并且還刺激了智能應用的發展，如自動駕駛、物體探測和增強現實。這些智能應用都需要終端設備收集大規模數據，并對低延遲和低能耗有很高的處理要求。通常，終端設備收集的數據由云處理后返回結果。然而，對于某些場景和任務，這種以云為中心的方法可能會面臨隱私和延遲問題。例如高速鐵路和高速列車為綜合交通運輸體系帶來便利的同時，產生了多數據源與超大容量的車載數據。動車組各類系統每小時累計產生至少10GB數據；檢測列車平均每月產生達170GB的列車、接觸網、工務、電務各專業基礎設施檢測數據。隨著鐵路智能化、數字化運維的發展，車載各類數據仍在不斷增加。

傳統的車載數據處理的方案是待車輛回庫后，由工作人員上車將數據轉儲到便攜式存儲介質(U盤、硬盤、筆記本電腦)中，這種方法不僅速度慢、時間長，還存在著人力浪費甚至下載過程中斷等問題，難以滿足數據高速、高效下載的需求；另一種方式是使用2.4GHz和5.8GHz頻段WLAN(Wireless LAN,無線局域網)進行無線下載，但在庫的短時間內只能滿足500MB以內數據下載和存儲需求，無法滿足以千兆字節為單位的大容量數據超高速、全自動、斷點續傳等功能需求。

因此，如何進一步提升對列車在高速運行中產生海量數據的處理效率，是對高鐵列車全生命周期數據管理方式的有益補充，也是我國高鐵實現及時有效的預測和檢測病害，降低運營成本亟需解決的核心問題。

作為一種解決方案，將云計算能力從核心網絡下沉到邊緣網絡正成為一種新興的計算范式。然而，在資源受限的終端設備上部署DNN(Deep Neural Network,深度學習網絡)可能具有挑戰性。現有的研究已經探索了許多技術來在資源受限的終端設備上實現有效的DNN推斷，例如模型壓縮，緊湊的網絡設計和提前退出。這些方法通過改變模型結構、減少參數數量或提前退出推理來減少資源需求。但是這些方法經常導致準確性的損失，并且仍然難以在一些終端設備上部署。為了充分利用終端設備的本地處理能力和云設備的高計算能力來實現低延遲，近年來提出了協同深度推理。協同深度推理將DNN視為計算圖，并在終端設備和云之間進行分割。在運行時，終端設備執行DNN模型的前一部分，在本地處理輸入數據，并通過網絡將中間結果發送到云。云執行DNN模型的剩余部分，并將結果返回給終端設備。

模型分割旨在尋找具有最小延遲或能量的最優分割點。DNN在分割點進行分割，并部署在不同的設備上。例如，有方案提出在移動設備和云之間劃分DNNs，云動態地選擇最佳劃分解決方案以滿足推斷延遲或能量消耗的要求。然而，還有方案提出只處理鏈拓撲DNN模型。還有方案提出將具有DAG(Directed Acyclic Graph，有向無環圖)拓撲的DNNs的模型劃分轉化為最小割問題，可以快速求解該問題。還有方案提出將尋找最優分割解的問題建模為最短路徑問題。還有方案提出通過聯合優化終端設備上各層的拆分點和量化位寬，在給定邊緣設備內存限制和錯誤限制下，最大限度地減少了的整體延遲。還有方案提出將模型劃分和提前退出相結合，以在靜態和動態網絡環境中實現自適應模型最優劃分。還有方案提出利用重要的上下文資源構造劃分狀態圖，并提出“鄰居效應”來加速推理。

上述現有技術中的對列車在高速運行中產生的海量數據的處理方法的缺點為：