[發明專利]基于ICE的異構平臺高效智能計算應用架構及其構建方法

在審

• 申請號: 202110965708.0
• 申請日: 2021-08-23
• 公開（公告）號: CN113703772A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 瞿秋薏;寇金橋;吳敏;王浩楓
• 申請（專利權）人: 北京計算機技術及應用研究所
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06F8/65
• 代理公司: 中國兵器工業集團公司專利中心 11011
• 代理人: 劉瑞東

本發明涉及一種基于ICE的異構平臺高效智能計算應用架構及其構建方法，屬于人工智能領域。本發明基于ICE微服務平臺構建，將通信模塊從智能應用中分離開來，降低服務之間的耦合度，層次清楚便于維護，ICE使用遠程過程調用協議實現遠程通信；使用ICE的中立語言Slice統一服務接口定義，并使用ICE的編譯工具將Slice語言翻譯成各學習框架支持的語言，實現智能應用系統跨語言支持。基于IceGrid插件實現智能應用服務自動化治理，包括大規模服務的注冊、定位、部署等功能。基于本架構模型構建智能應用系統可以屏蔽底層框架差異，當底層框架更新升級時，客戶端應用不受影響，從而使上層用戶擺脫對單一框架廠商的依賴。

技術領域

本發明屬于人工智能領域，具體涉及一種基于ICE的異構平臺高效智能計算應用架構及其構建方法。

背景技術

近年來，隨著硬件性能、軟件算法的不斷提升完善，互聯網大數據的廣泛應用以及基于云平臺的大規模計算能力的不斷突破，以深度學習為核心的人工智能發展迅猛，適用于不同計算場景的深度學習框架層出不窮，其中代表性的有Caffe、TensorFlow、PyTorch等，這些深度學習框架能夠提供人工智能基礎算法的底層架構和接口，是推動人工智能產業發展的重要軟件基礎。然而，框架的差異給開發人員帶來很大的困難，眾多的框架訓練出來的模型不能通用，基于模型產生的智能算法也僅可被特定編程語言的智能任務調用，事實上造成了深度學習框架的“碎片化”，打破框架壁壘，使底層智能計算資源互通，將是業界努力的方向。為了消除開發和生產階段學習框架、編程語言差異帶來的影響，組織者不得不采取一些變通方式來應對，比如要求研究人員在生產系統中工作或者使用各種編程語言重寫多個智能算法及相關庫實現對上層智能任務的調用支持。該方法面臨著開發運維成本高、周期長、靈活性差等問題。

與此同時，隨著云原生時代的到來，當前人工智能系統大多采用分布式服務化架構模式構建，與單體式應用不同，基于微服務的分布式智能應用需要管理運行在多臺機器上的松散耦合的服務，這些服務使用不同的編程語言實現，利用不同的數據存儲技術，系統規模和復雜度不斷攀升，企業級微服務環境中，往往需要同時管理成百上千個服務。此類復雜系統的成功構建需要完善、易于使用且具有高效服務通信機制的微服務平臺支撐。

發明內容

(一)要解決的技術問題

本發明要解決的技術問題是如何提供一種基于ICE的異構平臺高效智能計算應用架構及其構建方法，以解決不同學習框架的差異性造成開發運維成本高、周期長、靈活性差的問題。

(二)技術方案

為了解決上述技術問題，本發明提出一種基于ICE的異構平臺高效智能計算應用架構，該架構分為三大部分，智能應用客戶端、多個異構平臺智能算法服務器組成的計算資源池和IceGrid管理器；

智能應用客戶端程序代碼包括：應用代碼、ICE中間件庫和Slice接口編譯生成的代理代碼，用于運行計算任務，通過請求計算服務，獲得計算結果；

服務器端包括多臺異構系統，每臺服務器端程序代碼包括Slice接口編譯生成的骨架框架代碼、繼承骨架框架代碼實現服務端具體業務邏輯的服務實現代碼、基于各平臺學習框架實現的深度學習網絡、封裝服務對象的對象適配器代碼和Ice中間件庫，用于運行計算服務，返回計算結果；

客戶端和服務器、服務器和服務器之間通過IceGrid管理器實現服務請求分派。

進一步地，所述基于各平臺學習框架實現的深度學習網絡的對外接口和支持的編程語言不相同。

本發明還提供一種基于所述架構實現的圖像識別智能應用系統代碼框架，圖像識別應用客戶端程序代碼包括圖像識別應用代碼Client.cpp、ICE中間件C++核心庫和Slice接口編譯生成的代理代碼ObjIdentify.cpp；