[發明專利]數字人應用系統、應用方法、計算機設備以及存儲介質

在審

• 申請號: 202111149228.3
• 申請日: 2021-09-29
• 公開（公告）號: CN113918856A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 魯進;劉益云;章馳;李鋒
• 申請（專利權）人: 上海浦東發展銀行股份有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/955
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 黃麗霞

本申請涉及一種數字人應用系統、應用方法、計算機設備以及存儲介質。通過獲取多模態交互請求，并將多模態交互請求通過WebSocket協議透傳發送至對應的數字人服務端，接收數字人服務端返回的渲染播放內容，進而將渲染播放內容透傳發送給對應的H5頁面。由于在多模態交互過程中的數據采集、處理以及傳輸等均使用原生實現，因此，可以更好地完成對多模態中的音視頻信號的處理，為多模態音視頻交互提供了必要支撐；又由于多模態信號的融合與處理，通過后端服務完成，從而保證了采用Hybrid架構實現多模態音視頻交互的性能，擺脫了對特定硬件資源、平臺的限制，能夠給用戶提供耳目一新的多模態音視頻交互體驗。

技術領域

本申請涉及軟件技術領域，特別是涉及一種數字人應用系統、應用方法、計算機設備以及存儲介質。

背景技術

SDK(Software Development Kit，軟件開發工具包)是為輔助開發某類軟件而編寫的特定軟件包，框架集合等，SDK一般包含相關文檔、范例和工具。SDK可以分為系統SDK和應用SDK。所謂系統SDK是為特定的軟件包、軟件框架、硬件平臺或操作系統等應用時所使用的開發工具集合。而應用SDK則是基于系統SDK開發的獨立于具體業務而具有特定功能的集合。

傳統技術中，為集成數字人應用系統，可以通過H5加載數字人應用，以對外提供數字人服務。還可以通過提供數字人應用SDK的方式，從而方便更多的場景、終端集成使用。而對于構建數字人應用SDK有以下幾種常見的方式：一種是純原生實現，即針對不同的場景、不同的硬件設備、系統，進行特定的定制。另外一種，則是采用目前一些跨端技術框架比如flutter(是開源的構建用戶界面的工具包)、RN(React Native，一種移動端開發組件)等進行跨端開發。第三種則是基于Hybrid架構構建。

然而，采用H5方式加載數字人應用，對瀏覽器有特定的要求，有眾多瀏覽器不兼容。其次，采用H5的方式對數字人的交互體驗影響較大，并且可定制可修改性較小，除非修改瀏覽器底層。最后采用H5的方式加載數字人應用，對數字人應用場景、終端都有很大的限制，不利于數字人應用系統業務、場景、終端上的快速推進。

而從SDK的構建方法來看，原生SDK，又存在以下幾大問題。第一，開發成本高，尤其是當需要多種移動設備來測試時；第二，不同的開發語言下，開發、維護成本高；第三，上線的審核流程及發布上線時間不確定；第四，獲得新版本時需要重新下載應用更新；第五，前端頁面的展示上，由于各個終端都有各自的原生view(圖形顯示)組件，因此無法對各終端做到體驗一致。而基于跨端的一些技術框架構建的SDK，對于重交互的數字人SDK來說性能受限，且目前一些跨端框架社區不夠完善，自己需造輪子，雖可實現跨端，但實際的開發、測試、維護成本更高。

而隨著當前金融科技的迅速發展，金融業務場景眾多，數字人的應用場景更是紛繁復雜。對于不同的終端設備，比如手機、VTM(Video Teller Machine，遠程視頻柜員機)、座艙、大屏、PAD(平板電腦)、iPAD(IOS系統的平板電腦)等，系統又需要兼顧Android和IOS。因此，目前亟需一種能夠更好的適應業務場景及終端需求的數字人應用系統。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠更好的適應業務場景及終端需求的數字人應用系統、應用方法、裝置、計算機設備、計算機可讀存儲介質和計算機程序產品。

一種數字人應用系統，所述系統基于Hybrid模式架構，所述系統包括：

數字人SDK，用于將底層數字人應用能力封裝成SDK，以提供底層應用涉及的通用能力；

H5層，用于負責業務的邏輯控制以及對應的資源展現；

業務層SDK，用于進行通信，實現所述數字人SDK、H5層以及客戶端應用程序之間的數據傳輸，所述客戶端應用程序為具有集成需求的應用程序。

在其中一個實施例中，所述H5層包括針對不同業務場景基于vue.js定制的資源展現頁面。