[發明專利]虛擬演播廳全流程多終端板書提取方法和裝置

在審

• 申請號: 202110252053.2
• 申請日: 2021-03-08
• 公開（公告）號: CN113010129A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 李宏偉;李艷飛;李廣勝;張豐;王研;周獻陽;張曉峰;李媛媛;周浩;趙寅
• 申請（專利權）人: 遼寧向日葵教育科技有限公司
• 主分類號: G06F3/14
• 分類號: G06F3/14;G06F9/451;G06F40/186;G06T11/60;G06T7/10;G06T3/40;G06T5/50
• 代理公司: 北京久維律師事務所 11582
• 代理人: 邢江峰

1.一種虛擬演播廳全流程多終端板書提取方法，其特征在于，所述方法包括：

基于預設的數據過濾機制對板書文本數據進行過濾，并利用數據傳輸協議將過濾的所述板書文本數據傳輸至虛擬演播廳；

對所述虛擬演播廳中的板書文本數據構建文本畫面，并創建所述文本畫面的響應事件按鈕；

利用預訓練好的人像摳圖模型對板書圖像進行人像摳圖，生成人像圖像；

根據所述文本畫面、響應事件按鈕以及人像圖像，生成所述虛擬演播廳的板書界面。

2.如權利要求1所述的虛擬演播廳全流程多終端板書提取方法，其特征在于，所述利用數據傳輸協議將過濾的所述板書文本數據傳輸至虛擬演播廳，包括：

獲取過濾的所述板書文本數據的程序運行文件包，并識別所述程序運行文件包的接口參數；

獲取所述虛擬演播廳的端口參數；

根據所述接口參數以及端口參數，利用所述數據傳輸協議配置所述程序運行文件包和所述虛擬演播廳的數據傳輸通道；

基于所述數據傳輸通道，將過濾的所述板書文本數據傳輸至所述虛擬演播廳。

3.如權利要求1所述的虛擬演播廳全流程多終端板書提取方法，其特征在于，所述創建所述文本畫面的響應事件按鈕包括：

獲取所述文本畫面的編譯環境；

在所述編譯環境中，創建所述文本畫面的響應按鈕腳本；

基于所述響應事件腳本加載對應文本畫面的事件觸發按鈕，生成響應事件按鈕。

4.如權利要求1所述的虛擬演播廳全流程多終端板書提取方法，其特征在于，所述利用預訓練好的人像摳圖模型對板書圖像進行人像摳圖，生成人像圖像，包括：

利用所述人像摳圖模型中的人像分割模塊對所述板書圖像進行人像分割處理，得到人像分割圖；

利用所述人像摳圖模型中的人像回歸模塊對所述人像采樣圖進行摳圖處理，得到人像圖像。

5.如權利要求4中所述的虛擬演播廳全流程多終端板書提取方法，其特征在于，所述利用所述人像摳圖模型中的人像分割模塊對所述板書圖像進行人像分割處理，得到人像分割圖，包括：

利用所述人像分割模塊對所述板書圖像進行特征提取，得到特征圖；

對所述特征圖進行卷積操作并輸出，得到所述人像分割圖。

6.如權利要求4所述的虛擬演播廳全流程多終端板書提取方法，其特征在于，所述利用所述人像摳圖模型中的人像回歸模塊對所述人像采樣圖進行摳圖處理，得到人像圖像，包括：

利用所述人像回歸模塊對所述人像分割圖進行上采樣，得到人像采樣圖；

將所述人像采樣圖和所述板書圖像進行拼接，得到所述特征采樣圖和所述原始圖像的拼接圖像；

對所述拼接圖像進行融合操作，得到所述拼接圖像的融合圖像；

利用所述人像回歸模塊中的激活函數輸出所述融合圖像，得到人像圖像。

7.如權利要求1至6中任一項所述的虛擬演播廳全流程多終端板書提取方法，其特征在于，所述根據所述文本畫面、響應事件按鈕以及人像圖像，生成所述虛擬演播廳的板書界面，包括：

在所述虛擬演播廳中構建界面顯示層，所述板書界面顯示層包括板卡層、操作畫面層以及人像層；

將所述文本畫面、響應事件按鈕以及人像圖像分別加載至所述板卡層、操作畫面層以及人像層中，生成板卡畫面、響應畫面以及人像畫面；

將所述板卡畫面、響應畫面以及人像畫面進行融合，生成所述虛擬演播廳的板書界面。

8.一種虛擬演播廳全流程多終端板書提取裝置，其特征在于，所述裝置包括：

傳輸模塊，用于基于預設的數據過濾機制對板書文本數據進行過濾，并利用數據傳輸協議將過濾的所述板書文本數據傳輸至虛擬演播廳；

創建模塊，用于對所述虛擬演播廳中的板書文本數據構建文本畫面，并創建所述文本畫面的響應事件按鈕；

摳圖模塊，用于利用預訓練好的人像摳圖模型對板書圖像進行人像摳圖，生成人像圖像；

生成模塊，用于根據所述文本畫面、響應事件按鈕以及人像圖像，生成所述虛擬演播廳的板書界面。