[發明專利]流媒體系統和流媒體服務器

在審

• 申請號: 202011445628.4
• 申請日: 2020-12-08
• 公開（公告）號: CN113542749A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 全亨峻;河相赫
• 申請（專利權）人: 三星電子株式會社
• 主分類號: H04N19/172
• 分類號: H04N19/172;H04N19/51;H04N19/53;H04N19/136;H04N19/162;G06N3/04;G06N3/08;H04L29/06
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 李娜;王占杰

1.一種流媒體系統，所述流媒體系統包括：

流媒體服務器，所述流媒體服務器被配置為：

基于流媒體數據、用戶輸入和與所述用戶輸入相關聯的元數據，訓練交互式幀預測模型，

通過選擇性地使用基于訓練后的所述交互式幀預測模型生成的預測幀，對所述流媒體數據進行編碼，以及

發送訓練后的所述交互式幀預測模型和編碼后的所述流媒體數據；以及

客戶端設備，所述客戶端設備被配置為：

接收訓練后的所述交互式幀預測模型和編碼后的所述流媒體數據，以及

基于訓練后的所述交互式幀預測模型對編碼后的所述流媒體數據進行解碼，以將恢復后的流媒體數據提供給用戶。

2.根據權利要求1所述的流媒體系統，其中，所述流媒體服務器包括：

處理器；

存儲器，所述存儲器耦接到所述處理器，所述存儲器存儲指令；

運行服務器，所述運行服務器耦接到所述處理器，所述運行服務器包括編碼器和被配置為生成所述流媒體數據的圖形處理單元；以及

訓練服務器，所述訓練服務器耦接到所述處理器，所述訓練服務器被配置為存儲被配置為實現所述交互式幀預測模型的神經網絡。

3.根據權利要求2所述的流媒體系統，其中，所述處理器被配置為執行所述指令，使得：

所述圖形處理單元被配置為將所述流媒體數據提供給所述訓練服務器；并且

使得所述訓練服務器被配置為：

將所述流媒體數據的幀、所述用戶輸入和所述元數據應用于所述交互式幀預測模型以訓練所述交互式幀預測模型，使得所述交互式幀預測模型提供關于所述流媒體數據的對象幀的預測幀，

當完成對所述交互式幀預測模型的訓練時，向所述客戶端設備發送訓練后的所述交互式幀預測模型，以及

將所述預測幀提供給所述編碼器。

4.根據權利要求3所述的流媒體系統，其中，所述處理器被配置為響應于所述預測幀的壓縮率和與所述預測幀相關聯的期望幀的壓縮率之間的差在參考范圍內，確定完成了對所述交互式幀預測模型的訓練。

5.根據權利要求4所述的流媒體系統，其中，所述處理器被配置為執行所述指令，使得：

所述編碼器被配置為：

通過參考從所述流媒體數據的前一幀和所述預測幀中選擇的較高相似度幀對所述對象幀進行編碼，將編碼后的所述流媒體數據提供給所述客戶端設備，所述較高相似度幀與所述對象幀具有較高相似度，所述前一幀是所述對象幀的前一幀；以及

通過參考所述較高相似度幀來執行運動估計。

6.根據權利要求2所述的流媒體系統，其中，所述訓練服務器被配置為通過進一步將超分辨率模型應用于所述流媒體數據的幀，來調整所述流媒體數據的所述幀的分辨率。

7.根據權利要求1所述的流媒體系統，其中，所述客戶端設備包括：

顯示器；

通信接口；

輸入/輸出接口，所述輸入/輸出接口被配置為接收所述用戶輸入；

處理器，所述處理器耦接到所述顯示器、所述輸入/輸出接口和所述通信接口；以及

存儲器，所述存儲器耦接到所述處理器，所述存儲器存儲指令。

8.根據權利要求7所述的流媒體系統，其中，所述處理器被配置為執行所述指令，使得：

所述輸入/輸出接口被配置為通過所述通信接口向所述流媒體服務器提供所述用戶輸入和基于所述用戶輸入的所述元數據；并且

所述通信接口被配置為接收訓練后的所述交互式幀預測模型，以將訓練后的所述交互式幀預測模型存儲在所述存儲器中，從而通過將編碼后的所述流媒體數據、所述用戶輸入和所述元數據應用于訓練后的所述交互式幀預測模型來生成預測幀。

9.根據權利要求8所述的流媒體系統，其中，

所述處理器包括解碼器，所述解碼器被配置為通過選擇性地使用所述預測幀來對編碼后的所述流媒體數據進行解碼，以生成恢復后的所述流媒體數據；并且

所述處理器被配置為執行所述指令以在所述顯示器中顯示恢復后的所述流媒體數據。