[發明專利]直播互動方法、裝置、存儲介質與電子設備

在審

• 申請號: 202111107176.3
• 申請日: 2021-09-22
• 公開（公告）號: CN113840177A
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 郭昀霖
• 申請（專利權）人: 廣州博冠信息科技有限公司
• 主分類號: H04N21/4788
• 分類號: H04N21/4788;H04L29/06
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 王輝;闞梓瑄

1.一種直播互動方法，應用于主播終端，其特征在于，所述方法包括：

根據采集的直播視頻流檢測手勢輪廓；

通過預先訓練好的，以預先配置的手勢骨骼數據集為先驗條件的手勢識別機器學習模型，對檢測得到的手勢輪廓進行識別，確定手勢輪廓對應的手勢識別結果；

基于語義分析確定手勢識別結果對應交互功能的觸發指令；

將手勢識別結果對應交互功能的觸發指令及直播視頻流通過直播服務器發送至觀眾終端，以使觀眾終端在播放直播視頻流時，根據觸發指令執行對應的交互功能。

2.根據權利要求1所述的直播互動方法，其特征在于，所述通過預先訓練好的，以預先配置的手勢骨骼數據集為先驗條件的手勢識別機器學習模型，對檢測得到的手勢輪廓進行識別，確定手勢輪廓對應的手勢識別結果，包括：

通過預先訓練好的手勢識別機器學習模型對檢測得到的手勢輪廓進行識別，獲得手勢輪廓對應的手勢輪廓類型識別結果；

確定所述手勢輪廓類型識別結果的待識別手勢位姿信息；

獲取手勢骨骼數據集中預先配置的關系數據表，所述關系數據表反應互動手勢與手勢位姿信息的對應關系；

根據獲取的關系數據表中互動手勢與手勢位姿信息的對應關系，將與所述待識別手勢位姿信息對應的互動手勢作為手勢識別結果。

3.根據權利要求2所述的直播互動方法，其特征在于，所述確定所述手勢輪廓類型識別結果的待識別手勢位姿信息，包括：

檢測所述手勢輪廓類型識別結果對應手部區域圖像中的手部特征點與手部特征線；

確定所述手部特征點在參考坐標系中的位置信息和所述手部特征線在所述參考坐標系中的角度信息；

基于所述手部特征點的位置信息和所述手部特征線的角度信息的組合，得到待識別手勢位姿信息。

4.根據權利要求2所述的直播互動方法，其特征在于，所述關系數據表中包括互動手勢及其對應的手勢位姿信息；所述根據獲取的關系數據表中互動手勢與手勢位姿信息的對應關系，將與所述待識別手勢位姿信息對應的互動手勢作為手勢識別結果，包括：

將所述待識別手勢位姿信息與關系數據表中每個手勢位姿信息進行比對，得到比對結果；

若所述比對結果指示手勢位姿信息中存在目標手勢位姿信息，則基于互動手勢與手勢位姿信息的對應關系，將所述目標手勢位姿信息對應的互動手勢作為手勢識別結果；所述目標手勢位姿信息為手勢位姿信息中與所述待識別手勢位姿信息的差值小于或者等于預設偏差值的手勢位姿信息。

5.根據權利要求1所述的直播互動方法，其特征在于，所述根據采集的直播視頻流檢測手勢輪廓，包括：

對采集的直播視頻流進行預處理，獲得人體輪廓二值圖像；

利用手勢輪廓模型檢測人體輪廓二值圖像中的手勢輪廓。

6.根據權利要求1所述的直播互動方法，其特征在于，在根據采集的直播視頻流檢測手勢輪廓之前，所述方法還包括：

在檢測到滿足手勢識別的觸發條件時，采集主播終端的直播視頻流。

7.根據權利要求1所述的直播互動方法，其特征在于，所述基于語義分析確定手勢識別結果對應交互功能的觸發指令，包括：

對所述手勢識別結果進行語義分析，確定與所述手勢識別結果對應的語義信息；

確定與所述語義信息對應的待觸發交互功能；

確定與手勢識別結果對應的待觸發交互功能的觸發指令。

8.根據權利要求7所述的直播互動方法，其特征在于，所述確定與手勢識別結果對應的待觸發交互功能的觸發指令，包括：

獲取預先建立的交互功能與交互功能觸發指令的對應關系表；對應關系表反映交互功能與交互功能觸發指令的對應關系；

根據所述交互功能與交互功能觸發指令的對應關系表，確定與所述待觸發交互功能對應的交互功能觸發指令。