[發明專利]一種基于用戶行為的知識圖譜生成方法及裝置

有效

• 申請號: 202210945932.8
• 申請日: 2022-08-08
• 公開（公告）號: CN115357725B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 王濤;鄭宇;羅錚;鄧昕
• 申請（專利權）人: 武漢北大高科軟件股份有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F18/23;G06V10/28;G06V10/764;G06V10/766;G06V40/20
• 代理公司: 深圳博敖專利代理事務所(普通合伙) 44884
• 代理人: 胡智援

1.一種基于用戶行為的知識圖譜生成方法，其特征在于，包括：

獲取包含用戶行為的視頻信息和終端設備的輸出圖像，所述用戶行為是指用戶的手部動作；

將所述包含用戶行為的視頻信息發送至動作識別模型進行處理，得到用戶行為的動作模擬曲線；

將所述終端設備的輸出圖像發送至圖像識別模塊進行識別和標記，得到終端設備的輸出圖像內的每個目標的標簽信息；

基于所述動作模擬曲線和所述標簽信息，確定所述用戶行為的動作模擬曲線和所述標簽信息的關聯度值；

將所述動作模擬曲線、所述標簽信息和所述關聯度值發送至知識圖譜生成模型進行處理，得到基于用戶行為的知識圖譜；

基于所述動作模擬曲線和所述標簽信息，確定所述用戶行為的動作模擬曲線和所述標簽信息的關聯度值，包括：

將所述動作模擬曲線和所述標簽信息按照時間關系進行一一對應，得到每個所述動作模擬曲線對應的標簽信息；

將所有的所述動作模擬曲線對應的標簽信息基于貝葉斯方法進行統計處理，得到每個所述標簽信息在所述終端設備的輸出圖像內的置信度；

基于所述動作模擬曲線對應的標簽信息和所有的所述標簽信息，得到所述動作模擬曲線對應的標簽信息占所有的所述標簽信息的權重值；

基于所述置信度和所述權重值計算所述用戶行為的動作模擬曲線和所述標簽信息的匹配度；

基于所述用戶行為的動作模擬曲線和所述標簽信息的匹配度，得到所述用戶行為的動作模擬曲線和所述標簽信息的關聯度值；

基于所述用戶行為的動作模擬曲線和所述標簽信息的匹配度，得到所述用戶行為的動作模擬曲線和所述標簽信息的關聯度值，包括：

將所述用戶行為的動作模擬曲線和所述標簽信息的匹配度進行聚類處理，得到每個所述匹配度位于的聚類簇；

對所有的所述聚類簇進行分析，將包含最大閾值范圍的聚類簇的所有聚類點的平均值作為閾值；

將小于或等于所述閾值的匹配度值和所述小于所述閾值的匹配度值對應的標簽信息進行刪除，得到大于所述閾值的匹配度值；

將大于所述閾值的匹配度值作為所述大于所述閾值的匹配度值對應的動作模擬曲線和標簽信息的關聯度值。

2.根據權利要求1所述的基于用戶行為的知識圖譜生成方法，其特征在于，將所述包含用戶行為的視頻信息發送至動作識別模型進行處理，得到用戶行為的每個動作信息，包括：

將所述包含用戶信息的視頻信息中的每幀圖像進行目標識別，得到每幀圖像內的手部圖像；

基于所述包含用戶行為的視頻信息中的每幀圖像建立二維空間直角坐標系，得到至少一個二維空間直角坐標系；

將所述每幀圖像內的手部圖像進行關鍵點處理，得到第一子信息，所述第一子信息包括每幀圖像內的手部圖像的關鍵點信息；

將所述第一子信息分別發送至對應的二維空間直角坐標系內進行坐標計算，得到每個所述第一子信息的坐標信息；

基于貝塞爾曲線對每個所述第一子信息的坐標信息運動軌跡擬合，得到用戶行為的動作模擬曲線。

3.根據權利要求2所述的基于用戶行為的知識圖譜生成方法，其特征在于，將所述每幀圖像內的手部圖像進行關鍵點處理，得到第一子信息，包括：

將所述每幀圖像內的手部圖像內所有的像素點進行二值化處理，得到二值化的用戶手部圖像；

將所述二值化的用戶手部圖像依次進行膨脹處理和腐蝕處理，得到去除噪聲后的二值化圖像；

基于多元自適應回歸樣條算法對所述去除噪聲后的二值化圖像進行計算，得到擬合曲線的關鍵點信息。