[發明專利]基于人工智能的視頻分析方法、設備及介質

在審

• 申請號: 202010622578.6
• 申請日: 2020-06-30
• 公開（公告）號: CN111797756A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 曾起
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G06Q10/06;G06Q50/12
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 何春蘭;遲珊珊

1.一種基于人工智能的視頻分析方法，其特征在于，所述基于人工智能的視頻分析方法包括：

當接收到視頻分析時，獲取利用采集裝置采集到的原始視頻；

對所述原始視頻進行拆分，得到至少一個視頻段；

利用預先訓練的多個模型對每個視頻段進行特征提取，輸出每個視頻段的至少一個特征；

對每個視頻段的至少一個特征進行分析，得到分析數據；

連接指定傳感器，調取通過所述指定傳感器采集的每個視頻段的目標數據；

根據所述分析數據及所述目標數據進行計算，得到視頻分析結果。

2.如權利要求1所述的基于人工智能的視頻分析方法，其特征在于，所述對所述原始視頻進行拆分，得到至少一個視頻段包括：

將所述原始視頻按照餐桌進行拆分，得到包括每個餐桌的至少一段餐桌視頻；

從指定平臺調取所述至少一段餐桌視頻中每段餐桌視頻所包括的至少一次就餐信息；

從所述至少一次就餐信息中獲取每次就餐的起始時間及結束時間；

根據所述起始時間及所述結束時間拆分每段餐桌視頻，得到每段餐桌視頻的拆分視頻；

整合每段餐桌視頻的拆分視頻，得到所述至少一個視頻段。

3.如權利要求1所述的基于人工智能的視頻分析方法，其特征在于，所述預先訓練的多個模型存儲于區塊鏈上，所述利用預先訓練的多個模型對每個視頻段進行特征提取，輸出每個視頻段的至少一個特征包括：

采用第一目標檢測模型識別每個視頻段的人臉特征，并將識別到的人臉特征輸入至表情分類模型，輸出每個視頻段中每個人臉特征對應的表情類別，所述表情類別包括滿意表情、不滿意表情，所述表情分類模型由至少一個角度的人臉標注圖片訓練而得到；

采用第二目標檢測模型識別每個視頻段的餐盤，并確定每個餐盤的坐標，將在指定坐標范圍內的餐盤確定為每個視頻段中的餐盤；

將每個視頻段輸入至菜品分類模型，輸出每個餐盤對應的每個菜品，所述菜品分類模型由預設的菜品圖片訓練而得到；

將每個視頻段輸入至行為檢測模，輸出每個視頻段中每個顧客的行為特征，所述行為特征包括點頭、搖頭，所述行為檢測模型采用OpenPose及LSTM訓練而得到。

4.如權利要求3所述的基于人工智能的視頻分析方法，其特征在于，所述第一目標檢測模型為預先訓練的人臉檢測器，所述表情分類模型為預先訓練的隨機蕨分類器，所述采用第一目標檢測模型識別每個視頻段的人臉特征，并將識別到的人臉特征輸入至表情分類模型，輸出每個視頻段中每個人臉特征對應的表情類別包括：

利用所述人臉檢測器對每個視頻段的圖片進行檢測，得到每張圖片的檢測結果；

當檢測結果顯示有圖片為人臉圖片時，提取所述人臉圖片的差分特征；

將提取的差分特征輸入至所述隨機蕨分類器，輸出每個視頻段中每張人臉圖片對應的表情類別。

5.如權利要求1所述的基于人工智能的視頻分析方法，其特征在于，所述分析數據包括每個視頻段中的餐盤量、顧客的點頭次數、顧客的搖頭次數、顧客的滿意表情出現次數、顧客的不滿意表情出現次數，所述基于人工智能的視頻分析方法還包括：

計算每個視頻段中顧客的點頭次數與顧客的搖頭次數的第一差值；

計算每個視頻段中顧客的滿意表情出現次數與顧客的不滿意表情出現次數的第二差值；

獲取所述第一差值與所述第二差值中的較大值作為每個視頻段的比較值；

當有視頻段的比較值大于或者等于餐盤量時，輸出第一評分作為該視頻段對應的至少一個廚師的整體評分；或者

當有視頻段的比較值小于或者等于餐盤量的負數時，輸出第二評分作為該視頻段對應的至少一個廚師的整體評分；

當有視頻段的比較值大于餐盤量的負數且小于餐盤量時，計算所述比較值與所述餐盤量的商作為該視頻段對應的至少一個廚師的整體評分。