[發明專利]同源視頻流的音視頻和AI檢測結果同步方法及系統

在審

• 申請號: 202211538946.4
• 申請日: 2022-12-02
• 公開（公告）號: CN115996281A
• 公開（公告）日: 2023-04-21
• 發明（設計）人: 廖萬里;金卓;陳帆;肖飛;劉金朝
• 申請（專利權）人: 珠海金智維信息科技有限公司
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N21/43;H04N21/8547
• 代理公司: 深圳珠峰知識產權代理有限公司 44899
• 代理人: 黃偉

本發明公開了一種同源視頻流的音視頻和AI檢測結果同步方法及系統。本發明通過Redis消息通知技術，在擁有統一時鐘的前提下將各AI檢測服務的檢測結果、流處理服務的拉流幀號信息在每一整秒時刻統一推送到約定的Redis消息頻道中，各服務可以實時讀取頻道中其他服務的拉流幀號、檢測結果存入各自內存中，與本服務拉流的實時幀號進行追幀算法校對，定時更新與頻道中同一秒的領頭幀號HFN，及某一最早拉流成功服務的最新幀號的幀號差DFN，以達到通過等式CFN(本服務實時幀號)+DFN＝HFN來匹配同一幀各服務的檢測結果和音頻、視頻數據，通過這一架于各個服務之上的消息頻道作為橋梁，達到了音視頻、檢測結果同步，靈活部署各AI服務，最大化利用硬件資源的目的。

技術領域

本發明涉及音視頻同步技術領域，具體涉及一種同源視頻流的音視頻和AI檢測結果同步方法及系統。

背景技術

雙錄系統指銀行業等金融機構對自有理財產品及代銷產品銷售過程同步錄音錄像的系統。雙錄系統可以對工作人員的整個銷售過程進行監控和記錄，通過對記錄數據的分析，可以了解銷售人員在銷售理財等產品過程中的言行是否合規。但雙錄系統存在以下幾個不足之處，導致不少違規行為還是難以被發現：

1、雙錄系統只記錄雙錄時間段內的言行，雙錄時間段外，銷售人員與客戶的溝通情況不被記錄，難以發現雙錄時間段外的違規行為；

2、雙錄系統進行是否合規質檢時，僅檢查銷售人員是否合規的完成了對應的話術或動作，對銷售過程中的其他違規語言和動作并不檢查。

為了解決雙錄系統存在的上述問題，通常采用建立全天候24小時音視頻監控的方式采集銷售人員的音視頻數據，然后進行智能分析，查找雙錄時間段內外是否存在違規的話術和動作，以作為雙錄系統質檢的一種補充。

基于音視頻監控數據對銷售人員進行話術和動作是否違規檢測時，通常需要對同源視頻流執行或同時執行如ASR自動語音識別、目標跟蹤、人臉識別等多項AI檢測服務，并要求將經短暫處理時間后得到的各項AI檢測結果準確渲染到對應視頻幀，并對延遲后的音頻、視頻流進行同步、合并，最后轉推出效果流。

但由于無法保證各AI檢測服務的成功拉流的起始時間相同，意味著各AI檢測服務的初始拉流幀號時間戳通常并不相同，最終將形成各AI檢測服務針對同一視頻流檢測出基于各自的拉流時間軸的含視頻流幀號和檢測信息的結果隊列。顯然，將各AI檢測服務分別對應的具有不同拉流時間軸的結果隊列渲染到同一視頻流中，轉推出的效果流將非常雜亂，渲染效果很差，因此，迫切需要一種將各AI檢測服務的結果隊列同步到一條第三方時間軸上的方案，以解決上述問題。

目前，市面上大多數音視頻同步方案大體都是開辟一片共享內存區，在這一內存區中設置一個第三方時鐘作為參考時鐘，視頻和音頻的播放速度都以該時鐘為標準。當播放源比參考時鐘慢，則加快其播放速度，或者丟棄幀；快了，則延遲播放。顯然，通過第三方時鐘進行音視頻同步的方案并不適用于在音視頻同步的基礎上還需同步渲染相應的AI檢測結果的應用場景，因為AI檢測是需要耗費大量算力資源的，這種通過讀取內存獲取時鐘的方式意味著大量的AI檢測服務需要部署在同一服務器中，這會導致服務器硬件資源緊張，提高了單臺服務器的配置標準，不利于服務器的長期穩定運行。

發明內容

本發明以對同源視頻流作音視頻同步的基礎上實現AI檢測結果同步渲染為目的，提供了一種同源視頻流的音視頻和AI檢測結果同步方法及系統。

為達此目的，本發明采用以下技術方案：

提供一種同源視頻流的音視頻和AI檢測結果同步方法，步驟包括：

為各服務設定統一時鐘，所述服務包括AI檢測服務和流處理服務；

各所述服務對源視頻流進行拉流并實時推送拉流最新幀信息給Redis消息頻道，各所述AI檢測服務對拉取到的音頻流、視頻流作相應的AI檢測，并將檢測結果實時推送給所述Redis消息頻道；