[發明專利]節目流數據抓取方法、裝置、計算機設備及可讀存儲介質

在審

• 申請號: 202110849097.3
• 申請日: 2021-07-27
• 公開（公告）號: CN113660530A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 張力云;韓濟源;孫培;李棟成;王東;鮑放;姜斌;董春芳
• 申請（專利權）人: 中央廣播電視總臺;北京格非科技股份有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/4722;H04N21/482;H04N21/65;H04N21/845
• 代理公司: 北京新知遠方知識產權代理事務所(普通合伙) 11397
• 代理人: 馬軍芳;張艷

本申請實施例中提供了一種節目流數據抓取方法、裝置、計算機設備及可讀存儲介質，通過從多個節目流中獲取待處理節目流；再對待處理節目流進行分片，得到多個待處理節目元數據；接著利用與待處理節目元數據對應的線程將多個待處理節目元數據進行緩存；然后將緩存的多個待處理節目元數據輸出，得到多個目標節目元數據；最終響應于抓包停止指令，將輸出的多個目標節目元數據進行合并，得到目標節目流數據，如此設計，相較于相關技術中的抓包工具無法對高帶寬、高速率的節目媒體流進行無丟包的原始數據抓包，本方案采取了對待處理節目流進行分片抓包的處理方式，實現了對高帶寬、高速率的節目媒體流原始數據的無損抓包。

技術領域

本申請涉及廣播電視技術，具體地，涉及一種節目流數據抓取方法、裝置、計算機設備及可讀存儲介質。

背景技術

目前，IP(Internet Protocol，網際互連協議)節目制播系統的出現故障后，為了定位故障的原因，往往需要獲取和保存IP節目流的原始數據，以供系統運維人員和設備廠商進行數據分析。目前運維人員常用數據抓取手段為Linux系統中的TCP Dump工具(抓包命令工具)和windows系統中的Wireshark工具(網絡抓包工具)，但面對超高清的媒體流信號，此類工具往往顯得力不從心。例如標準的ST-2110-20 4K UHD視頻信號的數據帶寬為8.8Gbps，數據包發包率約為17000/pps，傳統架構的抓包工具在進行此類的原始數據包抓取的時候，由于技術架構本身的局限性無法抓取所有的數據包，產生大量的丟包，往往會丟掉10％～50％的原始數據包，這對原始數據的分析、研究故障流量的特征均產生了巨大的影響。

發明內容

本申請實施例中提供了一種節目流數據抓取方法、裝置、計算機設備及可讀存儲介質。

第一方面，本申請實施例提供一種節目流數據抓取方法，應用于計算機設備，計算機設備與網絡設備通信連接，網絡設備用于接收多個節目流，方法包括：

響應于抓包準備指令，通過網絡設備從多個節目流中獲取待處理節目流；

對待處理節目流進行分片，得到多個待處理節目元數據；

調用多個線程將多個待處理節目元數據進行緩存；

響應于抓包開始指令，從緩存的多個待處理節目元數據中輸出多個目標節目元數據；

響應于抓包停止指令，將輸出的多個目標節目元數據進行合并，得到目標節目流數據。

在一種可能的實施方式中，抓包準備指令包括節目流特征；

響應于抓包準備指令，通過網絡設備從多個節目流中獲取待處理節目流，包括：

響應于抓包準備指令，將節目流特征發送至網絡設備，以使網絡設備根據節目流特征從多個節目流中確定出待處理節目流；

接收網絡設備發送的待處理節目流。

在一種可能的實施方式中，計算機設備包括多核處理器，多核處理器包括多個處理內核，計算機設備配置有網絡驅動程序接口規范；

對待處理節目流進行分片，得到多個待處理節目元數據，包括：

調用網絡驅動程序接口規范對待處理節目流進行分片，得到與多個處理內核數量相同的多個待處理節目分片數據；

將多個待處理節目分片數據發送至對應的處理內核中進行處理，得到多個待處理節目元數據。

在一種可能的實施方式中，調用多個線程將多個待處理節目元數據進行緩存，包括：

確定出目標處理內核的本地內存，調用目標線程將目標待處理節目元數據緩存至本地內存；目標待處理節目元數據為多個待處理節目元數據中的任意一個，目標處理內核為目標待處理節目元數據對應的處理內核，目標線程為目標待處理節目元數據對應的線程。