[發明專利]一種網絡視頻采集方法及系統

在審

• 申請號: 201911063184.5
• 申請日: 2019-10-31
• 公開（公告）號: CN110866165A
• 公開（公告）日: 2020-03-06
• 發明（設計）人: 夏光升;孫濤
• 申請（專利權）人: 天津市國瑞數碼安全系統股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955;G06F16/215;G06F16/27;H04N7/18
• 代理公司: 北京知聯天下知識產權代理事務所(普通合伙) 11594
• 代理人: 張陸軍;張迎新

1.一種網絡視頻采集方法，其特征在于，所述視頻采集方法包括：

對網絡地址數據進行清洗處理；

根據清洗處理后的所述網絡地址數據，生成網頁抓取任務；

執行所述網頁抓取任務，下載網頁中的視頻數據。

2.根據權利要求1所述的視頻采集方法，其特征在于，所述對網絡地址數據進行清洗處理包括：

通過MapReduce編程模型對存儲在分布式文件系統中網絡地址數據進行首次清洗處理；

將經過首次清洗處理后的網絡地址數據轉存至Hbase分布式存儲系統；

利用HiveSql函數對所述Hbase分布式存儲系統中的網絡地址數據，進行二次清洗處理。

3.根據權利要求1或2所述的視頻采集方法，其特征在于，所述清洗處理包括：刪除不符合網絡地址規則的網絡地址數據、刪除重復的網絡地址數據中的一種或多種。

4.根據權利要求1所述的視頻采集方法，其特征在于，所述生成網頁抓取任務包括：

調取清洗處理后的網絡地址數據；

將所述網絡地址數據分為視頻網絡地址數據和非視頻網絡地址數據；

對所述視頻網絡地址數據進行流處理并保存；

根據所述非視頻網絡地址數據生成網頁抓取任務。

5.根據權利要求4所述的視頻采集方法，其特征在于，所述生成網頁抓取任務還包括：

通過Kafka流處理平臺調取清洗處理后的網絡地址數據；

所述Kafka流處理平臺將所述網絡地址數據分為視頻網絡地址數據和非視頻網絡地址數據；

通過Storm分布式實時計算系統對所述視頻網絡地址數據進行流處理并保存；

所述Storm分布式實時計算系統根據所述非視頻網絡地址數據生成網頁抓取任務。

6.根據權利要求1所述的視頻采集方法，其特征在于，若所述執行網頁抓取任務失敗，則將所述網頁抓取任務對應的網絡地址數據保存至數據庫服務器中，等待再次被調取執行。

7.根據權利要求1所述的視頻采集方法，其特征在于，所述下載網頁中的視頻數據包括：下載所述網頁抓取任務對應的網頁中的視頻數據、下載所述網頁的鏈接網頁中的視頻數據。

8.一種網絡視頻采集系統，其特征在于，所述視頻采集系統包括：

清洗單元，用于對網絡地址數據進行清洗處理；

任務生成單元，用于根據清洗處理后的所述網絡地址數據，生成網頁抓取任務；

視頻下載單元，用于執行所述網頁抓取任務，下載網頁中的視頻數據。

9.根據權利要求8所述的視頻采集系統，其特征在于，

所述清洗單元通過MapReduce編程模型對存儲在分布式文件系統中的網絡地址數據，進行首次清洗處理；

所述清洗單元將經過首次清洗處理后的網絡地址數據轉存至Hbase分布式存儲系統；

所述清洗單元利用HiveSql函數對所述Hbase分布式存儲系統中的網絡地址數據，進行二次清洗處理。

10.根據權利要求8所述的視頻采集系統，其特征在于，

所述任務生成單元調取清洗處理后的網絡地址數據；

所述任務生成單元將所述網絡地址數據分為視頻網絡地址數據和非視頻網絡地址數據；

所述任務生成單元對所述視頻網絡地址數據進行流處理并保存；

所述任務生成單元根據所述非視頻網絡地址數據生成網頁抓取任務。