[發明專利]基于廣電網絡的綜合數據采集系統和方法

在審

• 申請號: 201410683458.1
• 申請日: 2014-11-24
• 公開（公告）號: CN104486097A
• 公開（公告）日: 2015-04-01
• 發明（設計）人: 彭博;王曄;魏長城;張曉雷;欒慎亭;張宇;路婧
• 申請（專利權）人: 大連梯耐德網絡技術有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/803
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 涂文詩;李洪福

技術領域

本發明實施例涉及電通信領域，尤其涉及一種基于廣電網絡的綜合數據采集系統和方法。

背景技術

隨著廣電網絡的日益發展，傳統的廣播電視業務也發生了互動點播、內容推送等一系列革命性的轉變，除此之外，在三網融合的背景下，廣播電視運營商在傳統業務的基礎上，利用已有的廣播電視網絡，增加了互聯網數據的服務內容，使得廣播電視運營商的業務范圍及業務量呈現爆炸式的增長。因此，對廣電網絡中的數據采集就顯得尤為重要：首先，能夠從海量的廣電網絡數據中找到符合網絡管理員需要的數據；其次，這些廣電網絡數據能夠根據網絡管理員的意愿進行分類傳送；再次，這些廣電網絡數據能夠被發送到指定的數據采集服務器中；最后，網絡管理員能夠控制廣電網絡數據的收發，即不想讓用戶訪問的數據，不發送到用戶，想分析使用的數據，網絡管理員在得到的同時，還不影響用戶的正常使用行為。

要實現廣電網絡大數據量的搜索及控制，現有技術中，軟件處理廣電網絡大數據的速度及控制精度遠遠達不到用戶的實際需求，而且硬件對于該些大數據的還原及綜合分析能力又束手無策。

發明內容

本發明實施例提供一種基于廣電網絡的綜合采集系統和方法，以克服現有技術中，廣電網絡數據量大的搜索及控制不夠準確和效率低的問題。

本實施例提供一種基于廣電網絡的綜合數據采集系統，包括：

數據采集硬件加速器和數據采集服務器，所述數據采集硬件加速器，包括：網絡接口模塊，所述網絡接口模塊至少有三個萬兆網絡接口，用于接收、發送網絡報文數據，第一萬兆網絡接口一端與數據采集服務器的萬兆網絡接口連接，第二萬兆網絡接口模塊一端與運營商外部網絡連接、第三萬兆網絡接口一端與用戶內部網絡連接，所述第一萬兆網絡接口、所述第二萬兆網絡接口和所述第三萬兆網絡接口另一端與所述數據采集硬件加速器的FPGA模塊連接；

至少一個FPGA模塊，用于處理與調度所述數據采集硬件加速器內部數據；

至少一個TCAM模塊，用于接收所述FPGA模塊發送的查詢指令，并進行規則匹配查詢數據，與所述FPGA模塊連接；

所述數據采集服務器，包括至少一個所述萬兆網絡接口，用于接收、處理網絡報文數據，與所述數據采集硬件加速器的網絡接口模塊相連接。

進一步地，所述FPGA模塊包括如下模塊：

串行數據解析單元，用于將所述網絡接口串行網絡報文數據轉換為并行網絡報文數據；

報文糾錯單元，用于刪除錯誤網絡報文數據；

報文頭解析單元，用于解析網絡報文數據幀頭信息；

控制查詢單元，用于控制所述TCAM模塊查詢所述網絡報文數據負載信息；

負載均衡單元，用于將待發送的所述網絡報文數據進行負載均衡傳輸；

報文發送單元，用于發送處理過后所述網絡報文數據；

所述串行數據解析單元與萬兆網絡接口、報文糾錯單元連接，所述報文糾錯單元與所述報文頭解析單元連接，所述控制查詢單元與所述報文頭解析單元、TCAM模塊連接，所述負載均衡單元與控制查詢單元、報文發送單元連接，所述報文發送單元與萬兆網絡接口連接。

進一步地，所述TCAM模塊采用正則表達式的方式對數據進行查詢。

進一步地，所述報文頭解析單元，具體用于：

解析基于TCP/IP參考模型的網際互聯層、傳輸層、應用層的報文數據幀頭信息。

進一步地，所述數據采集服務器，還用于：

將接收到的網絡報文數據進行還原，并將還原后的數據采集入庫。

本實施例還一種基于廣電網絡的綜合數據采集方法，包括：

數據采集硬件加速器將網絡接口接收的串行網絡報文數據轉換為FPGA內部并行的網絡報文數據；

所述數據采集硬件加速器刪除錯誤網絡報文數據；

所述數據采集硬件加速器解析所述網絡報文數據幀頭信息；

所述數據采集硬件加速器根據解析后的網絡報文數據幀頭確定查詢負載信息；

所述數據采集硬件加速器根據所述查詢負載信息查詢網絡報文；

所述數據采集硬件加速器根據所述查詢結果向數據采集服務器器進行負載均衡傳輸網絡報文數據。

進一步地，所述數據采集硬件加速器根據所述查詢結果向數據采集服務器進行負載均衡傳輸網絡報文數據之后，還包括：

所述數據采集服務器根據所述網絡報文數據幀頭信息還原所述網絡報文數據，并將所述網絡報文數據采集入庫。