[發明專利]面向對等網絡流媒體的覆蓋網絡快照獲取方法及評價方法

有效

• 申請號: 202010134288.7
• 申請日: 2020-03-02
• 公開（公告）號: CN111314156B
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 王海舟;陳興蜀;王文賢;殷明勇;唐瑞;李沁東;蔣術語
• 申請（專利權）人: 四川大學
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08;G06F16/951
• 代理公司: 成都正華專利代理事務所(普通合伙) 51229
• 代理人: 李蕊

本發明公開了一種面向對等網絡流媒體的覆蓋網絡快照獲取方法及評價方法，該快照獲取方法包括構建面向對等網絡流媒體系統的分布式爬蟲系統，采用基于節點度排序和節點快照信息反饋機制的預設爬行算法采集目標頻道覆蓋網絡的節點快照，并利用節點快照拓撲微觀形變指數、節點快照拓撲宏觀穩定指數和覆蓋可控節點發現率對網絡快照的完整性進行評價。本發明能夠避免現有爬蟲系統采用單個爬蟲終端來采集覆蓋網絡快照信息帶來的爬行效率低下的問題，有效提高爬蟲系統的爬行效率，并且保證了爬行結果的完整性和準確性。

技術領域

本發明屬于計算機科學與技術中的網絡通信技術領域，具體涉及一種面向對等網絡流媒體的覆蓋網絡快照獲取方法及評價方法。

背景技術

近年來，針對對等網絡流媒體系統的測量研究受到了來自全球學術界的廣泛關注，研究內容已經涵蓋了用戶行為研究、拓撲結構研究、流量特征研究、安全機制研究等方面。這些研究工作為深入理解大規模對等網絡流媒體系統工作原理、系統架構、拓撲屬性、流量特征、安全問題等提供了重要的研究思路。其中，基于爬蟲技術的主動測量方法通過協議分析技術或逆向工程技術對特定對等網絡流媒體系統通信協議進行研究，在此基礎上設計爬蟲程序偽裝成正常的客戶端軟件加入特定覆蓋網絡以主動采集相關信息。由于基于爬蟲技術的主動測量方法可以準確和直接地獲取對等網絡流媒體系統的用戶信息，該方法被大量用于研究對等網絡覆蓋網的拓撲結構、用戶行為、地理分布、用戶規模、安全問題等內容，是目前針對對等網絡流媒體系統研究最為有效和主流的測量方法。在主動測量方法中，覆蓋網絡快照信息是最為重要的一類信息，它包含了某一時刻目標節目覆蓋網絡中單個節點的IP地址、端口號等基本信息，在線節點的規模和節點間的連接關系等。采集準確的覆蓋網節點快照是研究對等網絡流媒體系統中用戶動態行為特征和拓撲結構演化特征的基礎和前提。

由于對等網絡流媒體系統自身具有的大規模、自組織、高度動態等特性使得針對其的主動測量工作面臨巨大的挑戰：(1)對等網絡流媒體覆蓋網絡具有極強的動態特性，這要求采集節點信息的爬蟲程序快速地訪問對等網絡流媒體覆蓋網絡中的節點，但爬蟲程序的訪問速度不僅受限于自身的網絡訪問能力，還與其爬行過程中交互節點的網絡訪問速度有關，在爬蟲程序采集信息過程中，覆蓋網絡節點信息總會發生一定程度的變化；(2)對等網絡流媒體系統中存在一些不可達節點，節點可能在防火墻或者在NAT(Network AddressTranslator，網絡地址轉換)之后，這些節點本屬于對等網絡流媒體系統，但它們并不會對爬蟲程序發出的節點列表請求做任何響應并返回其鄰居節點信息，可能導致獲取覆蓋網絡節點信息數據并不完整。

目前，在面向對等網絡流媒體系統的主動測量研究中，絕大部分的爬蟲采用單個爬蟲終端來采集覆蓋網絡快照信息，在評價覆蓋網絡節點快照采集結果的準確性和完整性方面缺乏系統的指標體系。

發明內容

針對現有技術中存在的以上問題，本發明提供了一種提高爬蟲系統爬行效率及爬行結果完整性和準確性的面向對等網絡流媒體的覆蓋網絡快照獲取方法及評價方法。

為了達到上述發明目的，本發明采用的技術方案為：

一種面向對等網絡流媒體的覆蓋網絡快照獲取方法，包括以下步驟：

構建面向對等網絡流媒體系統的分布式爬蟲系統；

利用分布式爬蟲系統采用預設爬行算法采集目標頻道覆蓋網絡的節點快照。

進一步地，所述面向對等網絡流媒體系統的分布式爬蟲系統具體包括分別與對等網絡流媒體系統覆蓋網絡進行通信的多個節點列表服務器爬蟲模塊和多個普通節點信息爬蟲模塊，以及分別與節點列表服務器爬蟲模塊和普通節點信息爬蟲模塊進行網絡通信的爬蟲控制器模塊。

進一步地，所述爬蟲控制器模塊具體采用自適應調度算法將爬行任務動態分發給各個爬蟲模塊，動態調整爬行任務在各個爬蟲模塊的均衡運行，接收和處理各個爬蟲模塊反饋的爬行結果并將其保存到數據庫中；