[發明專利]面向對等網絡流媒體的覆蓋網絡快照獲取方法及評價方法

有效

• 申請號: 202010134288.7
• 申請日: 2020-03-02
• 公開（公告）號: CN111314156B
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 王海舟;陳興蜀;王文賢;殷明勇;唐瑞;李沁東;蔣術語
• 申請（專利權）人: 四川大學
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08;G06F16/951
• 代理公司: 成都正華專利代理事務所(普通合伙) 51229
• 代理人: 李蕊

1.一種面向對等網絡流媒體的覆蓋網絡快照獲取方法及評價方法，其特征在于，包括以下步驟：

構建面向對等網絡流媒體系統的分布式爬蟲系統；

利用分布式爬蟲系統采用預設爬行算法采集目標頻道覆蓋網絡的節點快照，具體包括以下分步驟：

(1)利用節點列表服務器爬蟲模塊首先向頻道播放鏈接解析模塊提供的節點列表服務器發送節點列表請求，獲得爬行所需的種子節點；

(2)利用普通節點信息爬蟲模塊將采集的種子節點存入已發現節點隊列中，并將其標記為尚未訪問的節點，然后依次向尚未訪問的節點發送節點列表請求，最后將已請求過節點列表的節點標記為已訪問節點同時存儲到已訪問節點隊列；

(3)當目標節點返回其擁有的節點列表后，利用普通節點信息爬蟲模塊將收到節點列表中不重復的新節點加入已發現節點隊列的隊尾；

(4)利用普通節點信息爬蟲模塊不斷向已發現節點隊列中尚未訪問的節點發送節點列表請求以獲取其擁有的伙伴節點信息，直至當前請求的節點為已發現節點隊列的最后一個節點時整個爬行過程結束；

基于節點快照拓撲形變指數、節點快照拓撲穩定指數和覆蓋網絡可控節點發現率對覆蓋網絡快照采集效率和采集結果完整性進行評價；

所述分布式爬蟲系統的爬行效率表示為：

其中，為爬蟲終端的爬行效率，ρ為爬蟲終端采集的目標頻道覆蓋網絡節點快照完整度，T_c為爬蟲終端爬行頻道c覆蓋網絡的總耗時，S_c為頻道c覆蓋網絡中的真實節點快照，為爬蟲終端在第t秒鐘采集的頻道c覆蓋網絡節點快照；

設定位于位置A和B的分布式爬蟲系統各自在第i輪采集兩個節點快照和其中為目標頻道覆蓋網絡中的節點集合，為目標頻道覆蓋網絡中節點之間的關系邊集合，則節點快照和中節點元素的差異性表示為邊關系的差異性表示為節點快照和拓撲形變指數γⁱ表示為：

對節點快照和中節點元素基于節點度大小進行排序，分別獲得節點度從大到小排列的節點分布序列P_a和P_b，取集合P_a和P_b中排名的前k個節點對應的節點度大小構成樣本則節點快照和的拓撲結構穩定性指數χⁱ表示為：

其中，表示集合P_a中排第j個節點的度大小，表示集合P_b中排第j個節點的度大小，表示集合P_a中排名前k個節點對應的節點度平均值，表示集合P_b中排名前k個節點對應的節點度平均值；

分別在爬蟲模塊所在地各部署n個可控節點，所述可控節點設置有不同的獨立IP地址和端口號，令C＝C_a∪C_b∪C_c，C_a、C_b和C_c分別表示三個不同地理位置部署的可控節點集合，則分布式爬蟲系統采集N個節點快照的可控節點發現率ψ表示為：

2.如權利要求1所述的面向對等網絡流媒體的覆蓋網絡快照獲取方法及評價方法，其特征在于，所述面向對等網絡流媒體系統的分布式爬蟲系統具體包括分別與對等網絡流媒體系統覆蓋網絡進行通信的多個節點列表服務器爬蟲模塊和多個普通節點信息爬蟲模塊，以及分別與節點列表服務器爬蟲模塊和普通節點信息爬蟲模塊進行網絡通信的爬蟲控制器模塊。

3.如權利要求2所述的面向對等網絡流媒體的覆蓋網絡快照獲取方法及評價方法，其特征在于，所述爬蟲控制器模塊具體采用自適應調度算法將爬行任務動態分發給各個爬蟲模塊，動態調整爬行任務在各個爬蟲模塊的均衡運行，接收和處理各個爬蟲模塊反饋的爬行結果并將其保存到數據庫中；

所述節點列表服務器爬蟲模塊首先解析頻道播放鏈接獲取該頻道的節點列表服務器地址和服務端口號，然后利用逆向工程方法獲得的對等網絡流媒體系統通信協議知識構造與普通客戶端相同的節點列表請求報文，不斷向節點列表服務器發送節點列表請求報文，采集目標頻道覆蓋網節點信息；

所述普通節點信息爬蟲模塊在節點列表服務器爬蟲模塊完成對目標頻道的采集后，對所有節點發送節點列表請求以獲得目標節點維護的節點列表信息，最后將所有采集的節點信息進行去重，獲得目標頻道的最終節點信息并形成節點快照存入到數據庫中。