[發明專利]面向高并發檢索系統的目錄分發方法及網絡架構

有效

• 申請號: 200910088907.7
• 申請日: 2009-07-13
• 公開（公告）號: CN101599995A
• 公開（公告）日: 2009-12-09
• 發明（設計）人: 王永濱;馮爽;曹軼臻
• 申請（專利權）人: 中國傳媒大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 北京思海天達知識產權代理有限公司
• 代理人: 劉 萍

技術領域：

本發明成果可用于各種大中型多媒體信息檢索系統中，降低硬件成本的 同時提高系統性能和可擴展性。通過構建P2P重疊網絡，將用戶常用的檢索 信息組織成目錄文件，并在該網絡中傳輸，用戶在進行檢索時，僅獲取本地 目錄文件即可完成初步檢索，從而極大的減輕了服務器的壓力，改善用戶體 驗。本發明成果屬于計算機網絡技術領域。

背景技術

隨著民眾對視頻節目創作熱情的不斷高漲，視頻節目源的質量日益提高， 并傾向于通過互聯網創作和分享，土豆網、優酷網等視頻分享網站的迅速發 展證明了這一點。個人制作和發布媒體內容，不僅僅需要制作工具，還需要 海量的媒體素材。讓用戶準確、迅速地從海量素材中檢索到自己想要的素材， 是多媒體信息檢索系統需要解決的主要問題。

在很多大型的信息檢索系統中，最完整最新的數據都存在于集中服務器 中，互聯網不斷擴大的規模，日益增長的用戶群，以及Web2.0的興起，對集 中式檢索系統提出了新的要求，即

1)高性能和高可擴展性。大規模的訪問量對服務的性能提出了非常高 的要求。更為重要的是，互聯網受眾的廣泛性，使得成功的互聯 網服務的訪問量增長潛力和速度非常大，因此服務系統必須具有非 常好的可擴展性，以應付將來可能的服務增長。

2)支持高度并發的訪問。高度并發的訪問對服務的存儲與并發能力提 出了很高的要求，當前主流的超標量和超流水線處理器能處理的并 發請求數是有限的，因為隨著并發數的上升，進程調度的開銷會很 快上升。

3)高可用性。互聯網服務的全球性決定了其每天24小時都會有用戶 訪問，因此任何服務的停止都會對用戶造成影響。

目前解決大型網站面臨的高負載和高并發問題普遍采用高性能的服務 器、高性能的數據庫、高效率的編程語言以及高性能的Web容器。然而這些 解決思路在一定程度上也意味著更大的投入，并且這樣的解決思路沒有很好 的擴展性。

對等網絡(P2P)模型打破了傳統的客戶/服務器模式，它以用戶為中心， 每個節點的地位都是相同的，既充當服務器為其他節點提供服務，同時也充 當客戶機享用其他節點提供的服務。在P2P網絡中，檢索內容需要分布式存 儲在各個peer節點中，但對于節點頻繁加入退出的P2P網絡，維護P2P網絡 將占用peer節點的大部分系統資源。

本發明利用P2P的互服務性和高度可擴展性，結合集中式檢索的高效性， 通過構建P2P重疊網絡，將用戶的檢索請求分布到peer節點中，從而減輕集 中式檢索服務器的訪問壓力，降低成本。

發明內容

本發明根據用戶視頻檢索的行為特點，提出了一種將基于服務器的集中 式檢索與基于目錄分發的分布式檢索相結合的檢索方式，充分利用各個用戶 節點的服務能力，在用戶節點資源空閑時完成目錄文件一致性更新，確保用 戶在檢索時得到與檢索服務器一致的數據。用戶在進行檢索時，首先通過讀 取本地目錄文件尋找所需要的檢索結果，僅當目錄文件不能滿足用戶需求時 采用基于檢索服務器的集中式檢索，從而既保證了檢索響應時間，改善用戶 體驗，又保證檢索結果的準確性與完整性。

本發明提供了面向高并發檢索系統的網絡架構，如附圖1，其特征在于， 由以下組成：

該網絡架構的上層為集中式，下層為非結構化純P2P網絡；P2P網絡根據 索引服務器服務能力分為若干區域，每個區域包括超級節點、備份超級節點、 若干普通節點；

1、上層的集中式包括檢索服務器，索引服務器，存儲系統；

RS(Retrieval?Server)：檢索服務器，是被檢索數據的發布源，擁有最新版 本的數據，負責響應用戶檢索請求以及生成目錄文件。

IS(Index?Server)：索引服務器，至少記錄了所有區域的物理位置信息， 新加入節點根據區域信息快速定位所屬區域。

SS(Store?System)：存儲系統。至少存儲了所需檢索的媒體素材文件。 每個媒體文件具有唯一的文件存儲ID。用戶在檢索到所需內容后，通過檢索 提供的文件存儲ID到存儲系統中下載。

2、下層的非結構化純P2P網絡包括超級節點、備份超級節點、普通節點。

SP(Super?Peer)：超級節點。P2P網絡的每個區域中會根據選舉算法動態 選舉出一個優先級最高的節點作為超級節點，它代表了一個區域，SP至少包 括以下職責：