[發明專利]一種針對關鍵詞的網絡文檔搜索引擎框架

在審

• 申請號: 201710419745.5
• 申請日: 2017-06-08
• 公開（公告）號: CN107145603A
• 公開（公告）日: 2017-09-08
• 發明（設計）人: 張軍;徐苛;陳曉峰
• 申請（專利權）人: 上海德衡數據科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F12/0893;H04L29/08;G06F9/50
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種針對關鍵詞的網絡文檔搜索引擎框架

背景技術

目前搜索引擎只針對文本進行搜索，還不能有效對音樂、圖片和視頻等多媒體文件進行搜索，原因主要是多媒體數據量太大；如何索引多媒體文件；進而對處理過的多媒體文件檢索。現在因特網上有大量的多媒體文件，特別是社交網站和多媒體分享的興起，需要對多媒體文件進行精準檢索。

網絡爬蟲，也稱網絡蜘蛛、網絡機器人，是一個自動提取網頁的程序，它從因特網上下載網頁，是搜索引擎的重要組成部分。網絡爬蟲利用標準的HTTP協議，根據超級鏈接和網絡文檔檢索的方法遍歷因特網信息空間。因特網上有數千種不同的數據類型，HTTP給每種要通過網絡傳輸的對象都打上了名為MIME類型的數據格式標簽。統一資源定位符(URL)是資源標識符最常見的形式。URL描述了一臺特定服務器上某資源的特定位置。元素文件(METAFILE)可提供有關頁面的元信息，如針對搜索引擎和更新頻度的描述和關鍵詞，可針對元素的關鍵詞進行索引。

UDP是OSI參考模型中一種無連接的傳輸層協議，它主要用于不要求分組順序到達的傳輸中，分組傳輸順序的檢查與排序由應用層完成，提供面向事務的簡單不可靠信息傳送服務。網絡文檔關鍵詞可通過UDP進行下載，因為UDP具有TCP所望塵莫及的速度優勢。

要對網絡文檔進行精準檢索，首先要提供高可用的負載均衡服務器集群，存儲標注的網絡文檔；其次要有一套分布式內存對象緩存系統，作為代理服務器，用于在動態系統中減少數據庫負載，實現對網絡文檔的爬取索引。

網絡搜索的數據往往是高維的，其維數甚至達到百萬數量級。發現和利用高維數據中的低維結構，在網絡搜索中顯得尤為重要。另外，在網絡搜索中，人們只能觀察到少量元素，希望根據這些有限的信息，能夠猜測出未看到的大量元素，從而恢復一個未知的低秩矩陣或近似低秩矩陣。

假定已知數據已排列成一高維數據或樣本矩陣。估計一低維子空間的問題稱為低秩矩陣逼近。當低秩矩陣或樣本矩陣的某些元素被嚴重損壞時，能夠自動識別被損壞的元素，精確地恢復原低秩矩陣。在網絡搜索中，需要將一個數據矩陣分解為一個低秩矩陣與一個稀疏矩陣之和，并且希望同時恢復低秩矩陣與稀疏矩陣，以實現基于語義的精準檢索。

本發明提供了一種針對關鍵詞的網絡文檔搜索引擎框架，構建一套分布式內存對象緩存系統，作為代理服務器，用于在動態系統中減少數據庫負載；通過METAFILE的鏈路，實現對URL和關鍵詞的提取及索引并建立URL與關鍵詞映射；構建高可用的負載均衡服務器集群，存儲已索引的URL和關鍵詞；利用關鍵詞，對指向網絡文檔地址的URL，進行基于語義的精準檢索。

發明內容

本發明的目的在于提供一種針對關鍵詞的網絡文檔搜索引擎框架。本發明包括以下特征：

發明技術方案

1.一種針對關鍵詞的網絡文檔搜索引擎框架，其具體步驟如下：

1)構建一套分布式內存對象緩存系統，作為代理服務器，用于在動態系統中減少數據庫負載；

2)通過METAFILE的鏈路，實現對URL和關鍵詞的提取及索引并建立URL與關鍵詞映射；

3)構建高可用的負載均衡服務器集群，存儲已索引的URL和關鍵詞；

4)利用關鍵詞，對指向網絡文檔地址的URL，進行基于語義的精準檢索。

附圖說明

圖1是針對關鍵詞的網絡文檔搜索引擎框架圖；圖2是一致性散列算法的原理圖；圖3是高可用的LVS集群拓撲結構圖。

具體實施方式

這種針對關鍵詞的網絡文檔搜索引擎框架，包括如下步驟：

1)構建一套分布式內存對象緩存系統，作為代理服務器見附圖2，用于在動態系統中減少數據庫負載；

2)通過METAFILE的鏈路，實現對URL和關鍵詞的提取及索引并建立URL與關鍵詞映射；

3)構建高可用的負載均衡服務器集群見附圖3，存儲已索引的URL和關鍵詞；

4)利用關鍵詞，對指向網絡文檔地址的URL，進行基于語義的精準檢索。