[發明專利]信息檢索向量空間模型硬件化實現方法

無效

• 申請號: 200810059855.6
• 申請日: 2008-02-22
• 公開（公告）號: CN101271467A
• 公開（公告）日: 2008-09-24
• 發明（設計）人: 陳天洲;鄭臻煒;黃江偉;施清松
• 申請（專利權）人: 浙江大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州求是專利事務所有限公司
• 代理人: 林懷禹

技術領域

本發明涉及信息檢索領域和定制化硬件領域，特別是涉及一種信息檢索向量空間模型硬件化實現方法。

背景技術

在信息檢索領域，信息檢索服務系統的任務有：(1)獲取無結構化的文檔，做一定的標準化處理，(2)將獲取的文檔維護在一個海量文檔庫中，(3)響應用戶的查詢請求，從文檔庫中找到與查詢關鍵字匹配度最高的文檔，返回給用戶。這三個任務中，其中(3)對效率的要求最高，要求系統能夠在最短的時間內響應用戶的請求。

向量空間模型是信息檢索業界最廣泛使用的模型。該模型中，文檔中有意義的詞條的字段被提取出來，文檔庫中的所有文檔的所以字段的合集就構成了向量空間，其中每個字段就是向量空間中的一維。一個文檔就是可以由其字段確定為空間的一個向量，而一個查詢也可以由其關鍵詞字段確定為空間的一個向量。在向量空間模型中，查詢的過程就是尋找空間中與查詢向量距離最近的文檔向量。

在向量空間模型中，計算文檔與查詢向量之間的距離，一般采用權重的計算方式，即對于查詢中的每一個字段，計算每一個文檔相對于該特定字段的權重，然后找出權重最大的一部分文檔返回。其權重計算公式如下：

W＝TF·IDF

IDF＝ln(N/n)

其中W表示一個文檔對于特定字段的權重

TF表示特定字段在文檔中出現的頻率

IDF表示逆文檔頻率，其計算公式中，N表示所以文檔的總數，n表示所以文檔中，具有特定字段的文檔的個數。然后進行自然對數操作。

TF的意義在于，特定字段在一個文檔中出現的頻率越高，該文檔相對于特定字段的權重越大；IDF的意義在于，特定字段在所有其他文檔中出現的頻率越低，說明在目標文檔中該特定字段越具有代表性。然而，無論如何，計算一個字段在一個文檔中的出現頻率在向量空間模型中占據了巨大的計算資源，這提出了對次特定任務做硬件化加速的需求。

在定制硬件領域，硬件化的任務可以由特定硬件部件或者硬件知識產權核來完成，其優點是在硬件級別對特定任務做優化，在硬件級消除多余指令和操作，加速系統的關鍵任務和操作，提高系統效率。其關鍵是提煉系統的關鍵任務，加以硬件化實現。

發明內容

本發明的目的在于提供一種信息檢索向量空間模型硬件化實現方法。

本發明解決其技術問題所采用的技術方案如下：

1)硬件化數據準備：

為了進行硬件化的操作，先要將查詢的字段和文檔的數據做處理以適應硬件化處理的要求；

字段和文檔都被轉化成二進制數據；其中，字段所需要的額外數據是字段的長度以便硬件的處理；根據硬件處理的要求，文檔會被劃分成若干部分，每部分都是一個字段的集合，同時包括每部分文檔中的字段數量，各個字段在每文檔中的偏移量數組；

2)發送數據到本地存儲設備：

數據準備完成之后，就可以把向量空間模型中字段在文檔中出現頻率統計的計算在硬件上完成；

為了進一步提高硬件效率，統計硬件需要有本地存儲支持，把一個待比較的目標字段同目標文檔，以及字段的長度、文檔字段數和文檔字段偏移數據發送到本地存儲，這些數據被放到固定位置上，以便硬件上的處理；

3)字段的比較過程：

當數據被發送到本地存儲之后，就開始了硬件化的字段比較過程，該過程反復進行，直到本地存儲中的文檔字段全部完成比較；

一次的比較過程是這樣的：目標字段被取到字段寄存器，同時有一個計數器計數到當前處理到了文檔中的字段，文檔中的字段被取到文檔寄存器，然后開始硬件的比較過程；

4)字段超長的處理：

因為寄存器是定長的，不能設計成符合字段最長情況下的長度，這樣會造成硬件的浪費，而且字段的長度具有不可預料性，所以會出現字段長度超過字段寄存器的情況；

字段超長情況下，每次比較字段中的一部分數據，每次在字段內部進行偏移，合成多次比較結果，完成一個字段的比較；

5)相似度比較結果統計：

每完成一次文檔中字段與目標字段的比較過程，就要進行一次基于相似度的比較結果統計，該步驟是基于硬件并行完成的；

本方法有一個相似度的閾值，超過這個閾值的相似度比較結果，可以被認為是相同的字段，從而引發計數器，統計目標字段的出現頻率。

本發明與背景技術相比，具有的有益的效果是：

本發明對信息檢索向量空間模型提供了硬件化的支持，通過特化硬件來進行字段頻率的統計操作，其好處在于：硬件上并發字段比較過程；特化硬件具有高計算密度，減小計算資源浪費；特化硬件本身可以并發，提高并發度；具有硬件存儲系統支持；均大幅度提高了信息檢索系統的效率。