[發明專利]信息檢索向量空間模型硬件化實現方法

無效

• 申請號: 200810059855.6
• 申請日: 2008-02-22
• 公開（公告）號: CN101271467A
• 公開（公告）日: 2008-09-24
• 發明（設計）人: 陳天洲;鄭臻煒;黃江偉;施清松
• 申請（專利權）人: 浙江大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州求是專利事務所有限公司
• 代理人: 林懷禹

1.一種信息檢索向量空間模型硬件化實現方法，其特征在于：

1)硬件化數據準備：

為了進行硬件化的操作，先要將查詢的字段和文檔的數據做處理以適應硬件化處理的要求；

字段和文檔都被轉化成二進制數據；其中，字段所需要的額外數據是字段的長度以便硬件的處理；根據硬件處理的要求，文檔會被劃分成若干部分，每部分都是一個字段的集合，同時包括每部分文檔中的字段數量，各個字段在每文檔中的偏移量數組；

2)發送數據到本地存儲設備：

數據準備完成之后，就可以把向量空間模型中字段在文檔中出現頻率統計的計算在硬件上完成；

為了進一步提高硬件效率，統計硬件需要有本地存儲支持，把一個待比較的目標字段同目標文檔，以及字段的長度、文檔字段數和文檔字段偏移數據發送到本地存儲，這些數據被放到固定位置上，以便硬件上的處理；

3)字段的比較過程：

當數據被發送到本地存儲之后，就開始了硬件化的字段比較過程，該過程反復進行，直到本地存儲中的文檔字段全部完成比較；

一次的比較過程是這樣的：目標字段被取到字段寄存器，同時有一個計數器計數到當前處理到了文檔中的字段，文檔中的字段被取到文檔寄存器，然后開始硬件的比較過程；

4)字段超長的處理：

因為寄存器是定長的，不能設計成符合字段最長情況下的長度，這樣會造成硬件的浪費，而且字段的長度具有不可預料性，所以會出現字段長度超過字段寄存器的情況；

字段超長情況下，每次比較字段中的一部分數據，每次在字段內部進行偏移，合成多次比較結果，完成一個字段的比較；

5)相似度比較結果統計：

每完成一次文檔中字段與目標字段的比較過程，就要進行一次基于相似度的比較結果統計，該步驟是基于硬件并行完成的；

本方法有一個相似度的閾值，超過這個閾值的相似度比較結果，可以被認為是相同的字段，從而引發計數器，統計目標字段的出現頻率。