[發明專利]用于對倒排索引進行壓縮的文檔序號重排方法及其系統

有效

• 申請號: 201210401317.7
• 申請日: 2012-10-19
• 公開（公告）號: CN102929988A
• 公開（公告）日: 2013-02-13
• 發明（設計）人: 史亮;王斌;衛冰潔;張帥;張冠元
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;梁揮

1.一種用于對倒排索引進行壓縮的文檔序號重排方法，其特征在于，包括：

步驟1，對已經分配好文檔序號的文檔進行詞語劃分得到詞項，對所述詞項按照其在所述文檔中的出現頻率進行升序、降序排列或對所述詞項不排列，得到第一順序的詞項；

步驟2，所述第一順序的詞項與所述文檔按照陣列排列，從第一個詞項開始對任意兩個文檔進行比較，如果滿足一個文檔存在該詞項、另一個文檔不存在該詞項的條件時，則存在該詞項的文檔排在另一個不存在該詞項的文檔之前，如果該兩個文檔均存在或均不存在該詞項，則比較下一個詞項直到滿足所述條件；排在后面的文檔與第三個文檔按照前述方法進行比較，直到所有文檔排列結束，從而得到所述文檔的最終排序；

步驟3，新的文檔序號按照所述文檔的最終排序進行重新分配。

2.如權利要求1所述的文檔序號重排方法，其特征在于，所述步驟1中：一個詞項在一個文檔中出現一次以上的情況記為出現頻率1次，在n個文檔中均出現一次以上的情況記為出現頻率n次。

3.一種用于對倒排索引進行壓縮的文檔序號重排方法，其特征在于，包括：

步驟1，對已經分配好文檔序號的文檔進行詞語劃分得到詞項，對所述詞項按照其在所述文檔中的出現頻率進行升序、降序排列或對所述詞項不排列，得到第一順序的詞項；

步驟2，所述第一順序的詞項與所述文檔按照陣列排列，從第一個詞項開始對前兩個文檔進行比較，如果滿足一個文檔存在該詞項、另一個文檔不存在該詞項的條件時，則存在該詞項的文檔排在另一個不存在該詞項的文檔之后，如果該兩個文檔均存在或均不存在該詞項，則比較下一個詞項直到滿足所述條件；排在前面的文檔與第三個文檔按照前述方法進行比較，直到所有文檔排列結束，從而得到所述文檔的最終排序；

步驟3，新的文檔序號按照所述文檔的最終排序進行重新分配。

4.如權利要求3所述的文檔序號重排方法，其特征在于，所述步驟1中：一個詞項在一個文檔中出現一次以上的情況記為出現頻率1次，在n個文檔中均出現一次以上的情況記為出現頻率n次。

5.一種用于對倒排索引進行壓縮的文檔序號重排系統，其特征在于，包括：

詞項排序模塊，用于對已經分配好文檔序號的文檔進行詞語劃分得到詞項，對所述詞項按照其在所述文檔中的出現頻率進行升序、降序排列或對所述詞項不排列，得到第一順序的詞項；

文檔排序模塊，用于將所述第一順序的詞項與所述文檔按照陣列排列，從第一個詞項對前兩個文檔進行比較，如果滿足一個文檔存在該詞項、另一個文檔不存在該詞項的條件時，則存在該詞項的文檔排在另一個不存在該詞項的文檔之前，如果該兩個文檔均存在或均不存在該詞項，則比較下一個詞項直到滿足所述條件；排在后面的文檔與第三個文檔按照前述方法進行比較，直到所有文檔比較結束，得到所述文檔的最終排序；

文檔序號分配模塊，新的文檔序號按照所述文檔的最終排序進行重新分配。

6.如權利要求5所述的文檔序號重排系統，其特征在于，所述詞項排序模塊中：一個詞項在一個文檔中出現一次以上的情況記為出現頻率1次，在n個文檔中均出現一次以上的情況記為出現頻率n次。

7.一種用于對倒排索引進行壓縮的文檔序號重排系統，其特征在于，包括：

詞項排序模塊，用于對已經分配好文檔序號的文檔進行詞語劃分得到詞項，對所述詞項按照其在所述文檔中的出現頻率進行升序、降序排列或對所述詞項不排列，得到第一順序的詞項；

文檔排序模塊，用于將所述第一順序的詞項與所述文檔按照陣列排列，從第一個詞項對前兩個文檔進行比較，如果滿足一個文檔存在該詞項、另一個文檔不存在該詞項的條件時，則存在該詞項的文檔排在另一個不存在該詞項的文檔之后，如果該兩個文檔均存在或均不存在該詞項，則比較下一個詞項直到滿足所述條件；排在前面的文檔與第三個文檔按照前述方法進行比較，直到所有文檔比較結束，得到所述文檔的最終排序；

文檔序號分配模塊，新的文檔序號按照所述文檔的最終排序進行重新分配。

8.如權利要求7所述的文檔序號重排系統，其特征在于，所述詞項排序模塊中：一個詞項在一個文檔中出現一次以上的情況記為出現頻率1次，在n個文檔中均出現一次以上的情況記為出現頻率n次。