[發明專利]數據索引裝置和數據索引方法

無效

• 申請號: 201210491024.2
• 申請日: 2012-11-27
• 公開（公告）號: CN102945286A
• 公開（公告）日: 2013-02-27
• 發明（設計）人: 趙興成
• 申請（專利權）人: 深圳中興網信科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京友聯知識產權代理事務所(普通合伙) 11343
• 代理人: 尚志峰;汪海屏

技術領域

本發明涉及數據處理領域，具體而言，涉及一種數據索引裝置和數據索引方法。

背景技術

隨著網絡技術的發展，特別是互聯網和企業內部網技術的飛快發展，使得半結構化數據的數量日趨增大。目前，對半結構化數據的處理主要是做結構化處理，進行結構化處理耗時較長，隨著數據結構越來越來越復雜，結構化處理將越來越不適合產品應用。

因此，需要一種新的技術方案，可以使得在處理半結構化數據時，避免對其進行結構化處理時產生的耗時長等問題，而可以采取更好的方法對半結構化數據進行處理。

發明內容

本發明正是基于上述問題，提出了一種新的技術方案，可以使得在處理半結構化數據時，避免對其進行結構化處理時產生的耗時長等問題，而可以采取更好的方法對半結構化數據進行處理。

有鑒于此，本發明提出了一種數據索引裝置，包括：讀取單元，讀取半結構化數據，判斷所述半結構化數據中是否有與索引字段相匹配的字符串；標記單元，將所述字符串與索引字段相匹配的字段標記為符合字段，并在所述符合字段加入標簽；索引建立單元，搜索引擎根據所述標簽查找到需要索引的字段，并建立索引。

在該技術方案中，在處理半結構化數據時，將半結構化數據中與索引字段匹配的字段加上標簽，在搜索引擎建立索引時，找到與需要索引的字段相匹配的標簽即可，而不必再對數據進行結構化處理，從而方便搜索引擎建立索引，使得搜索引擎的實時性有了更大的提升。

在上述技術方案中，優選地，還包括：轉存單元，在所述讀取單元讀取完所述半結構化數據以后，將所有已加入標簽的數據轉存到索引目錄中。

在該技術方案中，在對半結構化數據進行遍歷以后，將所有已加標簽的數據都存到索引目錄，這樣搜索引擎在建立索引時，只從索引目錄中查找與其搜索內容匹配的標簽即可，而不必在所有半結構化數據中進行查找匹配，從而縮短了查找時間，能夠更快速地為搜索引擎提供數據源。

在上述技術方案中，優選地，所述標簽包括標簽標識、字段位置及字段信息。

在該技術方案中，加入到符合字段的標簽上除了包含標簽標識外，還包括字段位置和字段信息，搜索引擎在建立索引時，根據標簽位置及標簽信息即可找到與其搜索內容匹配的標簽。

在上述技術方案中，優選地，所述字段位置包括字段偏移量，所述字段信息包括字段名稱。

在該技術方案中，具體地，字段位置包括字段的偏移量，字段信息包括字段名稱，搜索引擎在建立索引時，根據索引內容找到與其匹配的字段名稱，再根據標簽中字段名稱對應的字段偏移量，找到字段，從而建立索引。

在上述技術方案中，優選地，所述索引目錄中包括多種數據源格式的數據。

本發明的技術方案可以適用于多種數據源格式。

根據本發明的又一方面，還提供了一種數據索引方法，包括：步驟202，讀取半結構化數據，判斷所述半結構化數據中是否有與索引字段相匹配的字符串；步驟204，將所述字符串與索引字段相匹配的字段標記為符合字段，并在所述符合字段加入標簽；步驟206，搜索引擎根據所述標簽查找到需要索引的字段，并建立索引。

在該技術方案中，在處理半結構化數據時，將半結構化數據中與索引字段匹配的字段加上標簽，在搜索引擎建立索引時，找到與需要索引的字段相匹配的標簽即可，從而方便搜索引擎建立索引，使得搜索引擎的實時性有更大的提升。

在上述技術方案中，優選地，所述步驟206還包括：在讀取完所述半結構化數據以后，將所有已加入標簽的數據轉存到索引目錄中。

在該技術方案中，在對半結構化數據進行遍歷以后，將所有已加標簽的數據都存到索引目錄，這樣搜索引擎在建立索引時，只從索引目錄中查找與其搜索內容匹配的標簽即可，而不必在所有半結構化數據中進行查找匹配，從而縮短了查找時間，能夠更快速的為搜索引擎提供數據源。

在上述技術方案中，優選地，所述標簽包括標簽標識、字段位置及字段信息。

在該技術方案中，加入到符合字段的標簽上除了包含標簽標識外，還包括字段位置和字段信息，搜索引擎在建立索引時，根據標簽位置及標簽信息即可找到與其搜索內容匹配的標簽。

在上述技術方案中，優選地，所述字段位置包括字段偏移量，所述字段信息包括字段名稱。

在該技術方案中，具體地，字段位置包括字段的偏移量，字段信息包括字段名稱，搜索引擎在建立索引時，根據索引內容找到與其匹配的字段名稱，再根據標簽中字段名稱對應的字段偏移量，找到字段，從而建立索引。

在上述技術方案中，優選地，所述索引目錄中包括多種數據源格式的數據。