[發明專利]一種基于hadoop的通用創建索引方法及系統

有效

• 申請號: 201310738719.0
• 申請日: 2013-12-26
• 公開（公告）號: CN103678691B
• 公開（公告）日: 2016-11-30
• 發明（設計）人: 王冬杰
• 申請（專利權）人: 世紀禾光科技發展(北京)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京慶峰財智知識產權代理事務所(普通合伙) 11417
• 代理人: 劉元霞

1.一種基于hadoop的創建索引的方法，其特征在于，

業務端服務將待索引數據載入HDFS文件系統，根據對所述數據和索引方式的配置，在該系統中分布式創建索引。

2.根據權利要求1所述的方法，包括以下步驟：

步驟一、檢索和存儲數據；

步驟二、配置和數據路徑指定；

步驟三、導入配置索引配置文件和數據解析格式；

步驟四、分布式讀取數據和寫入索引；

步驟五、合并索引。

3.根據權利要求2所述的方法，其中所述檢索和存儲數據包括：

業務端服務通過hadoop定期從業務數據中組織檢索服務需要的數據，

將檢索到的數據信息匯總整理成單條數據，并以通用的JSON格式，存儲到hadoop文件系統中的預定義存儲目錄，

在所述存儲目錄中，將所有數據按照特定邏輯分割成多個塊，然后存儲到所述存儲目錄下的子目錄中，以支持后續的索引創建服務的多任務執行。

4.根據權利要求3所述的方法，其中：

所述數據的JSON格式可以根據數據的實際信息量來確定。

5.根據權利要求2所述的方法，其中所述配置和數據路徑指定包括在通用索引系統中配置數據信息，以及數據中的信息索引方式。

6.根據權利要求5所述的方法，其中所述在通用索引系統中配置數據信息，以及數據中的信息索引方式包括，配置導入數據的索引方式，具體包括：

根據單行數據中的每列的檢索屬性，在schema文件中配置對應的屬性域信息，包括配置描述數據信息寫索引時的約束，

完成文件系統數據到索引數據之間的轉換，

將完成的上述配置上傳到hadoop文件系統中，用于建立索引。

7.根據權利要求6所述的方法，其中所述數據信息寫索引時的約束包括：

name項，用于描述該條數據中屬性域的名稱是ic，

type項，用于描述數據索引的類型，

indexed項，用于描述此條數據中屬性域是否參與索引，

stored項，用于描述此條數據中屬性域是否參與存儲，

required項，用于描述本屬性域是否為必需項。

8.根據權利要求7所述的方法，其中所述在通用索引系統中配置數據信息，以及數據中的信息索引方式還包括，配置schema文件路徑和泛解析JSON的java類路徑，以使系統自動解析JSON，并獲取數據的存儲目錄和數據到索引的解析文件。

9.根據權利要求2所述的方法，其中所述導入配置索引配置文件和數據解析格式包括：

針對不同數據類型單獨進行所述步驟二的配置操作，并將不同數據的配置文件置于通用系統的其他目錄，以使系統用于多種數據建立索引，

在針對特定類型的數據啟動建立索引前，將該類型數據的對應配置導入到系統的執行環境。

10.根據權利要求8所述的方法，其中所述分布式讀取數據和寫入索引包括：

通過hadoop創建多個并發子任務，每個子任務根據上述數據信息和索引方式的配置，到指定目錄讀取數據，

讀取數據后，根據上述數據信息和索引方式的配置，將JSON中的數據轉換為JAVA對象，從而將文件系統中一條完整的數據信息裝載到一個JAVA對象中，對象中的每個屬性對應于數據中的每個域的信息；

根據上述對schema文件配置，利用配置文件中配置每行信息中的屬性域的屬性，到JAVA中取對應的屬性的信息；

根據每行信息配置的屬性信息創建該項數據的域信息，并寫入索引文件；

將索引過程的小塊索引文件寫入配置文件中數據目錄下的相應目錄。

11.根據權利要求10所述的方法，其中在寫入索引文件時，

如果該行配置中的required項配置的是true，則當對象中沒有此屬性信息時，不加載此條數據；

如果required項配置的是false，則根據該行配置的type項、indexed項、store項信息創建該項數據的域信息并寫入索引文件。