[發明專利]一種在大數據集群中查詢索引的方法和裝置

在審

• 申請號: 201710549552.1
• 申請日: 2017-07-07
• 公開（公告）號: CN107436923A
• 公開（公告）日: 2017-12-05
• 發明（設計）人: 李遠策;李振煒
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市隆安律師事務所11323
• 代理人: 權鮮枝,何立春

1.一種在大數據集群中查詢索引的方法，其中，大數據集群中的一個或多個物理節點上存儲有索引文件，在存儲索引文件的物理節點上配置有查詢索引服務，該方法包括：

接收查詢索引任務；

確定該查詢索引任務對應的索引文件所在的物理節點；

將所述查詢索引任務轉發給該物理節點上的查詢索引服務，接收所述查詢索引服務完成所述查詢索引任務并返回的查詢結果。

2.如權利要求1所述的方法，其中，

各索引文件在大數據集群中的第一預設數量的物理節點中存儲，每個物理節點中存儲有該索引文件的一份副本。

3.如權利要求2所述的方法，其中，

所述大數據集群中部署有分布式文件系統，在所述分布式文件系統的名稱節點中，對應記錄了各索引文件的各副本所在的物理節點與該索引文件的URL地址；

所述確定該查詢索引任務對應的索引文件所在的物理節點包括：向所述名稱節點發送包含索引文件的URL地址的查詢請求，接收所述名稱節點返回的存儲該索引文件的各副本的各物理節點。

4.如權利要求3所述的方法，其中，所述將所述查詢索引任務轉發給該物理節點上的查詢索引服務包括：當所述名稱節點返回的物理節點有多個時，從接收到的一個或多個物理節點中，隨機選擇第二預設數量的物理節點，向選擇的物理節點上的查詢索引服務轉發查詢索引任務；其中，第二預設數量不大于第一預設數量。

5.如權利要求4所述的方法，其中，該方法還包括：

當第二預設數量大于一時，將首個接收到的查詢結果作為最終查詢結果。

6.如權利要求1-5中任一項所述的方法，其中，

所述查詢索引任務是提交到大數據集群中的任務的子任務，所述查詢索引任務中包括索引文件的URL地址。

7.一種在大數據集群中查詢索引的裝置，其中，大數據集群中的一個或多個物理節點上存儲有索引文件，在存儲索引文件的物理節點上配置有查詢索引服務，該裝置包括：

任務接收單元，適于接收查詢索引任務；

索引文件定位單元，適于確定該查詢索引任務對應的索引文件所在的物理節點；

查詢單元，適于將所述查詢索引任務轉發給該物理節點上的查詢索引服務，接收所述查詢索引服務完成所述查詢索引任務并返回的查詢結果。

8.如權利要求7所述的裝置，其中，各索引文件在大數據集群中的第一預設數量的物理節點中存儲，每個物理節點中存儲有該索引文件的一份副本。

9.如權利要求8所述的裝置，其中，所述大數據集群中部署有分布式文件系統，在所述分布式文件系統的名稱節點中，對應記錄了各索引文件的各副本所在的物理節點與該索引文件的URL地址；

所述索引文件定位單元，適于向所述名稱節點發送包含索引文件的URL地址的查詢請求，接收所述名稱節點返回的存儲該索引文件的各副本的各物理節點。

10.如權利要求9所述的裝置，其中，所述索引文件定位單元，適于當所述名稱節點返回的物理節點有多個時，從接收到的一個或多個物理節點中，隨機選擇第二預設數量的物理節點，向選擇的物理節點上的查詢索引服務轉發查詢索引任務；其中，第二預設數量不大于第一預設數量。