[發明專利]基于Elasticsearch的數據處理方法、系統、計算機及可讀存儲介質

在審

• 申請號: 202011582357.7
• 申請日: 2020-12-28
• 公開（公告）號: CN112612905A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 杜芳
• 申請（專利權）人: 北京明略軟件系統有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/31;G06F16/51;G06F16/58;G06F16/28
• 代理公司: 青島清泰聯信知識產權代理有限公司 37256
• 代理人: 趙燕

1.一種基于Elasticsearch的數據處理方法，其特征在于，包括：

數據獲取步驟，用于獲取待處理源數據并抽取所述待處理源數據中的實體數據、關系數據；

索引存儲步驟，用于基于Elasticsearch的樂觀鎖并發寫入操作分別將所述實體數據、關系數據進行索引存儲，得到至少一實體索引和關系索引，其中，每一所述實體索引對應多個實體文檔，每一所述關系索引對應多個關系文檔；

實體檢索步驟，用于基于獲取待檢索實體信息并基于所述待檢索實體在所述實體索引中進行檢索，得到與所述待檢索實體信息匹配的實體或實體集合。

2.根據權利要求1所述的基于Elasticsearch的數據處理方法，其特征在于，進一步包括：圖譜構建步驟，用于獲取所述實體集合中實體ID，根據所述關系索引對所述實體ID進行關系拓展，以構建圖譜。

3.根據權利要求1或2所述的基于Elasticsearch的數據處理方法，其特征在于，所述實體檢索步驟進一步包括：

屬性值檢索步驟，用于獲取待檢索實體信息中實體屬性值，并通過檢索屬性值獲取匹配所述屬性值的實體集合；

實體ID檢索步驟，用于獲取待檢索實體信息中實體ID，并通過檢索所述實體ID獲取匹配所述實體ID的實體；

主鍵值檢索步驟，用于獲取待檢索的實體信息中唯一標識，并通過檢索所述唯一標識獲取匹配所述唯一標識的實體。

4.根據權利要求2所述的基于Elasticsearch的數據處理方法，其特征在于，所述圖譜構建步驟進一步包括：

關系擴展步驟，用于通過檢索所述關系索引中的主體實體ID和/或客體實體ID獲取匹配主體實體ID和/或客體實體ID的關系，并從獲取的關系中獲取關系的對端實體ID，以根據所述對端實體ID進行實體檢索，擴展所述關系對端的實體信息；

循環步驟，用于循環執行所述關系擴展步驟，以擴展實體的全部關系及實體構成的圖譜數據。

5.一種基于Elasticsearch的數據處理系統，其特征在于，包括：

數據獲取模塊，用于獲取待處理源數據并抽取所述待處理源數據中的實體數據、關系數據；

索引存儲模塊，用于基于Elasticsearch的樂觀鎖并發寫入操作分別將所述實體數據、關系數據進行索引存儲，得到至少一實體索引和關系索引，其中，每一所述實體索引對應多個實體文檔，每一所述關系索引對應多個關系文檔；

實體檢索模塊，用于基于獲取待檢索實體信息并基于所述待檢索實體在所述實體索引中進行檢索，得到與所述待檢索實體信息匹配的實體或實體集合。

6.根據權利要求5所述的基于Elasticsearch的數據處理系統，其特征在于，進一步包括：圖譜構建模塊，用于獲取所述實體集合中實體ID，根據所述關系索引對所述實體ID進行關系拓展，以構建圖譜。

7.根據權利要求5或6所述的基于Elasticsearch的數據處理系統，其特征在于，所述實體檢索模塊進一步包括：

屬性值檢索模塊，用于獲取待檢索實體信息中實體屬性值，并通過檢索屬性值獲取匹配所述屬性值的實體集合；

實體ID檢索模塊，用于獲取待檢索實體信息中實體ID，并通過檢索所述實體ID獲取匹配所述實體ID的實體；

主鍵值檢索模塊，用于獲取待檢索的實體信息中唯一標識，并通過檢索所述唯一標識獲取匹配所述唯一標識的實體。

8.根據權利要求6所述的基于Elasticsearch的數據處理系統，其特征在于，所述圖譜構建模塊進一步包括：

關系擴展模塊，用于通過檢索所述關系索引中的主體實體ID和/或客體實體ID獲取匹配主體實體ID和/或客體實體ID的關系，并從獲取的關系中獲取關系的對端實體ID，以根據所述對端實體ID進行實體檢索，擴展所述關系對端的實體信息；

循環模塊，用于循環執行所述關系擴展模塊，以擴展實體的全部關系及實體構成的圖譜數據。