[發明專利]大數據處理方法及系統

在審

• 申請號: 201911028702.X
• 申請日: 2019-10-28
• 公開（公告）號: CN110795626A
• 公開（公告）日: 2020-02-14
• 發明（設計）人: 童歡歡
• 申請（專利權）人: 南京彈跳力信息技術有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F21/62
• 代理公司: 32326 南京樂羽知行專利代理事務所(普通合伙)
• 代理人: 繆友建

1.一種大數據處理方法，其特征在于，所述方法包括：

將搜索文件分為一個主搜索文件與多個從搜索文件，所述主搜索文件配置有與所述從搜索文件相對應的搜索地址數據與搜索請求命令；

接收所述搜索請求命令，并驗證所述搜索請求命令的合法性；

當驗證通過后，判斷所述搜索地址數據所對應的從搜索文件是否已被存取，若為否時，根據所述搜索請求命令及從搜索文件存儲的訪問地址數據搜索相應的存儲數據。

2.根據權利要求1所述的方法，其特征在于，所述從搜索文件的存取，所述方法包括：

當接收到數據寫入指令時，依據所述數據寫入指令對所選取的從搜索文件進行數據的寫入，直至所有數據已全部寫入所述多個從搜索文件。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

使用與從搜索文件相應的隨機種子，依次對多個所述從搜索文件的寫入數據進行數據擾亂，并對擾亂的數據進行隨機編碼。

4.根據權利要求3所述的方法，其特征在于，所述根據所述從搜索文件存儲的訪問地址數據訪問相應的存儲數據之前，所述方法還包括：

使用與從搜索文件相應的隨機種子，依次對多個所述從搜索文件的讀出數據進行數據解擾，并對解擾的數據進行隨機解碼。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述方法還包括：

分別獲取根據所述搜索文件訪問得到的每個訪問結果；

在所有的所述訪問結果中，選擇大于最大預設匹配度的存儲數據作為搜索結果，并返回所述搜索結果。

6.根據權利要求5所述的方法，其特征在于，所述獲取根據所述搜索文件訪問得到的每個訪問結果，所述方法包括：

將所述從搜索文件進行分片，得到多個分片從搜索文件；

根據所述搜索請求命令，對所述多個分片從搜索文件進行并行搜索，并返回分片搜索結果。

7.根據權利要求6所述的方法，其特征在于，所述方法還包括：

若在所有的所述訪問結果中，不存在大于最大預設匹配度的存儲數據，則選擇大于次一級預設匹配度的存儲數據作為搜索結果，依次循環，直至返回最終的所述搜索結果。

8.一種大數據處理系統，其特征在于，所述系統包括：

文件劃分模塊，用于將搜索文件分為一個主搜索文件與多個從搜索文件，所述主搜索文件配置有與所述從搜索文件相對應的搜索地址數據與搜索請求命令；

命令驗證模塊，用于接收所述搜索請求命令，并驗證所述搜索請求命令的合法性；

搜索執行模塊，用于判斷所述搜索地址數據所對應的從搜索文件是否已被存取，若為否時，根據所述搜索請求命令及從搜索文件存儲的訪問地址數據搜索相應的存儲數據。

9.一種大數據處理系統，其特征在于，所述系統包括：

通信總線，用于實現處理器與存儲器間的連接通信；

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序以實現如下步驟：

將搜索文件分為一個主搜索文件與多個從搜索文件，所述主搜索文件配置有與所述從搜索文件相對應的搜索地址數據與搜索請求命令；

接收所述搜索請求命令，并驗證所述搜索請求命令的合法性；

當驗證通過后，判斷所述搜索地址數據所對應的從搜索文件是否已被存取，若為否時，根據所述搜索請求命令及從搜索文件存儲的訪問地址數據搜索相應的存儲數據。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-7任一項所述的方法。