[發明專利]基于云計算的大數據處理方法

在審

• 申請號: 201510633428.4
• 申請日: 2015-09-29
• 公開（公告）號: CN105279241A
• 公開（公告）日: 2016-01-27
• 發明（設計）人: 賴真霖;文君
• 申請（專利權）人: 成都四象聯創科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京天奇智新知識產權代理有限公司 11340
• 代理人: 楊春

技術領域

本發明涉及數據處理，特別涉及一種基于云計算的大數據處理方法。

背景技術

云計算系統能夠提供海量存儲、可靠服務，因此日益受到重視。在云基礎設施中，由成千上萬臺互相連接在一起的計算機構成提供服務的“云”，大量的用戶可以同時共享這塊“云”，并根據自己的實際需求對所需資源進行剪裁。作為云數據處理中的一個重要組成部分，當前的云存儲系統絕大部分都采用分布式散列表的方式來構建索引，數據被組織成鍵值對的形式。因此，這類云存儲系統只支持關鍵字查找，并通過點式檢索來訪問數據。然而，在對于如今發展起來的大數據的實際應用中，用戶可能傾向于采用多個鍵值來進行多維度檢索，此時現有的解決方案只能通過運行一個后臺批處理任務來掃描整個數據集然后得到檢索結果。然而，這類解決方案缺乏實時性，新存入的數據元組不能被及時地檢索到，必須等到后臺的批處理任務完成掃描才可被檢索。

發明內容

為解決上述現有技術所存在的問題，本發明提出了一種基于云計算的大數據處理方法，包括：

在云存儲系統中建立兩級索引，包括主索引和本地索引，當接收到用戶檢索請求時，以主索引作為唯一入口，通過主索引的定位將檢索操作轉到本地索引中以獲取數據。

優選地，所述在云存儲系統中建立兩級索引，進一步包括：

首先對待索引的數據集進行分割，按照平均的原則，分成包含等量數據的子集，劃分的個數與下級的本地索引服務器相等；然后將劃分好的數據子集與下級索引服務器一一對應，在各下級索引服務器中以鏈式隊列為基礎建立本地索引；各本地索引選擇一部分節點作為自己索引范圍的代表，并發布到上級的主索引中；發布時，抽取這些被發布節點的元數據，所述元數據包括索引的鍵、本地索引服務器IP地址、本地索引服務器磁盤物理塊號，并僅將元數據發送到上級主索引中；主索引接收到下級各本地索引發布的元數據后，通過鏈式隊列的形式將這些元數據組織成一個全局的索引，在邏輯上將下級各獨立的本地索引關聯起來；上級的主索引作為整個索引的入口，通過主索引的定位，檢索操作轉到下級某一個具體的本地索引上，最終在下級找到需要的數據，然后返回；其中，在本地索引發布向上級發布節點時，采用自頂向下的方式逐步增加發布的主節點數量，首先，每一個本地索引將最高級的節點發布到主索引中，接著各本地索引根據發布后預估的檢索速度增加比和發布后主索引內存占用的增長比來判斷是否要繼續往下級發布，在向下擴展發布的時候，僅將之前沒有包含的新節點的元數據發送給上級的主索引，即僅在主索引中插入之前沒有的節點。

優選地：在提交數據更新之前，每個事務先檢查在該事務讀取數據后，有沒有其他事務修改了該數據；如果其他事務有更新，將正在提交的事務進行回滾；所述的鏈式隊列每個節點中還包含2個標志位和1個鎖；其中，marked標志位用于標識該節點是否正在被刪除；linked標志位標識該節點是否完全插入，即所有層次的指針域都更新完畢，每一個節點分別維護一個鎖lock；另外還定義2個哨兵節點head和tail，其鍵值分別為常數min_int和max_int；

所述鏈式隊列的定位操作首先從哨兵節點head的最高級開始查找，依次下降，每一級查找到待查詢鍵值k所在位置或者哨兵節點tail停止，如果找到k對應的節點，則更新節點i表示該節點的最高級，記錄其每級對應的前驅節點pre[i]；

所述鏈式隊列的插入操作包括：

1)首先調用定位操作，返回定位的結果，如果找到當前節點，即鍵值為k的節點已經存在，不能插入，否則，進入步驟2的操作；

2)對前驅節點數組pre自下向上加鎖；

3)驗證返回的pre和后繼節點數組succ的下一節點是否發生變化，若pre和succ的下一節點發生變化，則先釋放剛才的鎖，然后重新定位pre和succ；如果pre和succ都沒有發生了變化，進行步驟4；

4)從底級開始向上進行插入操作，然后置linked標志位為true，表示插入節點已經完全鏈接，最后釋放所有的鎖；

所述鏈式隊列的刪除操作將指定的節點刪除，首先定位節點，然后判定當前節點的狀態是否為完全鏈接，且沒有正在被刪除，如果該節點狀態合理，則對該節點上鎖，然而有可能該節點已經被其他線程刪除，此時返回false，否則，置節點marked標志位為true然后自下向上對前驅節點上鎖，如果succ和pre的狀態發生改變，則釋放之前的鎖，然后重新定位節點；最后，進行節點的物理刪除然后釋放所有鎖，返回true；