[發(fā)明專利]基于云計(jì)算的大數(shù)據(jù)處理方法

在審

• 申請?zhí)枺?/td>: 201510633428.4
• 申請日: 2015-09-29
• 公開（公告）號: CN105279241A
• 公開（公告）日: 2016-01-27
• 發(fā)明（設(shè)計(jì)）人: 賴真霖;文君
• 申請（專利權(quán)）人: 成都四象聯(lián)創(chuàng)科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京天奇智新知識產(chǎn)權(quán)代理有限公司 11340
• 代理人: 楊春

1.一種基于云計(jì)算的大數(shù)據(jù)處理方法，其特征在于，包括：

在云存儲系統(tǒng)中建立兩級索引，包括主索引和本地索引，當(dāng)接收到用戶檢索請求時(shí)，以主索引作為唯一入口，通過主索引的定位將檢索操作轉(zhuǎn)到本地索引中以獲取數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在云存儲系統(tǒng)中建立兩級索引，進(jìn)一步包括：

首先對待索引的數(shù)據(jù)集進(jìn)行分割，按照平均的原則，分成包含等量數(shù)據(jù)的子集，劃分的個(gè)數(shù)與下級的本地索引服務(wù)器相等；然后將劃分好的數(shù)據(jù)子集與下級索引服務(wù)器一一對應(yīng)，在各下級索引服務(wù)器中以鏈?zhǔn)疥?duì)列為基礎(chǔ)建立本地索引；各本地索引選擇一部分節(jié)點(diǎn)作為自己索引范圍的代表，并發(fā)布到上級的主索引中；發(fā)布時(shí)，抽取這些被發(fā)布節(jié)點(diǎn)的元數(shù)據(jù)，所述元數(shù)據(jù)包括索引的鍵、本地索引服務(wù)器IP地址、本地索引服務(wù)器磁盤物理塊號，并僅將元數(shù)據(jù)發(fā)送到上級主索引中；主索引接收到下級各本地索引發(fā)布的元數(shù)據(jù)后，通過鏈?zhǔn)疥?duì)列的形式將這些元數(shù)據(jù)組織成一個(gè)全局的索引，在邏輯上將下級各獨(dú)立的本地索引關(guān)聯(lián)起來；上級的主索引作為整個(gè)索引的入口，通過主索引的定位，檢索操作轉(zhuǎn)到下級某一個(gè)具體的本地索引上，最終在下級找到需要的數(shù)據(jù)，然后返回；其中，在本地索引發(fā)布向上級發(fā)布節(jié)點(diǎn)時(shí)，采用自頂向下的方式逐步增加發(fā)布的主節(jié)點(diǎn)數(shù)量，首先，每一個(gè)本地索引將最高級的節(jié)點(diǎn)發(fā)布到主索引中，接著各本地索引根據(jù)發(fā)布后預(yù)估的檢索速度增加比和發(fā)布后主索引內(nèi)存占用的增長比來判斷是否要繼續(xù)往下級發(fā)布，在向下擴(kuò)展發(fā)布的時(shí)候，僅將之前沒有包含的新節(jié)點(diǎn)的元數(shù)據(jù)發(fā)送給上級的主索引，即僅在主索引中插入之前沒有的節(jié)點(diǎn)。

3.根據(jù)權(quán)利要求2所述的方法，還包括：在提交數(shù)據(jù)更新之前，每個(gè)事務(wù)先檢查在該事務(wù)讀取數(shù)據(jù)后，有沒有其他事務(wù)修改了該數(shù)據(jù)；如果其他事務(wù)有更新，將正在提交的事務(wù)進(jìn)行回滾；所述的鏈?zhǔn)疥?duì)列每個(gè)節(jié)點(diǎn)中還包含2個(gè)標(biāo)志位和1個(gè)鎖；其中，marked標(biāo)志位用于標(biāo)識該節(jié)點(diǎn)是否正在被刪除；linked標(biāo)志位標(biāo)識該節(jié)點(diǎn)是否完全插入，即所有層次的指針域都更新完畢，每一個(gè)節(jié)點(diǎn)分別維護(hù)一個(gè)鎖lock；另外還定義2個(gè)哨兵節(jié)點(diǎn)head和tail，其鍵值分別為常數(shù)min_int和max_int；

所述鏈?zhǔn)疥?duì)列的定位操作首先從哨兵節(jié)點(diǎn)head的最高級開始查找，依次下降，每一級查找到待查詢鍵值k所在位置或者哨兵節(jié)點(diǎn)tail停止，如果找到k對應(yīng)的節(jié)點(diǎn)，則更新節(jié)點(diǎn)i表示該節(jié)點(diǎn)的最高級，記錄其每級對應(yīng)的前驅(qū)節(jié)點(diǎn)pre[i]；

所述鏈?zhǔn)疥?duì)列的插入操作包括：

1)首先調(diào)用定位操作，返回定位的結(jié)果，如果找到當(dāng)前節(jié)點(diǎn)，即鍵值為k的節(jié)點(diǎn)已經(jīng)存在，不能插入，否則，進(jìn)入步驟2的操作；

2)對前驅(qū)節(jié)點(diǎn)數(shù)組pre自下向上加鎖；

3)驗(yàn)證返回的pre和后繼節(jié)點(diǎn)數(shù)組succ的下一節(jié)點(diǎn)是否發(fā)生變化，若pre和succ的下一節(jié)點(diǎn)發(fā)生變化，則先釋放剛才的鎖，然后重新定位pre和succ；如果pre和succ都沒有發(fā)生了變化，進(jìn)行步驟4；

4)從底級開始向上進(jìn)行插入操作，然后置linked標(biāo)志位為true，表示插入節(jié)點(diǎn)已經(jīng)完全鏈接，最后釋放所有的鎖；

所述鏈?zhǔn)疥?duì)列的刪除操作將指定的節(jié)點(diǎn)刪除，首先定位節(jié)點(diǎn)，然后判定當(dāng)前節(jié)點(diǎn)的狀態(tài)是否為完全鏈接，且沒有正在被刪除，如果該節(jié)點(diǎn)狀態(tài)合理，則對該節(jié)點(diǎn)上鎖，然而有可能該節(jié)點(diǎn)已經(jīng)被其他線程刪除，此時(shí)返回false，否則，置節(jié)點(diǎn)marked標(biāo)志位為true然后自下向上對前驅(qū)節(jié)點(diǎn)上鎖，如果succ和pre的狀態(tài)發(fā)生改變，則釋放之前的鎖，然后重新定位節(jié)點(diǎn)；最后，進(jìn)行節(jié)點(diǎn)的物理刪除然后釋放所有鎖，返回true；

所述鏈?zhǔn)疥?duì)列的檢索操作先通過定位查找節(jié)點(diǎn)的位置，然后返回檢索結(jié)果，以及相應(yīng)的前驅(qū)節(jié)點(diǎn)和后繼節(jié)點(diǎn)；如果沒有找到相應(yīng)節(jié)點(diǎn)，當(dāng)前節(jié)點(diǎn)正在被刪除，或當(dāng)前節(jié)點(diǎn)沒有完全連接，則檢索失敗；如果找到相應(yīng)節(jié)點(diǎn)，并且該節(jié)點(diǎn)沒有正在被刪除且完全鏈接，則檢索成功。