[發(fā)明專利]面向流數(shù)據(jù)處理的分級(jí)存儲(chǔ)容錯(cuò)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110170616.3
• 申請(qǐng)日: 2021-02-08
• 公開(kāi)（公告）號(hào): CN112799597A
• 公開(kāi)（公告）日: 2021-05-14
• 發(fā)明（設(shè)計(jì)）人: 毛瀚宇;聶鐵錚;張巖峰;谷峪;鮑玉斌;于戈
• 申請(qǐng)（專利權(quán)）人: 東北大學(xué)
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 沈陽(yáng)東大知識(shí)產(chǎn)權(quán)代理有限公司 21109
• 代理人: 梁焱

1.一種面向流數(shù)據(jù)處理的分級(jí)存儲(chǔ)容錯(cuò)方法，其特征在于：該方法所涉及的容錯(cuò)處理系統(tǒng)基于Kafka系統(tǒng)，采用HDD與SSD混合存儲(chǔ)的二級(jí)存儲(chǔ)結(jié)構(gòu)，其中SSD為性能層、HDD為存儲(chǔ)層，通過(guò)熱數(shù)據(jù)識(shí)別算法建立相應(yīng)的分級(jí)存儲(chǔ)策略；

分級(jí)存儲(chǔ)策略包括自判斷分級(jí)存儲(chǔ)、Leader—Follower分級(jí)存儲(chǔ)和自定義分級(jí)存儲(chǔ)；自判斷分級(jí)存儲(chǔ)是通過(guò)日志數(shù)據(jù)熱度進(jìn)行分級(jí)，然后根據(jù)數(shù)據(jù)熱度以及硬件環(huán)境，將數(shù)據(jù)分別存儲(chǔ)在性能層SSD與存儲(chǔ)層HDD中，并在數(shù)據(jù)熱度發(fā)生變化時(shí)進(jìn)行數(shù)據(jù)遷移；Leader—Follower分級(jí)存儲(chǔ)是將全部的Leader以及高熱度RDD數(shù)據(jù)文件存儲(chǔ)在SSD中，其方法是將sever.properties中的log.dirs配置項(xiàng)指定路徑，經(jīng)過(guò)指定的“硬配置”后，將Leader節(jié)點(diǎn)存儲(chǔ)至SSD中；自定義分級(jí)存儲(chǔ)面向用戶，如果在Kafka的使用過(guò)程中，特殊情況需要將某些數(shù)據(jù)存儲(chǔ)在SSD或HDD中，此時(shí)用戶指定選擇存儲(chǔ)位置；

熱數(shù)據(jù)識(shí)別算法包括LFU算法與LRU算法，分別用于防止數(shù)據(jù)頻繁遷移和判斷熱數(shù)據(jù)；首先根據(jù)LRU算法中在ReplicaManager的周期性任務(wù)中獲得熱數(shù)據(jù)信息，然后對(duì)這些信息進(jìn)行信息提取處理，并更新其余的HotData數(shù)據(jù)，然后通過(guò)這些數(shù)據(jù)進(jìn)行LFU算法中的Counter計(jì)算，并根據(jù)新的Counter值進(jìn)行排序，然后對(duì)于Counter排序表的后半部分進(jìn)行Score排序，即進(jìn)行雙重排序，通過(guò)雙重處理后的排序表進(jìn)行數(shù)據(jù)遷移；遷移后，如同LFU算法再一次更新Counter和lastDecreTime。

2.根據(jù)權(quán)利要求1所述的面向流數(shù)據(jù)處理的分級(jí)存儲(chǔ)容錯(cuò)方法，其特征在于：所述LFU算法中的Counter計(jì)算包括增計(jì)算和衰減處理；

通過(guò)對(duì)數(shù)據(jù)的熱度進(jìn)行考量的條件建立熱數(shù)據(jù)存儲(chǔ)模型，該模型數(shù)據(jù)結(jié)構(gòu)包括：Counter、Score、SSDorHDD、TopicPartition、LastReadTime、LastWriteTime、UsableSpace和LastDecreTime；

對(duì)于counter進(jìn)行增計(jì)算的具體步驟為：

步驟1.1：從所述熱數(shù)據(jù)存儲(chǔ)模型中提取LFUinitval和LFUlogFactor，LFUinitval為預(yù)設(shè)初始值，LFUlogFactor為增長(zhǎng)困難參數(shù)；

步驟1.2：輸入Counter值；

步驟1.3：如果Counter已經(jīng)大于等于設(shè)定邊界值255，則直接完成Counter增計(jì)算步驟；

步驟1.4：設(shè)定一個(gè)判定值p，如果Counter小于LFUinitval，則令p＝0，反之，則設(shè)定p為兩個(gè)參數(shù)的差值，即Counter-LFUinitval；

步驟1.5：使用隨機(jī)數(shù)算法，通過(guò)對(duì)于p的負(fù)反饋方式，間接對(duì)于Counter進(jìn)行負(fù)反饋，套用公式(1)，若結(jié)果為真，則令Counter自增一次，若結(jié)果為假，則直接跳出步驟1.5；

1.0/(p×LFUlogFactor+1)-隨機(jī)數(shù)(math.random()) (1)

步驟1.6：輸出Counter；

若某一數(shù)據(jù)長(zhǎng)時(shí)間未訪問(wèn)，盡管其在前一工作階段訪問(wèn)頻率極高，但訪問(wèn)時(shí)間間隔上升時(shí)，則需要對(duì)其Counter進(jìn)行衰減處理，衰減處理的具體步驟如下：

步驟2.1：從所述熱數(shù)據(jù)存儲(chǔ)模型中提取LFUdecayTime和lastDecreTime，LFUdecayTime為衰減系數(shù)，lastDecreTime為衰減時(shí)間；

步驟2.2：輸入Counter值；

步驟2.3：當(dāng)衰減系數(shù)LFUdecayTime不為0時(shí)，使本輪運(yùn)行時(shí)間與衰減時(shí)間的差值比，即(time–lastDecreTime)/lastDecreTime，作為Counter的衰減值；

步驟2.4：按照公式(time–lastDecreTime)/lastDecreTime得出的衰減值對(duì)Counter進(jìn)行衰減處理，Counter具有邊界，最小為0；

步驟2.6：輸出Counter。