[發(fā)明專利]一種基于人工智能的大數(shù)據(jù)訪問方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011276214.3
• 申請日: 2020-11-16
• 公開（公告）號: CN112363992A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計）人: 樊馨
• 申請（專利權(quán)）人: 樊馨
• 主分類號: G06F16/185
• 分類號: G06F16/185;G06F16/27;G06K9/62;G06N3/04;G06N3/08;H04L29/08
• 代理公司: 北京化育知識產(chǎn)權(quán)代理有限公司 11833
• 代理人: 尹均利

本申請公開了一種基于人工智能的大數(shù)據(jù)訪問方法，包括：云服務(wù)器獲取海量多源異構(gòu)數(shù)據(jù)，并將海量多源異構(gòu)數(shù)據(jù)進行分層存儲；將分層存儲的海量多源異構(gòu)數(shù)據(jù)進行分層快照，生成海量多源異構(gòu)數(shù)據(jù)的多個快照；獲取前N個時刻的讀數(shù)據(jù)壓力值以及前N時刻的存儲容量飽和度值，計算歷史數(shù)據(jù)讀取強度；獲取歷史數(shù)據(jù)讀取強度低頻分量及高頻分量；對低頻分量進行預(yù)測，預(yù)測出第N+1時刻的第一數(shù)據(jù)讀取強度；對高頻分量進行預(yù)測，預(yù)測出第N+1時刻的第二數(shù)據(jù)讀取強度；計算出第N+1時刻的數(shù)據(jù)讀取綜合強度，并基于數(shù)據(jù)讀取綜合強度計算所需要增加的快照數(shù)目X；依次生成X個快照數(shù)目，通過X個快照創(chuàng)建出X*Y個克隆，基于X*Y個克隆響應(yīng)讀請求。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及基于人工智能的大數(shù)據(jù)訪問方法及系統(tǒng)。

背景技術(shù)

云存儲是在云計算(cloud computing)概念上延伸和衍生發(fā)展出來的一個新的概念。云計算是分布式處理(Distributed Computing)、并行處理(Parallel Computing)和網(wǎng)格計算(Grid Computing)的發(fā)展，是透過網(wǎng)絡(luò)將龐大的計算處理程序自動分拆成無數(shù)個較小的子程序，再交由多部服務(wù)器所組成的龐大系統(tǒng)經(jīng)計算分析之后將處理結(jié)果回傳給用戶。通過云計算技術(shù)，網(wǎng)絡(luò)服務(wù)提供者可以在數(shù)秒之內(nèi)，處理數(shù)以千萬計甚至億計的信息，達到和”超級計算機”同樣強大的網(wǎng)絡(luò)服務(wù)。

云存儲的概念與云計算類似，它是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)，保證數(shù)據(jù)的安全性，并節(jié)約存儲空間。云存儲是將儲存資源放到云上供人存取的一種新興方案。使用者可以在任何時間、任何地方，透過任何可連網(wǎng)的裝置連接到云上方便地存取數(shù)據(jù)。

在云存儲領(lǐng)域，通常采用三副本冗余機制進行分布式存儲，快照(snapshot)也是三副本存儲，但是，熱點內(nèi)容的數(shù)據(jù)訪問比較頻繁，單位時間內(nèi)訪問快照(讀請求)的數(shù)量激增，會導(dǎo)致響應(yīng)緩慢，甚至出現(xiàn)卡死或宕機的風(fēng)險。

發(fā)明內(nèi)容

本申請實施例提供一種基于人工智能的大數(shù)據(jù)訪問方法及系統(tǒng)，用于解決現(xiàn)有技術(shù)中對于分布式云存儲系統(tǒng)中熱點訪問內(nèi)容響應(yīng)緩慢的問題。

本發(fā)明實施例提供一種基于人工智能的大數(shù)據(jù)訪問方法，包括：

云服務(wù)器獲取海量多源異構(gòu)數(shù)據(jù)，并將所述海量多源異構(gòu)數(shù)據(jù)進行分層存儲；

所述云服務(wù)器將所述分層存儲的海量多源異構(gòu)數(shù)據(jù)進行分層快照，生成所述海量多源異構(gòu)數(shù)據(jù)的多個快照；

所述云服務(wù)器獲取前N個時刻的所有讀數(shù)據(jù)壓力值P_N(t)以及前N時刻所述云服務(wù)器的所有存儲容量飽和度值B_N(t)，并計算出前N個時刻的歷史數(shù)據(jù)讀取強度θ_N(t)，其中θ_N(t)＝P_N(t)/B_N(t)，N為大于等于1的正整數(shù)；

所述云服務(wù)器將所述歷史數(shù)據(jù)讀取強度θ_N(t)進行離散傅里葉變換，獲取低頻分量{L₁,L₂,...L_N}及高頻分量{H₁,H₂,...,H_N}；

所述云服務(wù)器通過隨機森林算法對所述低頻分量{L₁,L₂,...L_N}進行預(yù)測，預(yù)測出第N+1時刻的第一數(shù)據(jù)讀取強度θ_1,N+1；

所述云服務(wù)器通過神經(jīng)網(wǎng)絡(luò)算法對所述高頻分量{H₁,H₂,...,H_N}進行預(yù)測，預(yù)測出第N+1時刻的第二數(shù)據(jù)讀取強度θ_2,N+1；