[發(fā)明專利]數(shù)據(jù)存儲方法及裝置

在審

• 申請?zhí)枺?/td>: 201710582770.5
• 申請日: 2017-07-17
• 公開（公告）號: CN107506375A
• 公開（公告）日: 2017-12-22
• 發(fā)明（設計）人: 李昊
• 申請（專利權）人: 上海斐訊數(shù)據(jù)通信技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海碩力知識產權代理事務所(普通合伙)31251
• 代理人: 郭桂峰

技術領域

本發(fā)明涉及存儲技術領域，尤其涉及一種數(shù)據(jù)存儲方法及裝置。

背景技術

隨著互聯(lián)網(wǎng)和數(shù)據(jù)解析存儲技術的高速發(fā)展，大數(shù)據(jù)時代已經(jīng)到來，對海量數(shù)據(jù)，如圖片、文檔等的處理越來越能為生活中的各個方面帶來便利。在這樣的環(huán)境下，云計算和分布式系統(tǒng)得到大力發(fā)展，來了強大的數(shù)據(jù)存儲與處理能力，提供了大的存儲空間和強的計算能力。

云計算是指通過集群應用、網(wǎng)格技術或分布式文件系統(tǒng)等功能，將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。當云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時，需要配置大量的存儲設備。

雖然云計算的發(fā)展為海量數(shù)據(jù)的存儲和處理提供了技術基礎，但是在云環(huán)境下對海量數(shù)據(jù)進行存儲和處理仍然存在時效性的問題。

發(fā)明內容

本發(fā)明的目的是提供一種數(shù)據(jù)存儲方法及裝置，有效解決了現(xiàn)有海量文本數(shù)據(jù)進行存儲時時效性的技術問題。

本發(fā)明提供的技術方案如下：

一種數(shù)據(jù)存儲方法，包括：

控制單線程逐條讀取待存儲的文本數(shù)據(jù)；

將讀取的文本數(shù)據(jù)預存儲到預設數(shù)據(jù)庫；

控制多線程逐條讀取預設數(shù)據(jù)庫中的存儲數(shù)據(jù)；

將讀取的存儲數(shù)據(jù)進行持久化存儲，完成文本數(shù)據(jù)的存儲。

在本技術方案中，將讀取到的文本數(shù)據(jù)預先存儲在預設數(shù)據(jù)庫中，再使用多線程的方法讀取預設數(shù)據(jù)庫中的存儲數(shù)據(jù)完成數(shù)據(jù)的持久化，更加高效的完成文本數(shù)據(jù)的存儲，避免了使用多線程讀寫文本數(shù)據(jù)時出現(xiàn)沖突，提高數(shù)據(jù)存儲的效率，節(jié)約時間。

進一步優(yōu)選地，在步驟將讀取的文本數(shù)據(jù)預存儲到預設數(shù)據(jù)庫之后，還包括：

判斷預設數(shù)據(jù)庫中存儲的數(shù)據(jù)是否大于預設數(shù)據(jù)量；若是，跳轉至步驟控制多線程逐條讀取預設數(shù)據(jù)庫中的存儲數(shù)據(jù)。

在本技術方案中，為了充分利用CPU和內存資源，讀取到的文本數(shù)據(jù)達到一定量時，開始控制多線程進行持久化存儲。

進一步優(yōu)選地，在步驟使用單線程逐條讀取待存儲的文本數(shù)據(jù)之后，還包括：

對讀取到的文本數(shù)據(jù)進行解析；

根據(jù)預設規(guī)則對解析后的文本數(shù)據(jù)進行分類；

在步驟將讀取的文本數(shù)據(jù)預存儲到預設數(shù)據(jù)庫中，具體為：

將分類后的文本數(shù)據(jù)預存儲到預設數(shù)據(jù)庫。

在本技術方案中，讀取了文本數(shù)據(jù)之后對其進行解析并分類，便于后續(xù)根據(jù)分類對其進行持久化存儲。

進一步優(yōu)選地，在步驟將讀取的存儲數(shù)據(jù)進行持久化存儲中，具體為：

根據(jù)分類將讀取的存儲數(shù)據(jù)存儲到相應關系型數(shù)據(jù)庫中完成持久化存儲。

進一步優(yōu)選地，在步驟將讀取的文本數(shù)據(jù)預存儲到預設數(shù)據(jù)庫之后，還包括：

判斷是否讀取到文本末尾；若是，

結束文本數(shù)據(jù)讀取的步驟；

和/或，在步驟將讀取的存儲數(shù)據(jù)進行持久化存儲，完成文本數(shù)據(jù)的存儲之后，還包括：

判斷預設數(shù)據(jù)庫中的存儲數(shù)據(jù)是否讀取完畢；若是，

結束讀取預設數(shù)據(jù)庫中的存儲數(shù)據(jù)的步驟。

本發(fā)明還提供了一種數(shù)據(jù)存儲裝置，包括：

處理器，用于處理各指令；及

存儲器，用于存儲多條指令，所述指令適用于處理器加載并執(zhí)行；所述多條指令中包括：

控制單線程逐條讀取待存儲的文本數(shù)據(jù)；

將讀取的文本數(shù)據(jù)預存儲到預設數(shù)據(jù)庫；

控制多線程逐條讀取預設數(shù)據(jù)庫中的存儲數(shù)據(jù)；

將讀取的存儲數(shù)據(jù)進行持久化存儲，完成文本數(shù)據(jù)的存儲。

在本技術方案中，將讀取到的文本數(shù)據(jù)預先存儲在預設數(shù)據(jù)庫中，再使用多線程的方法讀取預設數(shù)據(jù)庫中的存儲數(shù)據(jù)完成數(shù)據(jù)的持久化，更加高效的完成文本數(shù)據(jù)的存儲，避免了使用多線程讀寫文本數(shù)據(jù)時出現(xiàn)沖突，提高數(shù)據(jù)存儲的效率，節(jié)約時間。

進一步優(yōu)選地，在指令將讀取的文本數(shù)據(jù)預存儲到預設數(shù)據(jù)庫之后，還包括：

判斷預設數(shù)據(jù)庫中存儲的數(shù)據(jù)是否大于預設數(shù)據(jù)量；若是，跳轉至指令控制多線程逐條讀取預設數(shù)據(jù)庫中的存儲數(shù)據(jù)。

在本技術方案中，為了充分利用CPU和內存資源，讀取到的文本數(shù)據(jù)達到一定量時，開始控制多線程進行持久化存儲。

進一步優(yōu)選地，在指令使用單線程逐條讀取待存儲的文本數(shù)據(jù)之后，還包括：

對讀取到的文本數(shù)據(jù)進行解析；

根據(jù)預設規(guī)則對解析后的文本數(shù)據(jù)進行分類；

在步驟將讀取的文本數(shù)據(jù)預存儲到預設數(shù)據(jù)庫中，具體為：