[發(fā)明專利]大數(shù)據(jù)的寫入方法和裝置、讀取方法和裝置及處理系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410175583.1
• 申請日: 2014-04-28
• 公開（公告）號: CN103970844B
• 公開（公告）日: 2017-11-21
• 發(fā)明（設(shè)計）人: 曾開榮
• 申請（專利權(quán)）人: 北京創(chuàng)世漫道科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F3/06
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司11319
• 代理人: 趙娟

技術(shù)領(lǐng)域

本發(fā)明涉及通信技術(shù)領(lǐng)域，特別是涉及一種大數(shù)據(jù)的寫入方法，一種大數(shù)據(jù)的讀取方法，一種大數(shù)據(jù)的寫入裝置，一種大數(shù)據(jù)的讀取裝置，以及，一種大數(shù)據(jù)的處理系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)等信息技術(shù)的發(fā)展，大數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。所謂大數(shù)據(jù)，是指需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)的意義在于它是伴隨著人類日益普及的網(wǎng)絡(luò)行為而產(chǎn)生的，受到相關(guān)部門、企業(yè)采集的，蘊(yùn)含著數(shù)據(jù)生產(chǎn)者的真實(shí)意圖、喜好的非結(jié)構(gòu)化和傳統(tǒng)意義的數(shù)據(jù)信息。因此，快速存儲和讀取大數(shù)據(jù)，尤其是對大數(shù)據(jù)進(jìn)行更新，是獲得有價值的信息的手段之一。

然而，由于結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)量持續(xù)增長，以及分析數(shù)據(jù)的來源更加多樣化，此前的大數(shù)據(jù)存儲、讀取以及更新技術(shù)已經(jīng)無法滿足大數(shù)據(jù)應(yīng)用的需要。通常，對于大數(shù)據(jù)的存儲、讀取以及更新，主要采用數(shù)據(jù)庫（DataBase，DB）的方式來完成，用戶通過數(shù)據(jù)庫管理系統(tǒng)（DataBase Management System，DBMS）對數(shù)據(jù)庫進(jìn)行管理，引入數(shù)據(jù)庫后的計算機(jī)系統(tǒng)則稱為數(shù)據(jù)庫系統(tǒng)（DataBase System，DBS），但是，數(shù)據(jù)庫系統(tǒng)在存儲和讀取大數(shù)據(jù)，尤其是對大數(shù)據(jù)進(jìn)行頻繁地更新時，由于磁盤和內(nèi)存之間的數(shù)據(jù)傳輸需要進(jìn)行復(fù)雜的轉(zhuǎn)換運(yùn)算，導(dǎo)致數(shù)據(jù)存取速度緩慢，效率下降。

例如，某個商家通過短信群發(fā)平臺發(fā)送短信給用戶時。商家可能提交了5000萬條甚至更多短信到短信群發(fā)平臺，這時就需要記錄短信內(nèi)容和所有用戶的手機(jī)號碼，狀態(tài)為“未發(fā)送”。因?yàn)槎绦判枰粭l一條地發(fā)送給用戶，所以每發(fā)送一條短信就要更新該條短信的狀態(tài)為“已發(fā)送”，剩余的短信仍然為“未發(fā)送”。根據(jù)用戶的接收情況在幾秒內(nèi)又會將狀態(tài)更新為“成功送達(dá)”、“失敗”、“關(guān)機(jī)”等狀態(tài)，這樣每秒就會有數(shù)萬條數(shù)據(jù)需要更新。若采用數(shù)據(jù)庫系統(tǒng)存儲、讀取大數(shù)據(jù)，則需要通過復(fù)雜的算法，例如哈希算法等，計算該大數(shù)據(jù)所在磁盤的位置，以及各種存儲策略的驗(yàn)證，容易造成時間的耗費(fèi)，從而導(dǎo)致數(shù)據(jù)存取速度緩慢，系統(tǒng)性能降低，效率嚴(yán)重下降。

因此，目前需要本領(lǐng)域技術(shù)人員迫切解決的一個技術(shù)問題就是：提供一種大數(shù)據(jù)的寫入方法和裝置、讀取方法和裝置及處理系統(tǒng)，用以簡便地對大數(shù)據(jù)快速定位，減少時間的耗費(fèi)，提高大數(shù)據(jù)存儲讀取的速度，提高系統(tǒng)性能，提高工作效率。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例所要解決的技術(shù)問題是提供一種大數(shù)據(jù)的寫入方法和讀取方法，用以簡便地對大數(shù)據(jù)快速定位，減少時間的耗費(fèi)，提高大數(shù)據(jù)存儲讀取的速度，提高系統(tǒng)性能，提高工作效率。

相應(yīng)的，本發(fā)明實(shí)施例還提供了一種大數(shù)據(jù)的寫入裝置、讀取裝置以及一種大數(shù)據(jù)的處理系統(tǒng)，用以保證上述方法的實(shí)現(xiàn)及應(yīng)用。

為了解決上述問題，本發(fā)明公開了一種大數(shù)據(jù)的寫入方法，包括：

接收寫入請求；

依據(jù)所述寫入請求將所述大數(shù)據(jù)切分為多條子數(shù)據(jù)；所述多條子數(shù)據(jù)的長度一致，并且，所述多條子數(shù)據(jù)中相同字段對應(yīng)的數(shù)據(jù)部分的相對位置固定；

分別將所述多條子數(shù)據(jù)寫入指定的存儲介質(zhì)中；

在各條子數(shù)據(jù)中添加當(dāng)前子數(shù)據(jù)在所述存儲介質(zhì)中的存儲位置。

優(yōu)選地，所述方法還包括：

當(dāng)需要更新一條或多條子數(shù)據(jù)時，從所述一條或多條子數(shù)據(jù)中提取其在存儲介質(zhì)中的存儲位置；

在所述存儲位置上對所述一條或多條子數(shù)據(jù)進(jìn)行更新。

為了解決上述問題，本發(fā)明還公開了一種大數(shù)據(jù)的讀取方法，所述大數(shù)據(jù)被切分為多條子數(shù)據(jù)，所述多條子數(shù)據(jù)的長度一致，并且，所述多條子數(shù)據(jù)中相同字段對應(yīng)的數(shù)據(jù)部分的相對位置固定，各條子數(shù)據(jù)中包括當(dāng)前子數(shù)據(jù)在存儲介質(zhì)中的存儲位置，所述方法包括：

接收讀取請求；

依據(jù)所述讀取請求確定待讀取的一條或多條子數(shù)據(jù)；

從所述待讀取的一條或多條子數(shù)據(jù)中提取其在存儲介質(zhì)中的存儲位置；

從所述存儲位置讀取所述一條或多條子數(shù)據(jù)。

優(yōu)選地，所述依據(jù)所述讀取請求確定待讀取的一條或多條子數(shù)據(jù)的步驟包括：

采用所述讀取請求遍歷所述多條子數(shù)據(jù)；

確定具有匹配字段的一條或多條子數(shù)據(jù)為待讀取的一條或多條子數(shù)據(jù)。

優(yōu)選地，所述依據(jù)所述讀取請求確定待讀取的一條或多條子數(shù)據(jù)的步驟包括：

采用所述讀取請求計算對應(yīng)的一條或多條子數(shù)據(jù)的起始位置；

確定所述起始位置對應(yīng)的一條或多條子數(shù)據(jù)為待讀取的一條或多條子數(shù)據(jù)。