[發明專利]數據處理方法及裝置

有效

• 申請號: 201510507458.0
• 申請日: 2015-08-18
• 公開（公告）號: CN105204776B
• 公開（公告）日: 2019-06-04
• 發明（設計）人: 洪彬;吳婭;張侃;劉彥偉
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/16
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;姜勁

本發明提供一種數據處理方法及裝置，能夠快速穩定地寫入數據。其中，數據處理方法包括：將接收到的多筆消息轉化為多個寫命令加入寫入批量處理中；將寫入批量處理作為一批消息順序寫入預寫日志文件；將預寫日志文件中的消息按照消息主題類型轉發到不同的消息主題文件中；記錄轉發位點信息，轉發位點信息用于下一次轉發操作時輔助定位轉發起點。

技術領域

本發明涉及計算機數據存儲領域，具體涉及一種數據處理方法及裝置。

背景技術

當今是一個數據大爆炸的時代，實時數據處理已成為各互聯網和傳統IT公司關注的焦點。消息傳輸與存儲的模型中，通常是由生產者提供數據給數據服務端存儲，然后消費者從數據服務端中提取數據。在這過程中，保證數據穩定高效傳輸與實時快速存儲顯得至關重要。

現有的數據服務端的操作方法通常如下：

寫入階段：服務端對接收到的每筆消息立即進行解析，然后根據該消息所屬的主題類型將其寫入到對應的消息主題文件。缺點是：消息寫入涉及對每筆消息的解析，導致寫入速率低。從而寫入多筆消息時間較長，容易受到干擾導致寫入失敗。

讀取階段：大多數消息傳輸存儲模型中服務端對消息采取隨機讀取操作，該方案在磁盤尋道上具有較高的時間消耗，因此讀取效率低。以及，少數消息傳輸存儲模型中，在客戶端中記錄每次消費操作時的消費水位線，但是該記錄是存儲在客戶端中，有操作不便的缺點。

發明內容

有鑒于此，本發明提供一種數據處理方法及裝置，能夠快速穩定地寫入數據。

為實現上述目的，根據本發明的一個方面，提供了數據處理方法，包括：將接收到的多筆消息轉化為多個寫命令加入寫入批量處理中；將所述寫入批量處理作為一批消息順序寫入預寫日志文件；將所述預寫日志文件中的所述消息按照消息主題類型轉發到不同的消息主題文件中；記錄轉發位點信息，所述轉發位點信息用于下一次轉發操作時輔助定位轉發起點。

可選地，還包括：接收消費者發出的提取請求，所述提取請求中包括消費者標識和需要查看的消息主題文件名稱；根據所述提取請求，從所述需要查看的消息主題文件中提取與所述消費者相對應的數據發送給所述消費者。

可選地，在所述根據所述提取請求，從所述需要查看的消息主題文件中提取與所述消費者相對應的數據發送給所述消費者的步驟之后，還包括：記錄消費操作的消費位點信息，所述消費位點信息用于下一次消費操作時輔助定位消費起點。

可選地，所述第一接收模塊接收到的多筆消息來自生產者。

可選地，所述預寫日志文件、所述消息主題文件存儲在磁盤中。

為實現上述目的，根據本發明的另一個方面，提供了一種數據處理裝置，包括：第一接收模塊，用于將接收到的多筆消息轉化為多個寫命令加入寫入批量處理中；預寫模塊，用于將所述寫入批量處理作為一批消息順序寫入所述預寫日志文件；轉發模塊，用于將所述預寫日志文件中的所述消息按照消息主題類型轉發到不同的消息主題文件中；第一記錄模塊，用于記錄轉發位點信息，所述轉發位點信息用于下一次轉發操作時輔助定位轉發起點。

可選地，還包括：第二接收模塊，用于接收消費者發出的提取請求，所述提取請求中包括消費者標識和需要查看的消息主題文件名稱；數據發送模塊，用于根據所述提取請求，從所述需要查看的消息主題文件中提取與所述消費者相對應的數據發送給所述消費者。

可選地，還包括：第二記錄模塊，用于記錄消費操作的消費位點信息，所述消費位點信息用于下一次消費操作時輔助定位消費起點。

可選地，所述第一接收模塊接收到的多筆消息來自生產者。

可選地，所述預寫日志文件、所述消息主題文件存儲在磁盤中。