[發明專利]數據處理方法及裝置

有效

• 申請號: 201510507458.0
• 申請日: 2015-08-18
• 公開（公告）號: CN105204776B
• 公開（公告）日: 2019-06-04
• 發明（設計）人: 洪彬;吳婭;張侃;劉彥偉
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/16
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;姜勁

1.一種數據處理方法，其特征在于，包括：

將接收到的多筆消息轉化為多個寫命令加入寫入批量處理中；

將所述寫入批量處理作為一批消息順序寫入預寫日志文件；

將所述預寫日志文件中的所述消息按照消息主題類型轉發到不同的消息主題文件中；

記錄轉發位點信息，所述轉發位點信息用于下一次轉發操作時輔助定位轉發起點；所述轉發位點信息包括消費者分組中每個消費者的當前消息偏移量，和每個消費者對應的是否確認標識。

2.根據權利要求1所述的數據處理方法，其特征在于，還包括：

接收消費者發出的提取請求，所述提取請求中包括消費者標識和需要查看的消息主題文件名稱；

根據所述提取請求，從所述需要查看的消息主題文件中提取與所述消費者相對應的數據發送給所述消費者。

3.根據權利要求2所述的數據處理方法，其特征在于，在所述根據所述提取請求，從所述需要查看的消息主題文件中提取與所述消費者相對應的數據發送給所述消費者的步驟之后，還包括：

記錄消費操作的消費位點信息，所述消費位點信息用于下一次消費操作時輔助定位消費起點。

4.根據權利要求1至3任一項所述的數據處理方法，其特征在于，所述接收到的多筆消息來自生產者。

5.根據權利要求1至3任一項所述的數據處理方法，其特征在于，所述預寫日志文件、所述消息主題文件存儲在磁盤中。

6.一種數據處理裝置，其特征在于，包括：

第一接收模塊，用于將接收到的多筆消息轉化為多個寫命令加入寫入批量處理中；

預寫模塊，用于將所述寫入批量處理作為一批消息順序寫入預寫日志文件；

轉發模塊，用于將所述預寫日志文件中的所述消息按照消息主題類型轉發到不同的消息主題文件中；

第一記錄模塊，用于記錄轉發位點信息，所述轉發位點信息用于下一次轉發操作時輔助定位轉發起點；所述轉發位點信息包括消費者分組中每個消費者的當前消息偏移量，和每個消費者對應的是否確認標識。

7.根據權利要求6所述的數據處理裝置，其特征在于，還包括：

第二接收模塊，用于接收消費者發出的提取請求，所述提取請求中包括消費者標識和需要查看的消息主題文件名稱；

數據發送模塊，用于根據所述提取請求，從所述需要查看的消息主題文件中提取與所述消費者相對應的數據發送給所述消費者。

8.根據權利要求7所述的數據處理裝置，其特征在于，還包括：

第二記錄模塊，用于記錄消費操作的消費位點信息，所述消費位點信息用于下一次消費操作時輔助定位消費起點。

9.根據權利要求6至8任一項所述的數據處理裝置，其特征在于，所述第一接收模塊接收到的多筆消息來自生產者。

10.根據權利要求6至8任一項所述的數據處理裝置，其特征在于，所述預寫日志文件、所述消息主題文件存儲在磁盤中。