[發明專利]數據的讀取方法及裝置

有效

• 申請號: 201611155181.0
• 申請日: 2016-12-14
• 公開（公告）號: CN108228613B
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 王曉濤
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F11/07
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙) 11348
• 代理人: 王偉鋒;劉鐵生

本發明公開了一種數據的讀取方法及裝置，涉及信息技術領域，主要目的在于解決現有技術中Flume系統在執行數據轉發過程中，針對同一個數據，若在寫入過程中，同時執行讀取，則會產生異常的問題。本發明的技術方案包括：獲取文件屬性列表中日志文件內容的最新讀取結束標記；根據標識信息獲取當前待讀取數據的結尾字符，并判斷當前待讀取數據的結尾字符是否與預設結束字符一致；其中，當前待讀取數據為讀取結束標識對應的文件內容；若確定當前待讀取數據的結尾字符與預設結束字符一致，則讀取當前待讀取數據，并繼續獲取后續待讀取數據的結尾字符，直到確定后續待讀取數據的結尾字符與預設結束字符不一致為止。

技術領域

本發明涉及信息技術領域，特別是涉及一種數據的讀取方法及裝置。

背景技術

隨著互聯網技術的快速發展，用戶對基于互聯網傳輸數據的應用越來越重視；例如，在服務器端部署兩種類型的服務器，一種為接收服務器，用于接收客戶端發送的超文本傳送協議(HTTP-Hypertext transfer protocol，HTTP)請求，并將接收到HTTP請求按照一定規則轉發至計算服務器；另一種為計算服務器，用于對接收服務器發送的數據進行處理分析。

現有技術中，接收服務器與計算服務器分布在不同的服務器上，其中，接收服務器通過接收站點接收數據發送端發送的數據，并將接收到的數據寫入日志文件中，通過Flume系統讀取日志文件，并將日志文件中的數據轉發至計算服務器。Flume系統在將接收到的日志進行轉發時，利用Flume Source組件完成對日志數據的收集，并將其采集的數據傳輸至Flume Channel組件進行緩存，由Flume Sink組件將Flume Channel組件中緩存的日志讀取出來，并提交至計算服務器，實現對日志數據的轉發。

發明人在實現上述發明過程中，Flume Source組件在讀取日志時，需要對存儲日志的指定文件進行監控，當確定指定文件存在更新時讀取更新后的日志；但是，若FlumeSource組件讀取的是接收服務器正在記錄的日志文件，則可能會發生讀取異常，即FlumeSource組件只能讀取指定文件下已記錄完整、完畢的日志文件；此外，在Flume Source組件在每次讀取日志文件時，均需要從頭開始讀取日志文件，增大了Flume系統處理數據的工作量，從而降低了數據處理的效率。

發明內容

有鑒于此，本發明提供的一種數據的讀取方法及裝置，主要目的在于解決現有技術中Flume系統在執行數據轉發過程中，針對同一個數據，若在寫入過程中，同時執行讀取，則會產生異常，此外，在Flume Source組件在每次讀取日志文件時，均需要從頭開始讀取日志文件，增大了Flume系統處理數據的工作量，從而降低了數據處理的效率的問題。

為了解決上述問題，本發明主要提供如下技術方案：

一方面，本發明提供了一種數據的讀取方法，所述方法應用于Flume系統，包括：

獲取文件屬性列表中日志文件內容的最新讀取結束標記；所述文件屬性列表中記錄有日志文件的標識信息與日志文件的最新讀取結束標識的映射關系；

根據所述標識信息獲取當前待讀取數據的結尾字符，并判斷所述當前待讀取數據的結尾字符是否與預設結束字符一致；其中，所述當前待讀取數據為所述讀取結束標識對應的文件內容；

若確定所述當前待讀取數據的結尾字符與所述預設結束字符一致，則讀取所述當前待讀取數據，并繼續獲取后續待讀取數據的結尾字符，直到確定后續待讀取數據的結尾字符與所述預設結束字符不一致為止。

可選的，所述方法還包括：

若確定所述當前待讀取數據的結尾字符與所述預設結束字符不一致，則暫停讀取所述當前待讀取數據，直到確定所述當前待讀取數據的結尾字符與所述預設結束字符一致后，讀取所述當前待讀取數據。