[發(fā)明專利]數(shù)據(jù)的讀取方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201611155181.0
• 申請(qǐng)日: 2016-12-14
• 公開（公告）號(hào): CN108228613B
• 公開（公告）日: 2021-12-07
• 發(fā)明（設(shè)計(jì)）人: 王曉濤
• 申請(qǐng)（專利權(quán)）人: 北京國(guó)雙科技有限公司
• 主分類號(hào): G06F16/18
• 分類號(hào): G06F16/18;G06F11/07
• 代理公司: 北京鼎佳達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11348
• 代理人: 王偉鋒;劉鐵生

1.一種數(shù)據(jù)的讀取方法，其特征在于，所述方法應(yīng)用于Flume系統(tǒng)，包括：

獲取文件屬性列表中日志文件內(nèi)容的最新讀取結(jié)束標(biāo)記；所述文件屬性列表中記錄有日志文件的標(biāo)識(shí)信息與日志文件的最新讀取結(jié)束標(biāo)識(shí)的映射關(guān)系；

根據(jù)所述標(biāo)識(shí)信息獲取當(dāng)前待讀取數(shù)據(jù)的結(jié)尾字符，并判斷所述當(dāng)前待讀取數(shù)據(jù)的結(jié)尾字符是否與預(yù)設(shè)結(jié)束字符一致；其中，所述當(dāng)前待讀取數(shù)據(jù)為所述讀取結(jié)束標(biāo)識(shí)對(duì)應(yīng)的文件內(nèi)容；

若確定所述當(dāng)前待讀取數(shù)據(jù)的結(jié)尾字符與所述預(yù)設(shè)結(jié)束字符一致，則讀取所述當(dāng)前待讀取數(shù)據(jù)，并繼續(xù)獲取后續(xù)待讀取數(shù)據(jù)的結(jié)尾字符，直到確定后續(xù)待讀取數(shù)據(jù)的結(jié)尾字符與所述預(yù)設(shè)結(jié)束字符不一致為止；

若確定所述當(dāng)前待讀取數(shù)據(jù)的結(jié)尾字符與所述預(yù)設(shè)結(jié)束字符不一致，則暫停讀取所述當(dāng)前待讀取數(shù)據(jù)，直到確定所述當(dāng)前待讀取數(shù)據(jù)的結(jié)尾字符與所述預(yù)設(shè)結(jié)束字符一致后，讀取所述當(dāng)前待讀取數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，若所述讀取結(jié)束標(biāo)識(shí)為文件內(nèi)容最大行號(hào)，在獲取文件屬性列表中日志文件內(nèi)容的最新讀取結(jié)束標(biāo)記之前，所述方法還包括：

獲取配置文件中目標(biāo)文件夾的存儲(chǔ)路徑；所述目標(biāo)文件夾中包含多個(gè)日志文件；

根據(jù)所述存儲(chǔ)路徑查找所述目標(biāo)文件夾，并獲取所述目標(biāo)文件夾下所有日志文件的文件屬性；其中，所述文件屬性包括日志文件的名稱、日志文件的最后修改時(shí)間及文件內(nèi)容最大行號(hào)；

將所述日志文件對(duì)應(yīng)的日志文件的名稱、日志文件的最后修改時(shí)間及文件內(nèi)容最大行號(hào)記錄于所述文件屬性列表中。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在將所述日志文件對(duì)應(yīng)的日志文件的名稱、日志文件的最后修改時(shí)間及文件內(nèi)容最大行號(hào)記錄于所述文件屬性列表中之后，所述方法還包括：

對(duì)所述目標(biāo)文件夾下的所有日志文件進(jìn)行監(jiān)控，并確定所述目標(biāo)日志文件夾是否存在更新；

若確定所述目標(biāo)日志文件夾存在更新，則確定更新的內(nèi)容是新增日志文件還是日志文件的修改；

若確定更新的內(nèi)容為新增日志文件，則在所述文件屬性列表中增加所述新增日志文件對(duì)應(yīng)的日志文件的名稱、新增日志文件的創(chuàng)建時(shí)間及文件內(nèi)容最大行號(hào)；

若確定更新的內(nèi)容為日志文件的修改，則獲取更新后的日志文件的名稱，并對(duì)所述文件屬性列表中，與日志文件的名稱所對(duì)應(yīng)的文件內(nèi)容最大行號(hào)及日志文件的最后修改時(shí)間進(jìn)行更新。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，獲取文件屬性列表中日志文件內(nèi)容的最新讀取結(jié)束標(biāo)記包括：

獲取所述文件屬性列表中記錄的日志文件的最后修改時(shí)間，并獲取當(dāng)前時(shí)間；

將所述日志文件的最后修改時(shí)間與所述當(dāng)前時(shí)間進(jìn)行比對(duì)；

若確定所述日志文件的最后修改時(shí)間大于所述當(dāng)前時(shí)間，則獲取與所述日志文件的最后修改時(shí)間對(duì)應(yīng)的所述文件內(nèi)容最大行號(hào)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在判斷所述當(dāng)前待讀取數(shù)據(jù)的結(jié)尾字符是否與預(yù)設(shè)結(jié)束字符一致之前，所述方法還包括：

對(duì)所述預(yù)設(shè)結(jié)束字符進(jìn)行配置；

所述判斷所述當(dāng)前待讀取數(shù)據(jù)的結(jié)尾字符是否與預(yù)設(shè)結(jié)束字符一致包括：

獲取所述預(yù)設(shè)結(jié)束字符；

將所述當(dāng)前待讀取數(shù)據(jù)的結(jié)尾字符與所述預(yù)設(shè)結(jié)束字符進(jìn)行比對(duì)，根據(jù)比對(duì)結(jié)果確定所述當(dāng)前待讀取數(shù)據(jù)的結(jié)尾字符與所述預(yù)設(shè)結(jié)束字符是否一致。

6.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法，其特征在于，讀取所述當(dāng)前待讀取數(shù)據(jù)包括：

讀取一行文件內(nèi)容，并將所述一行文件內(nèi)容封裝成一個(gè)當(dāng)前待讀取數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在讀取所述當(dāng)前待讀取數(shù)據(jù)之后，所述方法還包括：

當(dāng)確定讀取終止時(shí)，獲取讀取終止時(shí)待讀取數(shù)據(jù)的文件內(nèi)容行號(hào)，并基于所述文件內(nèi)容行號(hào)對(duì)所述文件屬性列表中的文件內(nèi)容最大行號(hào)進(jìn)行更新；

將讀取的待讀取數(shù)據(jù)發(fā)送至預(yù)置緩存空間進(jìn)行暫存。