[發明專利]一種分布式文件系統HDFS跨Insight集群實時數據傳輸方法與系統

有效

• 申請號: 202010091366.X
• 申請日: 2020-02-13
• 公開（公告）號: CN111274213B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 李二真;張東東
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/176
• 分類號: G06F16/176;G06F16/182;G06F16/11
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 李修杰

1.一種分布式文件系統HDFS跨Insight集群實時數據傳輸方法，其特征在于，所述方法包括以下操作：

獲取源文件屬性，設置目標文件屬性以及文件讀取策略；

設置add線路，每秒傳輸lines行數據至目標文件，且每執行一次其offset行數值加lines，當源文件總行數小于offset值時，停止傳輸數據，而當源文件總行數增加時，繼續執行該線路；

設置update線路，每秒對比源文件和目標文件的前offset行數據，如果不一致，則將add線路鎖定，并將差異數據更新至目標文件，待無差異后，解鎖add線路；

所述add線路和update線路的檢測為并行進行，當update線路檢測需要執行任務，則add線路將處于鎖定狀態，待update線路執行完成后，add線路解鎖。

2.根據權利要求1所述的一種分布式文件系統HDFS跨Insight集群實時數據傳輸方法，其特征在于，所述源文件屬性包括源文件當前總行數，所述目標文件屬性包括文件偏移量offset、每秒讀取行數。

3.一種分布式文件系統HDFS跨Insight集群實時數據傳輸系統，其特征在于，所述系統包括：

文件屬性獲取模塊，用于獲取源文件屬性，設置目標文件屬性以及文件讀取策略；

數據添加模塊，用于設置add線路，每秒傳輸lines行數據至目標文件，且每執行一次其offset行數值加lines，當源文件總行數小于offset值時，停止傳輸數據，而當源文件總行數增加時，繼續執行該線路；

數據更新模塊，用于設置update線路，每秒對比源文件和目標文件的前offset行數據，如果不一致，則將add線路鎖定，并將差異數據更新至目標文件，待無差異后，解鎖add線路；所述add線路和update線路的檢測為并行進行，當update線路檢測需要執行任務，則add線路將處于鎖定狀態，待update線路執行完成后，add線路解鎖。

4.根據權利要求3所述的一種分布式文件系統HDFS跨Insight集群實時數據傳輸系統，其特征在于，所述源文件屬性包括源文件當前總行數，所述目標文件屬性包括文件偏移量offset、每秒讀取行數。

5.一種分布式文件系統HDFS跨Insight集群實時數據傳輸設備，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序，以實現根據權利要求1或2所述的分布式文件系統HDFS跨Insight集群實時數據傳輸方法。

6.一種可讀存儲介質，其特征在于，用于保存計算機程序，其中，所述計算機程序被處理器執行時實現根據權利要求1或2所述的分布式文件系統HDFS跨Insight集群實時數據傳輸方法。