[發(fā)明專利]多版本的yarn聚合日志導出方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210047840.8
• 申請日: 2022-01-17
• 公開（公告）號: CN114510286A
• 公開（公告）日: 2022-05-17
• 發(fā)明（設計）人: 王彬
• 申請（專利權）人: 杭州玳數(shù)科技有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445
• 代理公司: 常州佰業(yè)騰飛專利代理事務所(普通合伙) 32231
• 代理人: 陳紅橋

1.一種多版本的yarn聚合日志導出方法，其特征在于，包括以下步驟：

采用重寫loadClass方式定義類加載器CustomClassLoader；

根據(jù)所述類加載器CustomClassLoader并基于SPI實現(xiàn)IExport實現(xiàn)類；

基于所述IExport實現(xiàn)類代理ExportProxy代理類；

基于所述IExport實現(xiàn)類將所述ExportProxy代理類緩存至ExportCache。

2.根據(jù)權利要求1所述的多版本的yarn聚合日志導出方法，其特征在于，所述采用重寫loadClass方式定義類加載器CustomClassLoader包括以下步驟：

判斷當前ClassLoader是否加載過當前Class文件；

如果所述當前ClassLoader未加載過所述當前Class文件，則在當前ClassLoaderresource范圍內(nèi)搜索所述當前Class文件；

如果在所述當前ClassLoader resource范圍內(nèi)搜索到所述當前Class文件，則加載并返回Class對象；

如果在當前ClassLoader resource范圍內(nèi)未搜索到所述當前Class文件，則采用父類加載器進行加載，并判斷加載是否成功；

如果加載成功，則返回所述Class對象；

如果加載失敗，則拋出ClassNotFoundException異常。

3.根據(jù)權利要求2所述的多版本的yarn聚合日志導出方法，其特征在于，所述根據(jù)所述類加載器CustomClassLoader并基于SPI實現(xiàn)IExport實現(xiàn)類包括以下步驟：

在resource目錄下添加META-INF/services目錄；

在所述META-INF/services目錄下新建與IExport接口的全限定名一致的第一文件，并在所述第一文件中寫入IExport接口的實現(xiàn)類的全限定名，以獲取第二文件；

基于所述第二文件重寫open方法、reachedEnd方法、readNext方法和close方法。

4.根據(jù)權利要求3所述的多版本的yarn聚合日志導出方法，其特征在于，所述基于所述IExport實現(xiàn)類代理ExportProxy代理類，包括以下步驟：

創(chuàng)建所述ExportProxy代理類并實現(xiàn)IExport中接口；

在所述ExportProxy代理類中創(chuàng)建入?yún)樗鯥Export實現(xiàn)類的構(gòu)造方法；

在重寫后的open方法、reachedEnd方法、readNext方法和close方法執(zhí)行前將線程上下文類加載器設置為所述類加載器CustomClassLoader，并在重寫后的open方法、reachedEnd方法、readNext方法和close方法執(zhí)行結(jié)束后將所述線程上下文類加載器設置為原始類加載器。

5.根據(jù)權利要求4所述的多版本的yarn聚合日志導出方法，其特征在于，所述基于所述IExport實現(xiàn)類將所述ExportProxy代理類緩存至ExportCache，包括以下步驟：

定義所述IExport實現(xiàn)類緩存Map，其中，key為hadoop版本，value為具體的實現(xiàn)類；

根據(jù)所述hadoop版本獲取對應實現(xiàn)類的jar文件路徑，并指定所述類加載器CustomClassLoader的加載路徑為所述jar文件路徑；

基于SPI ServiceLoader.load方法根據(jù)所述加載路徑加載所述IExport實現(xiàn)類并放入緩存中。