[發明專利]一種基于Hive支持多字符作為分隔符的方法有效
| 申請號： | 201710708052.8 | 申請日： | 2017-08-17 |
| 公開（公告）號： | CN107622088B | 公開（公告）日： | 2021-12-24 |
| 發明（設計）人： | 尚平平 | 申請（專利權）人： | 浪潮云信息技術股份公司 |
| 主分類號： | G06F16/22 | 分類號： | G06F16/22 |
| 代理公司： | 濟南舜源專利事務所有限公司 37205 | 代理人： | 張亮 |
| 地址： | 250000 山東省濟南市高*** | 國省代碼： | 山東;37 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 hive 支持 多字 作為 分隔 方法 | ||
1.一種基于Hive支持多字符作為分隔符的方法，其特征在于，方法包括：
創建用戶自定義分隔符模塊，基于用戶自定義分隔符模塊創建用戶自定義分隔符；
基于繼承抽象模塊的擴展，創建Hive中的MultiCharDelimitedSerde類，使得用戶在創建用戶自定義分隔符模塊時，設置為MultiCharDelimitedSerde類，將用戶創建的用戶自定義分隔符模塊設置為序列化和反序列化，支持多字符作為分隔符；
或，基于用戶自定義分隔符模塊創建用戶自定義分隔符；
設置用戶自定義分隔符的序列化及反序列化規則；
基于序列化及反序列化規則對用戶自定義分隔符進行序列化及反序列化處理；
創建用戶自定義分隔符的序列化及反序列化對應表；
將設置的用戶自定義分隔符序列化及反序列化規則，用戶自定義分隔符的序列化及反序列化對應表存儲到對象列表中，供數據處理使用；
將按照第一分割數據部，第二分割數據部，第三分割數據部分割后的數據信息，根據序列化及反序列化規則，進行序列化形成序列化數據；
將序列化數據儲存至數據庫；
獲取用戶自定義的分隔符；
根據用戶自定義的分隔符對數據進行分割，并將具有用戶自定義分隔符的數據進行存儲；
獲取待分隔的數據信息，按照第一預設數據劃分格式對待分隔的數據信息進行分割，分割成若干個第一分割數據部，在第一分割數據部與第一分割數據部之間設置用戶自定義分隔符模塊創建的第一自定義分隔符；
按照第二預設數據劃分格式對第一分割數據部進行分割，分割成若干個第二分割數據部，在第二分割數據部與第二分割數據部之間設置用戶自定義分隔符模塊創建的第二自定義分隔符；
按照第三預設數據劃分格式對第二分割數據部進行分割，分割成若干個第三分割數據部，在第三分割數據部與第三分割數據部之間設置用戶自定義分隔符模塊創建的第三自定義分隔符。
2.根據權利要求1所述的基于Hive支持多字符作為分隔符的方法，其特征在于，
第一預設數據劃分格式的分隔區間大于第二預設數據劃分格式，第二預設數據劃分格式分隔區間大于第三預設數據劃分格式；
分隔區間采用位為單位區間，或字節為單位區間，或KB為單位區間，或B為單位區間，或為MB為單位區間。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于浪潮云信息技術股份公司，未經浪潮云信息技術股份公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710708052.8/1.html，轉載請聲明來源鉆瓜專利網。
