[發明專利]基于Hive的并行執行任務方法及裝置有效
| 申請號： | 201410182326.0 | 申請日： | 2014-04-30 |
| 公開（公告）號： | CN103942099B | 公開（公告）日： | 2017-11-28 |
| 發明（設計）人： | 張永亮 | 申請（專利權）人： | 廣州唯品會網絡技術有限公司 |
| 主分類號： | G06F9/46 | 分類號： | G06F9/46;G06F17/30 |
| 代理公司： | 廣州市越秀區哲力專利商標事務所(普通合伙)44288 | 代理人： | 湯喜友 |
| 地址： | 510370 廣東省廣*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 hive 并行 執行 任務 方法 裝置 | ||
1.基于Hive的并行執行任務方法，其特征在于，包括以下步驟：
步驟1、運行Hive腳本，所述Hive腳本中具有多條代碼段；
步驟2、判斷所述Hive腳本中存在啟動執行命令還是模擬執行命令，若為啟動執行命令，則對步驟3至步驟5進行啟動執行；若為模擬執行命令，則對步驟3至步驟5進行模擬執行，并生成執行結果；
步驟3、識別出流程控制標簽的順序標記，所述流程控制標簽位于所述Hive腳本中，并且每一個流程控制標簽與對應的一代碼段關聯；
步驟4、將所有順序標記進行比對，以得到代碼段的執行順序；
步驟5、根據所述執行順序執行代碼段，其中，對順序標記相同的代碼段進行并行執行。
2.如權利要求1所述的基于Hive的并行執行任務方法，其特征在于，步驟5之后還有以下步驟：
對每條代碼段進行唯一標識，并將每條代碼段的執行進度于一顯示界面上進行顯示，其中，所述唯一標識至少包括所述Hive腳本的腳本名稱、與順序標記對應的順序號以及與順序標記對應的代碼段的子任務標識。
3.如權利要求2所述的基于Hive的并行執行任務方法，其特征在于，所述顯示界面為Hadoop的jobTracker顯示頁面。
4.如權利要求1所述的基于Hive的并行執行任務方法，其特征在于，所述代碼段包括至少一SQL語句。
5.基于Hive的并行執行任務裝置，其特征在于，包括以下模塊：
運行模塊，用于運行Hive腳本，所述Hive腳本中具有多條代碼段；
判斷模塊，判斷所述Hive腳本中存在啟動執行命令還是模擬執行命令，若為啟動執行命令，則對識別模塊至執行模塊進行啟動執行；若為模擬執行命令，則對識別模塊至執行模塊進行模擬執行，并生成執行結果；
識別模塊，用于識別出流程控制標簽的順序標記，所述流程控制標簽位于所述Hive腳本中，并且每一個流程控制標簽與對應的一代碼段關聯；
比對模塊，用于將所有順序標記進行比對，以得到代碼段的執行順序；
執行模塊，用于根據所述執行順序執行代碼段，其中，對順序標記相同的代碼段進行并行執行。
6.如權利要求5所述的基于Hive的并行執行任務裝置，其特征在于，執行模塊之后還有顯示模塊：
對每條代碼段進行唯一標識，并將每條代碼段的執行進度于一顯示界面上進行顯示，其中，所述唯一標識至少包括所述Hive腳本的腳本名稱、與順序標記對應的順序號以及與順序標記對應的代碼段的子任務標識。
7.如權利要求6所述的基于Hive的并行執行任務裝置，其特征在于，所述顯示界面為Hadoop的jobTracker顯示頁面。
8.如權利要求5所述的基于Hive的并行執行任務裝置，其特征在于，所述代碼段包括至少一SQL語句。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于廣州唯品會網絡技術有限公司，未經廣州唯品會網絡技術有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201410182326.0/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：一種用于聯合收割機的導軌
- 下一篇：過濾式可調減壓閥
