[發明專利]用于處理任務的方法和裝置

在審

• 申請號: 201710539626.3
• 申請日: 2017-07-04
• 公開（公告）號: CN107343000A
• 公開（公告）日: 2017-11-10
• 發明（設計）人: 王倩;周愷;張發恩;肖遠昊;徐東澤;許天涵;孫家元;劉嵐;劉昆
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;G06N99/00
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司11204
• 代理人: 王達佐,馬曉亞

1.一種用于處理任務的方法，其特征在于，所述方法包括：

接收客戶端通過預先建立的網絡通道發送的任務描述信息，其中，所述任務描述信息包括待執行腳本的存儲地址和用于選取深度學習框架的選取信息，其中，所述客戶端與部署有分布式存儲系統的存儲服務器集群通信連接，所述待執行腳本包括源數據信息，所述源數據信息用于指示源數據在所述分布式存儲系統中的存儲地址；

基于所述任務描述信息通過所述網絡通道獲取待執行腳本和源數據；

根據所述選取信息從預先設置的至少一個深度學習框架中選取待用深度學習框架；

利用獲取的源數據、待執行腳本以及所述待用深度學習框架執行任務，得到任務執行結果。

2.根據權利要求1所述的方法，其特征在于，所述待執行腳本包括用于指示目的地地址的存儲指示信息，其中，所述目的地地址是所述分布式存儲系統中的、用于存儲任務執行結果的地址；以及

所述方法還包括：

根據所述待執行腳本的存儲指示信息，將得到的任務執行結果通過所述網絡通道發送到所述分布式存儲系統。

3.根據權利要求1所述的方法，其特征在于，所述基于所述任務描述信息通過所述網絡通道獲取待執行腳本和源數據，包括：

根據所述任務描述信息中的待執行腳本的存儲地址通過所述網絡通道從所述客戶端中獲取待執行腳本；

根據所述待執行腳本中的源數據信息通過所述網絡通道從所述分布式存儲系統中獲取執行任務所需的源數據。

4.根據權利要求1所述的方法，其特征在于，所述利用獲取的源數據、待執行腳本以及所述待用深度學習框架執行任務，得到任務執行結果，包括：

利用獲取的源數據、待執行腳本以及所述待用深度學習框架執行深度學習訓練任務，得到訓練完成的深度學習模型。

5.一種用于處理任務的裝置，其特征在于，所述裝置包括：

接收單元，用于接收客戶端通過預先建立的網絡通道發送的任務描述信息，其中，所述任務描述信息包括待執行腳本的存儲地址和用于選取深度學習框架的選取信息，其中，所述客戶端與部署有分布式存儲系統的存儲服務器集群通信連接，所述待執行腳本包括源數據信息，所述源數據信息用于指示源數據在所述分布式存儲系統中的存儲地址；

獲取單元，用于基于所述任務描述信息通過所述網絡通道獲取待執行腳本和源數據；

選取單元，用于根據所述選取信息從預先設置的至少一個深度學習框架中選取待用深度學習框架；

執行單元，用于利用獲取的源數據、待執行腳本以及所述待用深度學習框架執行任務，得到任務執行結果。

6.根據權利要求5所述的裝置，其特征在于，所述待執行腳本包括用于指示目的地地址的存儲指示信息，其中，所述目的地地址是所述分布式存儲系統中的、用于存儲任務執行結果的地址；以及

所述裝置還包括：

發送單元，用于根據所述待執行腳本的存儲指示信息，將得到的任務執行結果通過所述網絡通道發送到所述分布式存儲系統。

7.根據權利要求5所述的裝置，其特征在于，所述獲取單元進一步用于：

根據所述任務描述信息中的待執行腳本的存儲地址通過所述網絡通道從所述客戶端中獲取待執行腳本；

根據所述待執行腳本中的源數據信息通過所述網絡通道從所述分布式存儲系統中獲取執行任務所需的源數據。

8.根據權利要求5所述的裝置，其特征在于，所述執行單元進一步用于：

利用獲取的源數據、待執行腳本以及所述待用深度學習框架執行深度學習訓練任務，得到訓練完成的深度學習模型。

9.一種服務器，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行時，使得所述一個或多個處理器實現如權利要求1-4中任一所述的方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現如權利要求1-4中任一所述的方法。