[發明專利]用于處理任務的方法和裝置

在審

• 申請號: 201710539626.3
• 申請日: 2017-07-04
• 公開（公告）號: CN107343000A
• 公開（公告）日: 2017-11-10
• 發明（設計）人: 王倩;周愷;張發恩;肖遠昊;徐東澤;許天涵;孫家元;劉嵐;劉昆
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;G06N99/00
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司11204
• 代理人: 王達佐,馬曉亞

技術領域

本申請涉及計算機技術領域，具體涉及互聯網技術領域，尤其涉及用于處理任務的方法和裝置。

背景技術

眾所周知，云平臺允許開發者們或是將寫好的程序放在“云”里運行，或是使用“云”里提供的服務，或二者皆是。例如，基于深度學習框架(例如，谷歌的TensorFlow、百度的PaddlePaddle等等)開發的深度學習平臺可以允許開發者將訓練用數據和腳本等傳入，然后再利用平臺提供的深度框架完成學習過程或結果預測等任務，這樣極大的方便了開發者的程序開發。開發者使用深度學習平臺時需要將訓練用數據、腳本等數據上傳到深度學習平臺，因此開發者傳入的數據可能會被其他開發者使用，大大降低了開發者數據的安全性，不利于開發者數據的保護。同時，由于數據上傳時使用的是公用網絡，因此存在數據傳輸效率低等問題。

發明內容

本申請的目的在于提出一種改進的用于處理任務的方法和裝置，來解決以上背景技術部分提到的技術問題。

第一方面，本申請實施例提供了一種用于處理任務的方法，該方法包括：接收客戶端通過預先建立的網絡通道發送的任務描述信息，其中，上述任務描述信息包括待執行腳本的存儲地址和用于選取深度學習框架的選取信息，其中，上述客戶端與部署有分布式存儲系統的存儲服務器集群通信連接，上述待執行腳本包括源數據信息，上述源數據信息用于指示源數據在上述分布式存儲系統中的存儲地址；基于上述任務描述信息通過上述網絡通道獲取待執行腳本和源數據；根據上述選取信息從預先設置的至少一個深度學習框架中選取待用深度學習框架；利用獲取的源數據、待執行腳本以及上述待用深度學習框架執行任務，得到任務執行結果。

在一些實施例中，上述待執行腳本包括用于指示目的地地址的存儲指示信息，其中，上述目的地地址是上述分布式存儲系統中的、用于存儲任務執行結果的地址；以及上述方法還包括：根據上述待執行腳本的存儲指示信息，將得到的任務執行結果通過上述網絡通道發送到上述分布式存儲系統。

在一些實施例中，上述基于上述任務描述信息通過上述網絡通道獲取待執行腳本和源數據，包括：根據上述任務描述信息中的待執行腳本的存儲地址通過上述網絡通道從上述客戶端中獲取待執行腳本；根據上述待執行腳本中的源數據信息通過上述網絡通道從上述分布式存儲系統中獲取執行任務所需的源數據。

在一些實施例中，上述利用獲取的源數據、待執行腳本以及上述待用深度學習框架執行任務，得到任務執行結果，包括：利用獲取的源數據、待執行腳本以及上述待用深度學習框架執行深度學習訓練任務，得到訓練完成的深度學習模型。

第二方面，本申請實施例提供了一種用于處理任務的裝置，該裝置包括：接收單元，用于接收客戶端通過預先建立的網絡通道發送的任務描述信息，其中，上述任務描述信息包括待執行腳本的存儲地址和用于選取深度學習框架的選取信息，其中，上述客戶端與部署有分布式存儲系統的存儲服務器集群通信連接，上述待執行腳本包括源數據信息，上述源數據信息用于指示源數據在上述分布式存儲系統中的存儲地址；獲取單元，用于基于上述任務描述信息通過上述網絡通道獲取待執行腳本和源數據；選取單元，用于根據上述選取信息從預先設置的至少一個深度學習框架中選取待用深度學習框架；執行單元，用于利用獲取的源數據、待執行腳本以及上述待用深度學習框架執行任務，得到任務執行結果。

在一些實施例中，上述待執行腳本包括用于指示目的地地址的存儲指示信息，其中，上述目的地地址是上述分布式存儲系統中的、用于存儲任務執行結果的地址；以及上述裝置還包括：發送單元，用于根據上述待執行腳本的存儲指示信息，將得到的任務執行結果通過上述網絡通道發送到上述分布式存儲系統。

在一些實施例中，上述獲取單元進一步用于：根據上述任務描述信息中的待執行腳本的存儲地址通過上述網絡通道從上述客戶端中獲取待執行腳本；根據上述待執行腳本中的源數據信息通過上述網絡通道從上述分布式存儲系統中獲取執行任務所需的源數據。

在一些實施例中，上述執行單元進一步用于：利用獲取的源數據、待執行腳本以及上述待用深度學習框架執行深度學習訓練任務，得到訓練完成的深度學習模型。

第三方面，本申請實施例提供了一種服務器，該服務器包括：一個或多個處理器；存儲裝置，用于存儲一個或多個程序，當上述一個或多個程序被上述一個或多個處理器執行時，使得上述一個或多個處理器實現如第一方面中任一實現方式描述的方法。