[發明專利]聯網式機器學習系統

在審

• 申請號: 201711387686.4
• 申請日: 2017-12-20
• 公開（公告）號: CN107977712A
• 公開（公告）日: 2018-05-01
• 發明（設計）人: 李紅波;羅鵬;邱吉剛;吳新勇;柳春青
• 申請（專利權）人: 四川九洲電器集團有限責任公司
• 主分類號: G06N99/00
• 分類號: G06N99/00
• 代理公司: 成都行之專利代理事務所(普通合伙)51220
• 代理人: 王記明

技術領域

本發明涉及機器學習領域，具體地，涉及一種聯網式機器學習系統。

背景技術

以深度學習為代表的新一代人工智能技術正風靡全球，成為新的風口，并被廣泛應用于圖像、自然語言、金融證券等領域。但不管是基于深度模型還是傳統的淺層模型，都按照數據采集、本地訓練、測試的流程，最后得到模型，再用此模型來解決現實問題。一般都只在單獨一臺機器上訓練，即使有分布式訓練，也只是將一個訓練任務分配到多臺機器上，整個過程中缺乏自動的對外交流機制。

因此，現有的機器學習系統較為封閉，學習速度慢，各個訓練用機器之間沒有聯系，大量機器之間存在重復訓練，不利于各機器學習模型能力的提高，并且單個機器的訓練用數據源往往比較單一，影響了其泛化能力。

發明內容

本發明提供了一種聯網式機器學習系統，解決了現有的機器學習存在學習速度慢，各個機器之間沒有聯系，性能較低、泛化能力差的問題，提高學習的速度，也能使同一模型經受各種應用場景和數據的檢驗從而提高性能。

為實現上述發明目的，本申請提供了聯網式機器學習系統，所述系統包括：

系統中的互相連接的設備運行各自獨立的機器學習模型。當系統中的一個設備上的模型進行訓練或測試時，設備可以直接獲取其他設備提供的機器學習模型、模型參數、數據，對本地模型的性能進行提高，也可在沒有本地模型的情況下，直接使用其他模型提供的模型、參數、數據，建立本地模型。具體的方式，一種是設備應邀或主動上傳本地所使用的模型、參數或數據，供其他設備取用。另一種情況則是本地模型主動提供數據，尋求能較好完成目標的模型與模型參數。

其中，將分布在不同地點模型進行在線連接，各設備通過協議，直接傳送本地訓練出的模型參數給其他模型，供其他模型進行借鑒，可以極大地提高學習的速度，也能使同一模型經受各種應用場景和數據的檢驗從而提高性能。

進一步地，所述系統還包括第一管理平臺，各設備將各自的模型、參數上傳至第一管理平臺，并向第一管理平臺提供訓練及測試數據；不同設備根據自身應用場景及目的，從第一管理平臺下載模型、參數與數據。

進一步地，所述系統還包括第二管理平臺，第一預設設備通過第二管理平臺與其他設備建立連接，將第一預設設備上的機器學習模型的訓練與測試數據發送給其他設備，其他設備上的模型在接收訓練與測試數據后在本地進行訓練、測試，在測試合格時，將本地模型與參數通過第二管理平臺傳輸至第一預設設備，數據包括訓練數據與測試數據。

本申請提供的一個或多個技術方案，至少具有如下技術效果或優點：

大幅度提高機器學習模型的學習速度，提高其適應不同場景的能力。

具體實施方式

本發明提供了一種聯網式機器學習系統，解決了現有的機器學習存在學習速度慢，各個機器之間沒有聯系，性能較低、泛化能力差的問題，提高學習的速度，也能使同一模型經受各種應用場景和數據的檢驗從而提高性能。

為了能夠更清楚地理解本發明的上述目的、特征和優點，下面結合具體實施方式對本發明進行進一步的詳細描述。需要說明的是，在相互不沖突的情況下，本申請的實施例及實施例中的特征可以相互組合。

在下面的描述中闡述了很多具體細節以便于充分理解本發明，但是，本發明還可以采用其他不同于在此描述范圍內的其他方式來實施，因此，本發明的保護范圍并不受下面公開的具體實施例的限制。

傳統的機器學習，有從零開始訓練和基于已有模型進行fine tune兩種。后一種方式，也是要人工進行選擇模型，然后再設定訓練方式和數據重新進行fine tune。

另外還有一種稱為遷移學習的方式，也是直接使用已有模型，再將已有模型應用到新領域的技術。微調的方式通常也是使用已有模型，但通常還在原有領域，一般屬于一種局部性的調參手段。考慮到人工智能技術未來應用前景的廣泛性，可以預見未來機器學習將被廣泛應用于各種場景，這樣將會有大量的模型同時運行在全球不同地點。如果所有的模型都只是依賴于本地數據進行離線/在線訓練再逐漸提高，毫無疑問都將使模型的進步速度和適應場景的能力大幅度降低。

目前機器學習領域，fine tune和遷移學習都是人工完成的，受限于每個開發者的硬件能力、數據獲取能力等因素，不同的模型都是獨立開發的。需要經過大量的測試才能上線。而且即使上線運行，也難以完全應對所有的實際場景。