[發明專利]輸出回復信息的方法、深度學習模型的訓練方法及裝置

有效

• 申請號: 201710142399.0
• 申請日: 2017-03-10
• 公開（公告）號: CN108573306B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 涂暢;張揚;王硯峰
• 申請（專利權）人: 北京搜狗科技發展有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京華沛德權律師事務所 11302
• 代理人: 馬苗苗

本發明公開一種輸出回復信息的方法、深度學習模型的訓練方法及裝置，該方法包括：獲取待回復信息；對所述待回復信息進行維度轉化，以降低所述待回復信息的向量維度，獲得低維信息；采用深度學習模型，計算所述低維信息，以生成回復信息；輸出所述回復信息。本申請提供的方法和裝置可以解決現有技術中的深度學習模型，存在的參數復雜，計算量大的技術問題。實現了減少模型參數占用的內存空間和模型計算量，從而降低深度學習模型對硬件的要求的技術效果。

技術領域

本發明涉及計算機技術領域，尤其涉及一種輸出回復信息的方法、深度學習模型的訓練方法及裝置。

背景技術

深度學習的概念源于人工神經網絡的研究，通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征。深度學習是機器學習研究中的一個新領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據。

當前，深度學習模型由于其良好的學習能力，被廣泛應用于線上的服務以提升服務性能。以智能回復為例，利用深度學習模型可以在受限領域達到比較好的效果。但是多數深度學習模型由于其模型復雜(需要幾十萬甚至更多的模型參數)以及計算量大，只能在服務端通過高性能服務器甚至圖形處理器(Graphics Processing Unit，GPU)為用戶提供服務。并且將用戶數據上傳至服務端也會帶來讓用戶擔憂的隱私問題。

可見，現有技術中的深度學習模型，存在參數復雜，計算量大的技術問題。

發明內容

本發明實施例提供一種輸出回復信息的方法、深度學習模型的訓練方法及裝置，用于解決現有技術中的深度學習模型，存在的參數復雜，計算量大的技術問題。第一方面，本發明實施例提供一種輸出回復信息的方法，包括：

獲取待回復信息；

對所述待回復信息進行維度轉化，以降低所述待回復信息的向量維度，獲得低維信息；

采用深度學習模型計算所述低維信息，以生成回復信息。

結合第一方面，在第一種可選的實施例中，所述對所述待回復信息進行維度轉化，以降低所述待回復信息的向量維度，獲得低維信息，包括：通過嵌入層對所述待回復信息進行維度轉化，以降低所述待回復信息的向量維度，獲得所述低維信息，其中，所述嵌入層位于所述深度學習模型的輸入層與隱藏層之間；在所述獲得低維信息之后，還包括：將所述低維信息輸入所述隱藏層；所述采用深度學習模型計算所述低維信息，包括：采用深度學習模型在所述隱藏層計算所述低維信息。

結合第一方面，在第二種可選的實施例中，所述對所述待回復信息進行維度轉化，以降低所述待回復信息的向量維度，獲得低維信息，包括：將所述待回復信息轉換為用向量表示的輸入向量；降低所述輸入向量的向量維度，以獲得所述低維信息。

結合第一方面，在第三種可選的實施例中，在所述對所述待回復信息進行維度轉化之前，還包括：對所述待回復信息以字符為單位進行劃分；所述對所述待回復信息進行維度轉化，包括：對劃分后的所述待回復信息逐字符進行維度轉化；所述采用深度學習模型計算所述低維信息，以生成回復信息，包括：基于所述深度學習模型中的詞表，逐字符計算所述低維信息，以生成回復信息，其中，所述詞表為以字符為單位訓練生成的詞表。

結合第一方面的第三種可選的實施例，在第四種可選的實施例中，所述詞表是以問答對為訓練樣本，將所述問答對以字符為單位拆分后逐字符訓練生成的詞表。

結合第一方面的第四種可選的實施例，在第五種可選的實施例中，所述詞表為將所述問答對以字符為單位拆分，按預設規則篩選出有效字符組后，對所述有效字符組逐字符訓練生成的詞表。

結合第一方面的第三種可選的實施例，在第六種可選的實施例中，所述逐字符計算所述低維信息，包括：按倒序的順序逐字符計算所述低維信息。