[發明專利]訓練網頁分布式表示模型的方法和裝置在審
| 申請號： | 201710239759.9 | 申請日： | 2017-04-13 |
| 公開（公告）號： | CN108733405A | 公開（公告）日： | 2018-11-02 |
| 發明（設計）人： | 張波;孟遙;孫俊 | 申請（專利權）人： | 富士通株式會社 |
| 主分類號： | G06F8/75 | 分類號： | G06F8/75;G06F17/30 |
| 代理公司： | 北京集佳知識產權代理有限公司 11227 | 代理人： | 杜誠;李春暉 |
| 地址： | 日本神*** | 國省代碼： | 日本;JP |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 網頁 表示模型 節點序列 方法和裝置 遍歷方式 訓練網頁 深度優先遍歷 文檔對象模型 廣度優先 結構信息 起始節點 輸入網頁 隨機選取 隨機選擇 文本信息 樹結構 向量 融合 | ||
1.一種訓練網頁分布式表示模型的方法，包括：
生成多個網頁中的每個網頁的文檔對象模型DOM樹結構；
針對每個網頁的DOM樹結構，提取預定數目的預定長度的節點序列，其中每個節點序列的提取包括：
隨機選擇廣度優先遍歷方式和深度優先遍歷方式之一；以及
從所述DOM樹結構中隨機選取一個節點，并且以所述一個節點作為起始節點，以所選擇的遍歷方式從所述DOM樹結構中提取所述節點序列；以及
基于所提取的節點序列訓練所述網頁分布式表示模型，所述網頁分布式表示模型用于生成輸入網頁的表示向量。
2.根據權利要求1所述的訓練網頁分布式表示模型的方法，其中，采用隨機數方式或Alias算法來隨機選擇所述廣度優先遍歷方式和所述深度優先遍歷方式之一。
3.根據權利要求1所述的訓練網頁分布式表示模型的方法，其中，在選取所述一個節點時，選取列表性節點的概率大于選取文本節點的概率。
4.根據權利要求1所述的訓練網頁分布式表示模型的方法，其中，所述DOM樹結構的生成包括去除網頁中不包含文字信息的節點。
5.根據權利要求4所述的訓練網頁分布式表示模型的方法，其中，所述DOM樹結構的生成還包括對文本節點進行分詞處理。
6.根據權利要求1所述的訓練網頁分布式表示模型的方法，其中，對于所述多個網頁的DOM樹結構中包括的所有節點中的每個節點分別計算在當前上下文的情況下出現該節點的出現概率，并且以針對每個節點所計算出的出現概率之和最大為目標來訓練所述網頁分布式表示模型的參數。
7.根據權利要求1所述的訓練網頁分布式表示模型的方法，其中，所述網頁分布式表示模型是線性分類器。
8.一種訓練網頁分布式表示模型的裝置，包括：
文檔對象模型生成單元，被配置成生成多個網頁中的每個網頁的文檔對象模型DOM樹結構；
提取節點序列單元，被配置成針對每個網頁的DOM樹結構，提取預定數目的預定長度的節點序列，其中每個節點序列的提取包括：
隨機選擇廣度優先遍歷方式和深度優先遍歷方式之一；以及
從所述DOM樹結構中隨機選取一個節點，并且以所述一個節點作為起始節點，以所選擇的遍歷方式從所述DOM樹結構中提取所述節點序列；以及
訓練單元，被配置成基于所提取的節點序列訓練所述網頁分布式表示模型，所述網頁分布式表示模型用于生成輸入網頁的表示向量。
9.根據權利要求8所述的訓練網頁分布式表示模型的裝置，其中，采用隨機數方式或Alias算法來隨機選擇所述廣度優先遍歷方式和所述深度優先遍歷方式之一。
10.一種生成網頁的分布式表示的方法，包括：
生成輸入網頁的文檔對象模型DOM樹結構；
隨機選擇廣度優先遍歷方式和深度優先遍歷方式之一；以及
從所述DOM樹結構中隨機選取一個節點，并且以所述一個節點作為起始節點，以所選擇的遍歷方式從所述DOM樹結構中提取預定長度的節點序列；以及
基于所提取的節點序列，利用預定網頁分布式表示模型來生成所述輸入網頁的表示向量。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于富士通株式會社，未經富士通株式會社許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710239759.9/1.html，轉載請聲明來源鉆瓜專利網。
