[發明專利]基于云計算的網頁排序方法在審
| 申請號： | 201310536603.9 | 申請日： | 2013-11-04 |
| 公開（公告）號： | CN103559258A | 公開（公告）日： | 2014-02-05 |
| 發明（設計）人： | 向陽;平宇;張依楊;陳佑雄;張波;袁書寒 | 申請（專利權）人： | 同濟大學 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30 |
| 代理公司： | 上海東亞專利商標代理有限公司 31208 | 代理人： | 陳樹德;劉瑩 |
| 地址： | 200092 *** | 國省代碼： | 上海;31 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 計算 網頁 排序 方法 | ||
1.一種基于云計算的網頁排序方法，該排序方法包括以下步驟：
⑴通過對存儲在云上的，經過分布式網頁爬蟲爬取的網絡文件進行解析處理，得到網絡的基本拓撲結構信息文件；
⑵離線計算PR值后存入相應的文檔表,其格式為其格式為以url為主鍵，包含title,content,type,timestamp，outlinks(指出鏈接集合)等8個屬性的文檔表格式；
⑶由建立單個詞-網頁重要性的索引表也采用并行計算技術,此索引表格式也為利用反向索引建立的以key,links(鏈接集合，且按重要性排序)的格式；
⑷對離線的PageRank算法采用MapReduce的并行框架實現；
⑸當在線查詢時，比較查詢詞和網頁的相似度，結合離線查詢的結果給出最終網頁的排序。
2.根據權利要求1所述的基于云計算的網頁排序方法，其特征在于，所述的步驟⑴的爬取的網絡文件進行解析處理包括以下步驟：
①爬取Internet?上的網址,并根據字段解析成相應的格式存放在分布式文件系統上；
②對存放在分布式文件系統上的文件進行規格化處理，采用并行化的處理方式，得到網頁拓撲信息的文件，并再次存放在分布式文件系統上。
3.根據權利要求1所述的基于云計算的網頁排序方法，其特征在于，所述的步驟⑷中的PageRank值計算方法如下：
R’(u)表示相似度，計算方法如下：
其中R’(u)?為u這個網頁的重要性得分，R’(v)為v網頁的得分，其中v網頁中有指向u網頁的鏈接，Nv?代表v這種特性的網頁組成的集合的大學，c為常量，?E(u)代表某種u的某種分布函數；
對此計算利用分布式計算方法，并行的進行計算。
4.根據權利要求1所述的基于云計算的網頁排序方法，其特征在于，所述的步驟⑸中的相似度計算和最終的網頁重要性計算方法如下：
????采用TF-IDF的來表示相似度
??????
????最終的網頁重要性為?
??????????????????
其中TFi,j代表term(詞條)?i?在網頁j中出現的次數，?IDFi代表翻轉文檔頻率，通常用其描述一個詞的特殊性，最終的得分score?為?TFIDF和PR的一個加權線性組合。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于同濟大學，未經同濟大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201310536603.9/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：用于汽車電動轉向管柱的柱管軸承防脫落機構
- 下一篇：道岔定位裝置
