[發明專利]一種針對圖書檢索信息進行斷點續采的方法和系統

無效

• 申請號: 201310562445.4
• 申請日: 2013-11-12
• 公開（公告）號: CN103559297A
• 公開（公告）日: 2014-02-05
• 發明（設計）人: 肖波;趙琳;藺志青;陸月明
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及文本信息處理范疇中的網絡信息采集技術，尤其涉及一種針對圖書檢索信息進行斷點續采的方法和系統。?

背景技術

隨著萬維網的出現，人們開始通過網絡傳播信息，網絡信息成幾何級增長。隨著信息量的暴漲，如何快速搜集所需信息成為人們的關注點，此時網絡爬蟲應運而生。網絡爬蟲是通過一個入口，用圖的遍歷算法，抓取互聯網中的網頁信息，并對爬取的信息處理、存儲的程序。?

圖書館，是搜集、整理、收藏圖書資料供人閱覽、參考的機構。早期圖書館是由手工操作，隨著計算機的發展，圖書館逐漸趨向自動化操作，圖書管理系統的誕生加速了這一發展。相對于幾何級非結構化的網絡信息，圖書館中的信息是經過組織的結構化信息。?

圖書館的藏書信息中蘊含了大量的有價值的信息，如果能準確高效地獲取館藏信息，將具有重要的現實意義。通過對不同圖書館的圖書資源對比，可以輔助元搜索；對各大高校的圖書信息進行分析，可以得到各高校的館藏結構，其中館藏結構是圖書館文獻保障能力和服務水平的重要體現；分析高校各類圖書所占的比例，可以預測該高校的學科性質和重點學術方向。同時，通過對圖書信息分析可以獲得各類圖書的出版情況，出版社的占有率情況以及各高校的圖書購買情況等。?

目前，獲取各大圖書館館藏信息的主流做法是構建針對圖書系統的網絡爬蟲。網絡爬蟲可以自動爬取該圖書館下的所有圖書信息，但是，由于網絡的不穩定、服務器故障等原因會造成爬蟲程序中斷。處理爬蟲中斷的一般方法是重啟爬蟲，由于程序沒有記憶上一次的中斷點，程序會從入口點重新爬取圖書信息，這樣造成了很多的重復性工作，降低了爬蟲的效率。?

發明內容

針對現有技術存在的問題，本發明的目的是提供一種針對圖書檢索信息進行斷點續采的方法。?

為達到上述目的，本發明提出的針對圖書檢索信息進行斷點續采方法包括下列步驟：?

（1）斷點信息加載步驟；?

（2）跳轉到相應爬取位置步驟；?

（3）斷點信息保存步驟；?

（4）圖書信息下載處理步驟，重復執行步驟（2）；?

上述方法中，步驟（1）進一步包括：?

（11）讀取斷點信息文件步驟，斷點信息文件中保存了中斷點的索書號、頁碼和頁碼內第幾項；?

（12）獲取斷點信息步驟，處理讀入的信息，得到斷點處索書號S，頁碼P，頁內第幾項N。?

上述方法中，步驟（2）進一步包括：?

（21）跳轉到檢索結果頁步驟，即根據索書號S和前一次爬取狀態，確定本次檢索號Sn，跳轉到對應檢索結果頁；?

（22）下載解析結果頁步驟，下載結果頁并通過正則表達式獲取查詢結果信息；?

（23）判斷是否有最大顯示記錄限制步驟，若無數量限制，則執行步驟（24）；若有數量限制，判斷當前檢索結果是否超過最大顯示數目，如果超過，則縮小索書號的范圍，即把當前索書號作為首位不變，?在其后添加子位以遍歷所有的情況，子位應包含索書號中可能出現的所有字符，跳轉回步驟（21），重新檢索；如果沒有超過，則執行步驟（24）；?

（24）跳轉到列表頁步驟，根據頁碼P和前一次爬取狀態，確定本次采集頁碼Page，通過Sn、Page等信息拼裝待爬取列表頁url；?

（25）下載解析列表頁步驟，即爬取列表頁，通過正則表達式匹配出列表頁內的書目鏈接；?

（26）跳轉到爬取位置步驟，根據頁內第幾項N，跳過已爬取書目，并確定本次爬取位置。?

上述方法中，步驟（4）進一步包括：?

（41）下載圖書信息步驟，即爬取圖書頁面；?

（42）獲取圖書信息步驟，如果系統提供圖書的MARC信息，則通過正則表達式匹配出MARC信息，如果不提供MARC信息，則通過正則表達式匹配出圖書的基本信息；?

（43）圖書信息存儲步驟，將獲取的圖書信息保存。?

本發明提出的針對圖書檢索信息進行斷點續采的系統，包括以下模塊：?

（1）斷點信息加載模塊；?

（2）跳轉到相應爬取位置模塊；?

（3）斷點信息保存模塊；?

（4）圖書信息下載處理模塊。?

上述方法中，模塊（1）進一步包括：?

（11）讀取斷點信息文件模塊，斷點信息文件中保存了中斷點的索書號、頁碼和頁碼內第幾項；?

（12）獲取斷點信息模塊，處理讀入的信息，得到斷點處索書號S，頁碼P，頁內第幾項N。?

上述方法中，模塊（2）進一步包括：?