[發明專利]一種基于大數據的調查問卷設計輔助系統

有效

• 申請號: 201810503552.2
• 申請日: 2018-05-23
• 公開（公告）號: CN108717411B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 張子斌;牛永偉;吳鑫坤
• 申請（專利權）人: 安徽數據堂科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/9535;G06F16/35;G06F40/289;G06F40/216;G06N3/08
• 代理公司: 北京和信華成知識產權代理事務所(普通合伙) 11390
• 代理人: 胡劍輝

本發明公開一種基于大數據的調查問卷設計輔助系統，包括信息爬蟲模塊、數據清洗模塊、主題語義分析模塊、評價語義分析模塊、非結構化存儲模塊和多維度統計可視化模塊；信息爬蟲模塊包括第一信息爬蟲單元和第二信息爬蟲單元，數據清洗模塊與主題語義分析模塊和評價語義分析模塊連接，主題語義分析模塊和評價語義分析模塊分別通過非結構化存儲模塊與多維度統計可視化模塊連接。本發明通過對輸入調查方向的主體和關鍵字進行爬取、清洗和分析處理，以輸出形成聚類的可視化多維度展現的與調查方向相關的主體和評價的熱點、導向，從而輔助調查文件設計，提高了調查文件設計環節的工作效率，同時提高了調查問卷設計的可靠性和輔助能力。

技術領域

本發明屬于大數據技術領域，涉及到一種基于大數據的調查問卷設計輔助系統。

背景技術

目前調查問卷的設計方法，主要通過以下幾個流程來完成設計的輔助工作，例如，1.深入了解調查背景，2.相關文獻調研，3.深入了解被訪者情況，4.形成定性研究報告并提出相應假設，5.圍繞假設，設置題目。

在問卷調查設計前期，需要花費大量時間和精力來圍繞調查主題進行調研，對于多個地區的調查工作可能需要花費更多的精力在實地調研工作，不僅浪費調查人員的時間和精力，而且大大降低了調研的效率，并且無法對調研的內容進行可靠的分析以及無法對潛在的選項提供可靠的依據，為了解決以上問題，現設計一種基于大數據的調查問卷設計輔助系統。

發明內容

本發明的目的在于提供一種基于大數據的調查問卷設計輔助系統，解決了現有調查問卷設計需消耗大量的人力和物力，存在調研效率低，以及無法為調研內容提供可靠的分析和依據的問題。

本發明的目的可以通過以下技術方案實現：

一種基于大數據的調查問卷設計輔助系統，包括信息爬蟲模塊、數據清洗模塊、主題語義分析模塊、評價語義分析模塊、非結構化存儲模塊和多維度統計可視化模塊；

所述信息爬蟲模塊包括第一信息爬蟲單元和第二信息爬蟲單元，所述第一信息爬蟲單元用于接收輸入的主題、關鍵字信息，對爬蟲進行初始化，通過主題、關鍵字尋找目標網絡信息，開始進行爬取任務，爬取的內容包括頁面數據中的結構化、非結構化文本、頁面內和頁面間的超鏈接，且通過多層相關鏈接的深度爬取，獲取與主題和關鍵字的相關性較強的信息以為進一步處理做準備，并將爬蟲抓取的數據信息發送至數據清洗模塊；

第二信息爬蟲單元對不同關鍵字所關聯的評論信息進行爬取；

數據清洗模塊對爬蟲爬取的數據信息進行清理加工，通過預過濾提取所需的文本信息和鏈接信息，并進行分類，將提取的文本信息進行分詞處理，以便于提取主題和關鍵字信息，并將分詞后的主題和關鍵字信息主題語義分析模塊，將鏈接信息發送至返回至第二信息爬取單元，實現數據信息的進一步爬取；

所述主題語義分析模塊對分詞過后的關鍵字信息進行分析，通過不同量化指標后將關鍵字排序，獲取前N個作為關鍵字，對分析出的前N個關鍵字標注的地理位置、時間、傳播途徑維度進一步進行分析，將前N個關鍵字標注的地理位置、時間、傳播途徑維度構成文本向量，對文本向量進行特征提取，再通過降維，構建語義空間模型，把文本向量投影在語義空間，形成新文本向量；

所述評價語義分析模塊通過量化指標對評價信息中的關鍵字進行排序，并標注多個維度信息，標注的多個維度的關鍵字發送至深度學習模塊，便于深度學習模塊進一步分析；

所述深度學習模塊對關鍵字進行不同主題關鍵字方向的聚類分析，通過聚類分析和深度學習模型的訓練，提高了語義關鍵字的聚類分析能力，產生對調查問卷主題方向不同分類下的問卷題目設計思路；

在分析評論信息時，深度學習模型對不同主題的評論信息進行聚類分析，形成該主題的多個聚類方向的候選答案，便于對調查問題的答案設計提供參考思路；