[發明專利]一種調研數據標準化方法、系統及存儲介質

在審

• 申請號: 202210698754.3
• 申請日: 2022-06-20
• 公開（公告）號: CN114969015A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 張鴻翔;楊艷;周欽;周羽
• 申請（專利權）人: 立信（重慶）數據科技股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28;G06K9/62;G06Q30/02
• 代理公司: 重慶西南華渝專利代理有限公司 50270
• 代理人: 陳香蘭

本發明提供了一種調研數據標準化方法、系統及存儲介質。該方法包括：標準指標體系建立步驟：獲取多個調研數據表，每個調研數據表包括多個調研指標；提取所有調研數據表的調研指標，對提取的調研指標進行第一多中心聚類處理獲得多個第一聚類，每個第一聚類設置一個標準指標，多個標準指標構成標準指標體系；標準化步驟：關聯待標準化調研數據表的調研指標與標準指標體系的標準指標，將調研指標的答題選項映射到與該調研指標關聯的標準指標下。對調研指標進行聚類分類，使獲得的標準指標具有代表性、與調研數據表具有高度的契合性，以及具有完備性，不會遺漏；待標準化調研數據表能夠直接被整合并存儲在一張標準體系表內，解決了數據“隔離”問題。

技術領域

本發明涉及數據處理技術領域，具體涉及一種調研數據標準化方法、系統及存儲介質。

背景技術

大數據時代已經到來，數據資源的整合、數據標準化顯得越來越重要。在市場調查行業中，由于受委托方請求的約束，或者因為調查項目自身的原因，導致設計的調研問卷題目、獲取的數據非常的雜亂、無體系。造成在同一調研領域下，相同的調研指標在不同的調研項目(問卷)中出現不同的名稱或定義；或者不同的調研指標在不同的調研項目(問卷)中，用的卻是同一名稱；更有甚者，同一個項目在不同的時期，因為調研問卷題目的不同，也無法將調研數據合并。各項目調研數據間存在“隔離”，無法融合也就無法形成“大數據”，不便于后續數據治理。如“醫院-患者-滿意度”這個調研領域下，截止目前就有100多個項目(問卷)屬于該調研領域，因為每個項目的調查指標(即調查問題)不一樣，也就會有100多張調查數據表單，并且無法直接進行數據的整合，不便于后續數據治理，形成該調研領域的大數據。

現有技術中，通過設置標準指標體系來進行調研數據表的標準化整合，但是現有的標準指標體系是人工建立的，需要該人員對調研領域非常的熟悉，才能建立與該調研領域非常契合的標準指標體系；并且人員在面對大量項目、大量的指標時，梳理出一套標準指標體系是非常困難的，并且難免會產生遺漏。

發明內容

本發明旨在至少解決現有技術中存在的技術問題，提供一種調研數據標準化方法、系統及存儲介質。

為了實現本發明的上述目的，根據本發明的第一個方面，本發明提供了一種調研數據標準化方法，包括：標準指標體系建立步驟：獲取多個調研數據表，每個調研數據表包括多個調研指標；提取所有調研數據表的調研指標，對提取的調研指標進行第一多中心聚類處理獲得多個第一聚類，每個第一聚類設置一個標準指標，多個標準指標構成標準指標體系；標準化步驟：關聯待標準化調研數據表的調研指標與標準指標體系的標準指標，將調研指標的答題選項映射到與所述調研指標關聯的標準指標下。

上述技術方案：基于多個調研數據表的調研指標對調研指標進行聚類分類，每個聚類設置一個標準指標，使獲得的標準指標具有代表性、與調研數據表的調研指標具有高度的契合性，以及具有完備性，不會遺漏調研指標；通過該標準體系使得待準化調研數據表的數據能夠直接被整合并存儲在一張標準體系表內，形成調研大數據，便于后續開發治理，解決了現有調研數據表中數據“隔離”問題，實現快速標準化處理。

在本發明的一種優選實施方式中，在所述標準指標體系建立步驟中，所述對提取的調研指標進行第一多中心聚類處理獲得多個第一聚類的步驟具體包括：將提取的調研指標轉換為句子向量；對所有句子向量進行粗聚類，獲得C個第一聚類初始中心，C為正整數；將C作為K-means聚類算法的K值進行K-means聚類獲得多個第一聚類。

上述技術方案：通過句子向量提取調研指標的特征，通過粗聚類先確定調研指標數據的第一聚類數量即K值，能夠減小K-means聚類算法的誤差，使得第一聚類分類更準確。

在本發明的一種優選實施方式中，利用Canopy算法對所有句子向量進行粗聚類。

上述技術方案：將Canopy算法獲得的聚類中心點作為K-means聚類算法的初始K個類簇中心點，Canopy算法獲得的初始聚類中心點更為準確，提高第一聚類準確性。