[發(fā)明專利]一種在云端進行的評測方法、相關設備及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010699047.7
• 申請日: 2020-07-20
• 公開（公告）號: CN111782543A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設計）人: 王天寶;董媛媛
• 申請（專利權）人: 王天寶
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 西安匯智創(chuàng)想知識產(chǎn)權代理有限公司 61247
• 代理人: 李恒

本發(fā)明公開了一種在云端進行的評測方法、相關設備及系統(tǒng)，其中方法包括以下步驟：云端服務器存儲參考文件，向第一用戶終端提供參考文件數(shù)據(jù)，接收第二用戶終端發(fā)送的待評估文件數(shù)據(jù)，執(zhí)行評價程序中的指令，向第三用戶終端發(fā)送評價結果信息；第一用戶終端運行數(shù)據(jù)文件處理模塊，以便根據(jù)從所述云端服務器獲取的參考文件數(shù)據(jù)，生成該參考文件數(shù)據(jù)中參考文件的待評估文件；第二用戶終端向所述云端服務器上傳所述待評估文件數(shù)據(jù)；第三用戶終端從所述云端服務器接收并展示評價結果信息。其中系統(tǒng)包括上述的云端服務器及用戶終端。本發(fā)明能夠為數(shù)據(jù)文件處理模塊的不同開發(fā)者和用戶提供了一個公平公開的測試比對平臺，提供便捷的測試途徑。

技術領域

本發(fā)明涉及計算機算法評估技術領域，尤其涉及一種在云端進行的評測方法、相關設備及系統(tǒng)。

背景技術

人機交互領域的終端設備之間，或者終端設備與存儲設備之間特定信息的交換通過攜帶特定信息的數(shù)據(jù)文件的讀取實現(xiàn)，這些特定信息包括以一定編碼方式記錄于數(shù)據(jù)文件的圖片、視頻、音頻、文本等單一信息，或者若干單一信息的結合。終端設備通過解碼器對數(shù)據(jù)文件中的特定信息解碼并通過人機接口(UI)以視覺、聽覺等用戶可識別的方式輸出特定信息。為了便于數(shù)據(jù)文件的傳播和使用，開發(fā)者們提供數(shù)據(jù)文件處理模塊優(yōu)化數(shù)據(jù)文件，數(shù)據(jù)文件處理模塊包括轉(zhuǎn)錄模塊、數(shù)據(jù)壓縮模塊、降噪模塊等。對于數(shù)據(jù)文件處理模塊的處理質(zhì)量，由于采用評價程序的不同，用戶難以獲得客觀公正的比較結果。例如，A開發(fā)者提供了數(shù)據(jù)文件處理模塊a，并公開其在第一評價程序中數(shù)據(jù)文件處理模塊a的評價結果，以此證明其數(shù)據(jù)文件處理模塊a較優(yōu)，同時，B開發(fā)者提供了與數(shù)據(jù)文件處理模塊 a功能基本相同的數(shù)據(jù)文件處理模塊b，并公開了其在第二評價程序中的數(shù)據(jù)文件處理模塊b的評價結果，但公眾用戶仍無法據(jù)此通過比較評價結果的方式獲知數(shù)據(jù)文件處理模塊 a和b各功能特性的優(yōu)劣。數(shù)據(jù)文件處理模塊可以是實現(xiàn)評價算法的應用軟件，或者是硬件的處理器，對于一些信息采集設備的開發(fā)者，數(shù)據(jù)文件處理模塊也可以是其信息采集設備的編碼器。

現(xiàn)有機制中，評價程序包括有參考評價程序和無參考評價程序，有參考評價程序讀取參考數(shù)據(jù)文件和數(shù)據(jù)文件處理模塊對參考數(shù)據(jù)文件處理生成的優(yōu)化數(shù)據(jù)文件，并據(jù)此輸出若干評價指標，如降噪指標、保真度指標等；無參考評價程序只讀取數(shù)據(jù)處理程序生成的優(yōu)化數(shù)據(jù)文件，并據(jù)此輸出若干評價指標，如信噪比指標、清晰度指標、音色指標等?，F(xiàn)有的評價程序只能評價數(shù)據(jù)文件處理模塊對具體參考數(shù)據(jù)文件的優(yōu)化性能的評估，不能用于提供多個數(shù)據(jù)文件處理模塊之間的公允評價。

發(fā)明內(nèi)容

本發(fā)明提供了一種在云端進行的評測方法、相關設備及系統(tǒng)，能夠為數(shù)據(jù)文件處理模塊的不同開發(fā)者和用戶提供了一個公平公開的測試比對平臺，提供便捷的測試途徑。

本發(fā)明第一方面提供了一種在云端進行的評測方法，用于評價數(shù)據(jù)文件處理模塊，所述方法包括：

云端服務器存儲參考文件，向第一用戶終端提供參考文件數(shù)據(jù)，接收第二用戶終端發(fā)送的待評估文件數(shù)據(jù)，執(zhí)行評價程序中的指令，向第三用戶終端發(fā)送評價結果信息；所述評價程序中的指令致使所述云端服務器執(zhí)行的操作包括，讀取所述參考文件數(shù)據(jù)和所述待評估文件數(shù)據(jù)，輸出生成所述待評估文件數(shù)據(jù)的數(shù)據(jù)文件處理模塊的評價結果；

第一用戶終端運行數(shù)據(jù)文件處理模塊，以便根據(jù)從所述云端服務器獲取的參考文件數(shù)據(jù)，生成該參考文件數(shù)據(jù)中參考文件的待評估文件；

第二用戶終端向所述云端服務器上傳所述待評估文件數(shù)據(jù)，所述待評估文件數(shù)據(jù)包含在第一用戶終端生成的所述待評估文件以及生成該待評估文件的數(shù)據(jù)文件處理模塊的標識；

第三用戶終端從所述云端服務器接收并展示評價結果信息；所述評價結果信息包含，兩個以上的基于相同參考文件和/或相同數(shù)據(jù)文件處理模塊的標識的所述評價結果。