[發(fā)明專利]圖像處理系統(tǒng)以及圖像處理方法

有效

• 申請?zhí)枺?/td>: 201380040691.1
• 申請日: 2013-06-28
• 公開（公告）號: CN104541127B
• 公開（公告）日: 2017-07-04
• 發(fā)明（設(shè)計(jì)）人: 佐川立昌;川崎洋;古川亮
• 申請（專利權(quán)）人: 獨(dú)立行政法人產(chǎn)業(yè)技術(shù)綜合研究所;國立大學(xué)法人鹿兒島大學(xué);公立大學(xué)法人廣島市立大學(xué)
• 主分類號: G01B11/25
• 分類號: G01B11/25;G06T1/00
• 代理公司: 中國國際貿(mào)易促進(jìn)委員會專利商標(biāo)事務(wù)所11038
• 代理人: 陳華成

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理系統(tǒng)以及圖像處理方法，更加詳細(xì)地說，涉及進(jìn)行基于利用單色圖案的單鏡頭拍攝(One shot)三維測量的高密度的形狀復(fù)原的圖像處理系統(tǒng)以及圖像處理方法。

背景技術(shù)

最近，動態(tài)的3維場景的復(fù)原受到矚目。例如，通過對人體進(jìn)行實(shí)時(shí)測量并解析該動作來實(shí)現(xiàn)不需要安裝設(shè)備的界面的游戲用產(chǎn)品取得大的成功(例如，參照非專利文獻(xiàn)1)。進(jìn)一步地，將這樣的產(chǎn)品用作自動移動的機(jī)器人的眼睛的研究也正在被推進(jìn)，并強(qiáng)烈地認(rèn)識到動物體測量的重要性。當(dāng)前能夠利用的動物體掃描儀無法像測量靜態(tài)的場景的3維掃描儀那樣實(shí)現(xiàn)高精度、高密度的測量。但是，一般認(rèn)為，如果能夠?qū)崿F(xiàn)更進(jìn)一步的精度以及密度的提高的話，則能夠顯著擴(kuò)展醫(yī)療應(yīng)用、流體解析等應(yīng)用范圍。

作為進(jìn)行運(yùn)動著的對象的形狀測量的方法，從僅采用攝影機(jī)的立體方法直到基于Time-of-Flight(TOF，飛行時(shí)間)方式的激光掃描，存在許多方法。其中，對通過采用投影儀與攝影機(jī)的系統(tǒng)而被結(jié)構(gòu)化了的光線進(jìn)行投影的方法適用于得到運(yùn)動著的物體的形狀數(shù)據(jù)，所以最近人們熱衷于其開發(fā)、研究(例如，參照非專利文獻(xiàn)1-4)。

對被結(jié)構(gòu)化了的光線進(jìn)行投影的方法大致被分類為時(shí)間編碼法與空間編碼法。空間編碼法是從單一圖像進(jìn)行形狀復(fù)原(單鏡頭拍攝掃描)的方法，所以適于以高幀速率來測量動物體。因此，正被積極地研究。在空間編碼法中，將能夠從投影圖案整體中唯一地確定的對應(yīng)點(diǎn)信息，直接嵌入到2維圖案。為此，需要在某種程度上大的區(qū)域，所以復(fù)原密度容易變低。另外，也容易產(chǎn)生由基于表面形狀變化的圖案的失真等所導(dǎo)致的譯碼錯(cuò)誤等。

作為高效地將對應(yīng)點(diǎn)信息嵌入到2維圖案的方法，考慮使用顏色信息的方法。使用多種顏色來將多個(gè)比特信息嵌入到各點(diǎn)的方法被廣泛地利用(例如，參照非專利文獻(xiàn)3、5-8)。但是，在利用顏色信息的情況下，目標(biāo)物體的表面需要充分地反射RGB的各顏色要素。另外，在市面上出售的投影儀中，各顏色要素之間的光譜分布相互干擾，所以在各像素的顏色的確定中容易產(chǎn)生誤差。因此，作為不利用顏色的空間編碼方法，提出了利用虛線圖案、網(wǎng)格圖案等的方法。然而，到目前為止，無法完全解決模糊性、密度降低的問題。

作為主動測量方法，一般已知基于TOF掃描儀、主動立體的系統(tǒng)。關(guān)于動物體的主動測量方法，也研究了各種方法。在多數(shù)TOF激光掃描儀中，向想要測量的對象照射點(diǎn)激光，測量直到該激光返回到檢測器為止的時(shí)間。因此，一次僅測量一點(diǎn)，不適于在短時(shí)間內(nèi)測量寬的范圍。因此，為了測量動物體等，存在以下裝置，該裝置通過對寬范圍照射而被時(shí)間調(diào)制了的光，針對二維傳感器的各像素而觀測該調(diào)制，從而實(shí)現(xiàn)距離圖像的測量(例如，參照非專利文獻(xiàn)9、10)。但是，在現(xiàn)實(shí)中，容易受到基于其他光源的干擾的影響，分辨率也比通常的攝影機(jī)低。

另一方面，在基于主動立體的測量方法中，在多數(shù)情況下，通過照射點(diǎn)激光或線激光并進(jìn)行掃描來測量對象。因此，測量耗費(fèi)時(shí)間，所以不適合于動物體的測量。通過利用視頻投影儀等面狀光源，能夠縮短測量時(shí)間，但需要解決對應(yīng)點(diǎn)問題。作為其解決方法，主要有時(shí)間編碼方式與空間編碼方式(例如，參照非專利文獻(xiàn)5)。

在時(shí)間編碼方式中，對多個(gè)圖案進(jìn)行投影，在圖案的各點(diǎn)的時(shí)間變化中對信息進(jìn)行編碼。因此，可以說不適于動物體測量。為了彌補(bǔ)該缺點(diǎn)，提出了幾種方法。例如，高速地切換圖案的方法(例如，參照非專利文獻(xiàn)11)、使用相位圖案來減少必要的張數(shù)的方法(例如，參照非專利文獻(xiàn)12)、或者使用DMD圖案的方法(例如，參照非專利文獻(xiàn)13)等。

另外，作為與通常的主動立體稍微不同的手段，也提出了使用2臺以上的攝影機(jī)來對時(shí)間變化的圖案進(jìn)行照射的時(shí)空立體法(例如，參照非專利文獻(xiàn)14)等。當(dāng)前，也介紹了組合動作推測而在基于100fps左右的測量中成功了的例子。然而，由于需要多個(gè)幀的信息，所以本質(zhì)上不適于高速的物體的測量。

另一方面，空間編碼方式使用靜態(tài)圖案，從僅一張的輸入圖像復(fù)原形狀，所以適于動物體測量。但是，由于需要將信息嵌入到圖案的空間上的區(qū)域，所以分辨率低。反而，由于對象物體表面的紋理、形狀而圖案失真，所以容易變得不穩(wěn)定。因此，提出了許多減輕該不利情況的方法。例如，有以下方法：為了使得不存在相同組合而采用多種顏色帶的方法(例如，參照非專利文獻(xiàn)15、16)、利用特異的虛線的方法(例如，參照非專利文獻(xiàn)17、18)、將信息嵌入到二維的圖案的方法(例如，參照非專利文獻(xiàn)1、19)等。然而，還不存在在精度、分辨率以及穩(wěn)定性這些所有方面都滿足足夠的性能的方法。

現(xiàn)有技術(shù)文獻(xiàn)

非專利文獻(xiàn)