TWI875618B - 藝術品智慧修復系統 - Google Patents

Abstract

本發明係為一種藝術品智慧修復系統，其至少包含全方位自動光學掃描設備、資料處理單元、智慧技術單元與修復輔助設備。本系統係先透過全方位自動光學掃描設備，以擷取全方位多角度的光學資料；再透過資料處理單元以進行全方位多角度的光學資料之處理，並獲得藝術品數位量化之建築資訊模型(BIM)及資料庫；之後再利用智慧技術單元，以自動辨識藝術品之所有狀況位置及狀況類型，並自動產出報告及給出修復建議；最後即可透過修復輔助設備，協助修復師進行藝術品之修復及教學訓練。

Description

藝術品智慧修復系統

本發明係為一種將藝術品(或文物)修復技術與智慧科技融合，並以全方位自動光學掃描設備、光學資料處理技術、人工智慧技術與修復輔助設備進行藝術品數位典藏、藝術品修復、輔助修復師進行藝術品修復及(或)進行藝術品修復教學之藝術品智慧修復系統。

藝術品與文物皆為獨一無二之珍貴資產，無論其如何進行保存，長年以來受到自然風化與人類活動雙重因素的影響，其皆會遇到逐漸變質、遭受破壞或遺失等問題。因此，完成藝術品及文物之修復，並將其原貌永久保留及記錄其風化過程，不但所有國家都積極關注，也是藝術及科技相關領域研究的重要議題。文物修復廣義指對歷史文物或藝術品的修補、復原以及複製。

如本案發明人團隊先前發明之台灣發明專利第I731414號「文物數位典藏及修復系統」，係為本案發明人團隊先前研發之文物修復技術，該文物數位典藏及修復系統係為一種融合反射轉換成像技術、三維建模技術與多光譜成像技術之複合式文物數位典藏及修復平臺，透過反射變換成像設備、三維建模設備與多光譜成像設備之結合，以獲取文物的影像三維資料及圖像等資訊。然後，將前述設備所擷取的資訊進行光學處理及影像處理，使影像的反差適合、特徵明顯、色彩豐富。最後，透過對影像的色調、圖案、紋理、時間變化與空間分佈規律進行識別和解釋，即可提供文物的形狀、分佈構成類型等資訊。

前揭文物數位典藏及修復系統，主要係針對平面式藝術品(例如畫作、雕刻石板、木板等等) ，利用科學的數據資料，以進行文物之數位保存、修復(修復師)及檢驗，本案專利申請人校內藝文處文物修復中心針對畫作藝術品修復流程包括：1. 檢視畫作受損情況，包括狀況檢視與判讀、標註修復位置及狀況類型。2. 修復建議，提出文物受損情況的修復建議。3. 文物修復，包括採樣分析、清潔(除霉、除塵等)、肌理重建及補色。4. 修復報告，產出修復前、後的修復報告。

前揭畫作藝術品修復狀況檢視，大致包括：1.  髒污狀況，包括灰塵、沾黏、膠漬、油漬、水漬痕、黴斑、褐斑、不明漬痕昆蟲排遺等等，並可分為輕度髒污、中度髒污與重度髒污。2. 黃化狀況，包括凡尼斯黃化、畫布泛黃等。3. 缺損狀況，包括彩繪層缺失、彩繪層磨損、彩繪層龜裂、彩繪層脆化、內框壓痕、基底材缺失、基底材破損、基底材開裂、畫布孔洞、蟲蛀、顏料起翹、顏料空鼓、空鼓型裂痕、畫布曾被補丁過、舊補筆等等。4. 變形狀況，包括畫布皺褶痕、畫布凹痕、畫布鬆弛。

然而，該文物數位典藏及修復系統在實際使用上仍存在有以下問題：

第一，藝術品狀況檢視過程相當費時，且需要花費許多人力及工時處理，因此需要有系統化的設備及技術來輔助修復師，以降低修復師針對品狀況檢視所花費的時間。

第二，藝術品狀況檢視後，製作修復報告也相當費時，因此需要有資訊科技之輔助，以自動產出系統化的報告，降低人力需求。

第三，前揭文物數位典藏及修復系統僅能透過各種拍攝資訊來提供修復師進行文物修復之參考，故其能提供的輔助非常有限，無法有效的提升文物修復效率，而現階段修復流程，主要還是靠修復師經由視覺及經驗進行藝術品劣化狀況檢視。因此，將藝術品依據檢視後的狀況進行品修復建議，對資深修復師來說，準確性相當高，但對於資淺修復師而言，需要有資深修復師的帶領，他們才能作出準確性高的修復建議，故需要有一個輔助教育平台能夠代替資深修復師來協助及訓練資淺修復師作出準確性高的修復建議。

第四，前揭文物數位典藏及修復系統所使用之戴具係為一封閉式罩體結構，其移動拍攝受限於戴具底部之移動輪組，並將待拍攝的文物放置於罩體下方，透過固定設置在罩體內側之至少一台攝像機，以獲取該文物的影像三維資料及圖像等資訊。因此，由於該習知載具設備僅能進行二軸式的平面移動，故其在進行拍攝時需要有較大的平地空間供該載具進行移動，且拍攝時都要移動該載具並根據不同的拍攝物逐一調整攝像機的位置，其應用上限制較多，不具實用性且拍攝效率低。

第五，該習知載具設備之設計主要係用於拍攝平面結構之平面式藝術品(例如畫作、雕刻石板、木板等等)，故其使用的影像式掃瞄技術對於所拍攝之立體結構之文物及藝術品所呈現的3D模形的精準度較低，容易產生拍攝死角，且與物品真實尺寸會有落差，其三維建模資料無法應用於精準的文物修復，僅能供文物修復師閱覽參考使用。

第六，由於該習知載具設備係用於拍攝平面結構物之光學立體影像使用，故無法應用於雷射掃描設備，當該文物數位典藏及修復系統要使用光學立體影像技術與雷射立體影像技術之複合技術來提升其三維建模之精準度時，僅能透過手持式3D雷射掃描器或雷射掃描儀來另外進行文物之3D雷射掃描。

為此，本案發明人團隊積多年測量、電機、機械相關領域技術之研發創作經驗，特針對前述先前技術所存在之問題加以研究，而發明本案。

無論科技如何進步，在綜合考量經費成本、工作環境、空間、人力資源、及修復信賴度等綜合因素後，本案發明人團隊認為藝術品(文物)修復師是不可取代的工作，但受到少子化的影響，目前修復師的人力資源非常有限，且培養一個專業的修復師須花費非常久的時間及經驗累積。是以，本發明之目的，係提供一創新的藝術品智慧修復系統，該系統進行藝術品智慧修復之方式係先透過全方位自動光學掃描設備，以擷取全方位多角度的光學資料(包括影像資料、多光譜拍攝圖像資料、3D影像掃描資料及3D結構光掃描資料)；再透過資料處理單元以進行全方位多角度的光學資料之處理(包括影像式三維建模、3D點雲資料後處理、紋理匹配映射、反射轉換成像自動化處理及多光譜成像處理)，並獲得藝術品數位量化之建築資訊模型(BIM)及資料庫；之後再利用智慧技術單元(包括人工智慧辨識偵測技術與人工智慧檢視判讀技術)，以自動辨識藝術品之所有狀況位置及狀況類型，並自動產出報告及給出修復建議；最後即可透過修復輔助設備(包括3D列印修復設備、AR輔助設備、VR教學設備及電腦設備)，協助修復師進行藝術品(文物)之修復及教學訓練。

本發明之藝術品智慧修復系統可讓藝術品之修復變得更有效率且更智慧化，各藝術品修復過程中所獲得的所有數據資料皆可用於數位保存及供智慧技術進行深度學習及訓練。如此，本發明之藝術品智慧修復系統即可針對各種尺寸、形式、材質之彩繪藝術品或一般藝術品提供準確、定量的劣化損傷測定，並能夠突顯、量化和描述藝術品紋理變化，且可提高自動檢測及修復建議之準確性，並減少檢測偽陰性的問題，亦兼具有自動修復之功能，以確實的輔助修復師進行藝術品修復及人才培訓，降低藝術品維護之成本，提升藝術品修復之效率。

為達前述目的，本發明之用於藝術品智慧修復系統，至少包含全方位自動光學掃描設備、資料處理單元、智慧技術單元與修復輔助設備。前述全方位自動光學掃描設備係針對藝術品進行全方位多角度之自動化連續掃描，以擷取藝術品之全方位多角度的光學資料。前述資料處理單元係訊號連接前述全方位自動光學掃描設備，並將該全方位自動光學掃描設備所擷取之全方位多角度的光學資料進行處理，並獲得藝術品數位量化之建築資訊模型及資料庫。前述智慧技術單元係訊號連接前述資料處理單元，並將該資料處理單元所獲得藝術品數位量化之建築資訊模型及資料庫，利用深度學習方法，以自動辨識藝術品之所有狀況位置及狀況類型，並自動產出報告及給出修復建議；前述智慧技術單元係包括人工智慧辨識偵測模組與人工智慧檢視判讀模組，前述人工智慧辨識偵測模組係將藝術品之影像及3D資料進行辨識及偵測，並標記異常位置，前述人工智慧檢視判讀模組係將前述標記之異常位置之資料進行分析判讀，並獲得藝術品異常位置之狀況類型、相關資料記錄及修復建議報告。前述修復輔助設備係訊號連接前述資料處理單元與智慧技術單元，並將前述資料處理單元與智慧技術單元所獲得之所有資料進行輔助修復師之應用。

本發明之藝術品智慧修復系統，其中前述全方位多角度的光學資料得包括影像資料、多光譜拍攝圖像資料、3D影像掃描資料及3D結構光掃描資料；前述光學資料處理技術得包括影像式三維建模模組、3D點雲資料後處理模組、紋理匹配映射模組、反射轉換成像自動化處理模組及多光譜成像模組。

本發明之藝術品智慧修復系統，其中前述全方位自動光學掃描設備得為一種移動式全方位自動光學掃描載具，前述全方位自動光學掃描設備係設置一載具與一拍攝機構，前述載具係設置有移動機構，並於該移動機構上方設置一機械手臂，前述機械手臂之未端設置有連接臂；前述拍攝機構係設置有基部，該基部係設置有相機模組與機箱，前述相機模組係設置有雲台與相機，前述機箱係訊號連接前述載具及拍攝機構之所有電子設備，前述基部係設置有連接元件，該連接元件係連接前述機械手臂之連接臂；前述基部係設置有懸臂支架，前述懸臂支架之前端係設置有環狀部，該環狀部上係設置有複數第一連接部，以連接複數懸臂，前述懸臂之一端係設置有第二連接部，該第二連接部係用於連接前述第一連接部，使前述懸臂得以連接固定在前述懸臂支架之任一第一連接部上，前述懸臂係設置有至少一樞轉部，且前述懸臂內側係設置有複數組複合式照明裝置，透過該樞轉部使前述懸臂得以調整其彎曲呈度，以形成爪形光罩結構，前述複合式照明裝置係為一具有可見光燈、紅外光燈與紫外光燈之至少一種燈之複合式結構；前述基部係設置有3D結構光掃描儀。

本發明之藝術品智慧修復系統，其中前述全方位自動光學掃描設備得為一種旋轉台固定式全方位自動光學掃描設備，前述全方位自動光學掃描設備係設置一載具與一拍攝機構，前述載具係設置放置檯，並於放置檯之一側設置旋轉台，前述放置檯係用於設置前述拍攝機構，前述旋轉台係用於放置藝術品。

本發明之藝術品智慧修復系統，其中前述全方位自動光學掃描設備得為一種三軸移動固定式全方位自動光學掃描設備，前述全方位自動光學掃描設備係設置有機台與拍攝模組；前述機台係設置有底座，該底座內係設置有電控設備，前述電控設備係訊號連接前述全方位自動光學掃描設備之所有電子設備，前述底座之上方係設置有載台，前述載台上方係設置有定位元件；前述底座之上方係設置有三軸移動機構，並於該三軸移動機構上方設置有一移動座；前述底座之上方係設置有複數組複合式照明裝置，前述複合式照明裝置係為一具有可見光燈、紅外光燈與紫外光燈之至少一種燈之複合式結構；前述拍攝模組係設置於前述機台之移動座上，前述拍攝模組係設置有基座，該基座係設置於前述移動座上，前述基座係樞設一樞轉座，該基座與樞轉座之間係設置有動力傾斜機構，使前述樞轉座得相對於前述基座旋轉並調整傾斜角度；前述樞轉座係設置有動力旋轉機構，該動力旋轉機構之旋轉軸的軸向位置係與前述基座和樞轉座之樞轉軸的軸向位置相互垂直設置，前述動力旋轉機構係設置有伺服馬達，該伺服馬達係連接一結合座，前述結合座係相對於前述樞轉座旋轉以調整前述結合座之位置，前述結合座之外側係設置有光學掃描儀。

為了更進一步瞭解本發明，該最佳之藝術品智慧修復系統之實施方式如圖式1~15所示，至少包含全方位自動光學掃描設備1、資料處理單元2、智慧技術單元3與修復輔助設備4：

前述全方位自動光學掃描設備1係針對藝術品進行全方位多角度之自動化連續掃描，以擷取藝術品之全方位多角度的光學資料，且不會有側邊死角位置資料不完整的問題，如此即可呈現高精細程度的3D模型及影像細節資料。前述全方位多角度的光學資料係包括影像資料、多光譜拍攝圖像資料、3D影像掃描資料及3D結構光掃描資料。

如圖2~4所示，為前述全方位自動光學掃描設備1之第一實施例，其係為一種移動式全方位自動光學掃描載具。該全方位自動光學掃描設備1係設置一載具11與一拍攝機構12。前述載具11係設置有移動機構111，並於該移動機構111上方設置一機械手臂112，前述移動機構111得為履帶車、輪式車、手推車或各種車體結構，端視使用需求而定，均無不可。前述機械手臂112得為油壓式機械手臂、氣壓式機械手臂、電動機械手臂等各種動力型式之機械手臂，並於該機械手臂112之未端設置有連接臂1121，透過該連接臂1121以連接前述拍攝機構12。

如圖5所示，為前述全方位自動光學掃描設備1之第二實施例，其係為一種旋轉台固定式全方位自動光學掃描設備。該全方位自動光學掃描設備1係設置一載具11與一拍攝機構12。前述載具11得設置有一放置檯113，並於放置檯113之一側設置有旋轉台114，前述放置檯113係用於設置前述拍攝機構12，前述旋轉台114係用於放置藝術品，如此即可在前述拍攝機構12不移動的情況下，完成藝術品之多角度拍攝。

如圖2~5所示，前述拍攝機構12係設置有基部121，該基部121係設置有相機模組122與機箱123，前述相機模組122係設置有雲台1221與相機1222，前述雲台1221得為手調式雲台，或為一可自動升降及自動調整傾角之雲台，端視使用需求而定，均無不可。前述機箱123係訊號連接前述載具11及拍攝機構12之所有電子設備，以進行各電子設備之操作、設定及訊號傳輸。前述基部121係設置有連接元件1211，該連接元件1211係配合前述機械手臂112之連接臂1121而設，並用於連接前述機械手臂112之連接臂1121。

前述基部121係設置有懸臂支架124，前述懸臂支架124之前端係設置有環狀部1241，該環狀部1241上係設置有複數第一連接部1242，以連接複數懸臂125。前述懸臂125之一端係設置有第二連接部1251，該第二連接部1251係用於連接前述第一連接部1242，使前述懸臂125得以連接固定在前述懸臂支架124之任一第一連接部1242上；前述第一連接部1242與第二連接部1251得為各式鎖設結構、扣件結構或夾持結構，端視使用需求而定，均無不可。前述懸臂125係設置有至少一樞轉部1252，且前述懸臂125內側係設置有複數組複合式照明裝置16，透過該樞轉部1252使前述懸臂125得以調整其彎曲呈度，以形成各種形式之爪形光罩結構，例如拍攝小型物品之集中式光罩結構，或拍攝大型物品之擴散式碟形光罩結構，當光照範圍需求愈大時，得視需求設置更多組懸臂，以提升其光照量。

前述複合式照明裝置16係為一具有可見光燈、紅外光燈與紫外光燈之至少一種燈之複合式結構，其得為燈條式燈具(如圖5所示)或可調整角度之燈具(如圖2~4所示)，端視使用需求而定，均無不可。

如圖2所示，前述基部121係設置有3D結構光掃描儀126，以配合前述相機模組122提升三維建模之精準度，並可校正前述載具11之移動位置，使前述相機1222得以保持在相同拍攝距離進行藝術品之多角度拍攝。前述3D結構光掃描儀係通過光源將具備特殊結構的光線投射至藝術品表面，通過單顆或多顆感測器，快速擷取光線在藝術品表面的起伏情形，透過軟體計算得到藝術品表面的立體形態。單一物件經由掃描儀擷取3D點雲數據後，可運用逆向參數式軟體進行三角網格建模建立精細的3D面模型。在藝術品中，有許多含有黑色及高反光性的特殊漆料等材質之藝術品，其對一般白光等結構光掃描儀有其物理性的限制，因此可選用對光照及黑色材質較不敏感的3D紅外線掃描儀，透過特殊紅外線光柵，進而擷取物件完整3D點雲，以取得藝術品3D原始點雲數據最佳效果，進而建立高精細度的三角綱格模型，如此即可補足影像式掃瞄技術的缺點，完成3D掃描數位化作業。

如圖6~14所示，為前述全方位自動光學掃描設備1之第三實施例，其係為一種三軸移動固定式全方位自動光學掃描設備。該全方位自動光學掃描設備1係設置有機台13與拍攝模組14。

如圖6及7所示，前述機台13係設置有底座131，該底座131內係設置有電控設備，前述電控設備係訊號連接前述全方位自動光學掃描設備1之所有電子設備，以進行各電子設備之操作、設定及訊號傳輸。前述底座131之上方係設置有載台132，該載台132係用於放置物品或用於容置3D列印之物品。前述載台132上方係設置有定位元件133，以利用該定位元件133輔助待拍攝藝術品在前述載台132上建立精準的3D點雲座標，如此當前述拍攝模組14完成拍攝並進行3D建模時，即可快速的建立該藝術品的三維座標，並獲得藝術品精準的3D建模數據。如圖6所示，前述定位元件133得為具有特殊立體結構及紋路之立體物件；或如圖7所示，前述定位元件133得為具有特定圖樣標記或尺寸標記之圖板。

如圖6及7所示，前述底座131之上方係設置有三軸移動機構134，並於該三軸移動機構上方設置有一移動座135，該移動座135係透過前述三軸移動機構134以移動到前述底座131上方之任一立體空間位置；前述三軸移動機構得為各種類型之結構，並不限於圖中所示之結構態樣。如圖8所示，前述三軸移動機構134之外側係設置有光罩136，該光罩136得為複數光罩板或一蓋體結構，且該光罩136可防塵、防止異物入侵及防止外部光源之干擾，並可提升該光罩136內之照明效果，使前述載台132上之藝術品可受到均勻的光照。

如圖6、7、8所示，前述底座131之上方係設置有複數組複合式照明裝置16，該複合式照明裝置16得設置於前述三軸移動機構134上、前述載台132與三軸移動機構134之間、或前述光罩136內側，端視使用需求而定，均無不可。前述複合式照明裝置16係為一具有可見光燈、紅外光燈與紫外光燈之至少一種燈之複合式結構，其得為燈條式燈具(如圖6、7、8所示)或可調整角度之燈具(如圖6、7所示)，端視使用需求而定，均無不可。

如圖9~14所示，前述拍攝模組14係設置於前述機台13之移動座135上，前述拍攝模組14係設置有基座141，該基座141係設置於前述移動座135上，前述基座141係樞設一樞轉座142，該基座141與樞轉座142之間係設置有動力傾斜機構143，使前述樞轉座142得相對於前述基座141旋轉並調整傾斜角度。

前述動力傾斜機構143得為設置於前述基座141與樞轉座142樞接位置之舵機 (圖中未示)。或如圖9~14所示，前述動力傾斜機構143係設置一舵機1431，再於該舵機1431樞接一拉桿1432，前述舵機1431與前述拉桿1432之另一端係分別設置於前述基座141與樞轉座142上(亦即前述舵機1431可設置於前述基座141或樞轉座142上，且前述拉桿1432之另一端可相對的設置於前述樞轉座142或基座141上)，如此即可透過舵機1431旋轉的拉動拉桿1432，並使前述基座141與樞轉座142可相對的旋轉並調整傾斜角度。

前述樞轉座142係設置有動力旋轉機構144，該動力旋轉機構144之旋轉軸的軸向位置係與前述基座141和樞轉座142之樞轉軸的軸向位置相互垂直設置，前述動力旋轉機構144係設置有伺服馬達1441，該伺服馬達1441係連接一結合座145，前述結合座145係相對於前述樞轉座142旋轉以調整前述結合座145之位置。

前述結合座145之外側係設置有光學掃描儀146，前述光學掃描儀146得為攝像機或3D結構光掃描儀。當藝術品含有黑色及高反光性的特殊漆料等材質時，本發明適用對光照及黑色材質較不敏感的3D紅外線掃描儀，透過特殊紅外線光柵，進而擷取物件完整3D點雲，以取得藝術品3D原始點雲數據最佳效果，進而建立高精細度的三角綱格模型，如此即可補足攝像機不足之部分，使3D建模更為精細完整。

如圖1所示，前述資料處理單元2係訊號連接前述全方位自動光學掃描設備1，並將該全方位自動光學掃描設備1所擷取之全方位多角度的光學資料(包括影像資料、多光譜拍攝圖像資料、3D影像掃描資料及3D結構光掃描資料)進行處理，並獲得藝術品數位量化之建築資訊模型(BIM)及資料庫。前述光學資料處理技術包括影像式三維建模模組21、3D點雲資料後處理模組22、紋理匹配映射模組23、反射轉換成像自動化處理模組24及多光譜成像模組25。

前述建築資訊模型(BIM)，是以三維數位技術為基礎的資料模型，其集合了整個建築專案(或藝術品專案)的全部相關資訊，並以數位化的形式將各項資訊進行詳盡的表達。建築資訊模型不但具有視覺資訊外，還可以包括多種非幾何資訊，例如病害狀況資訊、材料特性、歷史足跡等。BIM 資訊模型可應用於數位資料查詢及量化統計，以展現劣化損壞狀況的精準位置及各種分類。

因各種常見的歷史文物及藝術品量測方法雖各有優缺點，但皆無法兼顧高精度、高效率及全面性，而近年來因相機技術發展迅速，解析度已達千萬像素且價格日趨低廉。因此，本發明使用之影像式三維建模模組21以影像為依據建立三維立體模型應用於量測，因作業速度快、無需接觸被測物體的特性，因此應用於藝術品量測可大幅增強掃瞄效果。隨著科技時代的演進，影像式掃瞄技術在擷取結構體表面資料時效率更高、範圍更廣、人力要求更低，且能以一定的精度獲取結構物的整體外形資料，因此本發明之影像式三維建模模組21係以影像建構三維物體，採用影像中的特徵點資訊，從運動求得結構 (Structure From Motion, 簡稱SfM) 及多視角立體視覺(Multi-View Stereo, 簡稱MVS)的方式，得到物體的三維點雲和顏色資訊，以重建出物體的三維模型之3D影像式掃瞄技術。影像式掃瞄能夠提供迅速、非接觸性及高精度3D點雲資料，具有應用於結構體資訊化的可行性。本發明使用相機建構結構體影像三維重建的建模，主要是利用運動求得結構從多幅不同角度的圖像序列中尋找特徵點，通過二維圖像的特徵點，計算得到每幅圖像的相機參數以及稀疏的三維點雲。運動求得結構的理論基礎是透視投影幾何原理，即引入一個透視投影模型建立三維和二維之間的關係。運動求得結構(SfM)是指從多幅不同角度的圖像序列中尋找匹配點，並根據匹配點計算出對應的三維點位置、圖像的相機參數的過程。運動求得結構的理論基礎是透視投影幾何原理，即引入一個透視投影模型建立三維和二維之間的關係。運動求得結構的原理是從多個不同角度拍攝的圖像中，萃取匹配的二維特徵點，由二維對應匹配點和投影公式，計算二維匹配點的三維資訊，以及每幅圖像的相機內部參數、朝向以及位置。

前述多視角立體視覺係以標定後的影像序列為輸入，生成對應的三維點雲。其中有以基於區塊的方法，將重建物體表面表示為具有法向的區塊的集合，通過稀疏三維點雲擴散的方法計算出密集的三維點雲，而得到物體的三維結構尺寸。本發明的輸入為沿著結構體分段，進行連續性不同方向角度之重疊影像，擷取取得相鄰兩張擷取的影像。在此首先通過單張圖像分析，得到一個局部結構體模型以及局部相機參數。然後以此具有特徵圖案引入一個基於有向圖的幾何，可以快速進行結構體圖像之間的匹配、排序，計算出一個分段結構體模型以及圖像的初始相機參數。在此初始相機參數及圖像連接關係，進行作為加速運動求得結構演算法，並得到三維稀疏點雲和相機內外部參數。從初步實驗結果可避免，結構體因局部相似性引起的特徵匹配錯誤，而且極大地減少了運動求得結構的計算時間。之後以以上序列影像作為立體分析重建曲面方式，建構結構體三維點雲與影像資料。

前述3D點雲資料後處理模組22係包括3D點雲的縮減、雜訊濾除、資料重整及資料套疊之處理程序。

前述紋理匹配映射模組23係以前述點雲形成的3D建模資料為基準，利用圖像匹配演算法，糾正了正射影像結構體特徵的平移，旋轉，縮放和變形。然後將正射影像的紋理資訊和位置資訊結合，可準確辨識的結構體資訊。在影像粗匹配時採用相關係數法，記錄並保留下粗匹配的特徵點座標，計算出相關係數值，採用最小二乘法(ICP)對影像進行精準匹配。

反射轉換成像(RTI) 是一種以圖像為基礎的記錄方法，在每個像素的基礎上擷取有關表面反射率的資訊。在數學上任何給定的位置，垂直於表面的方向由稱為法線方向， RTI 檔是從固定相機位置，從不同的方向投射光，拍攝藝術品多張數位照片中，獲得每個圖像中的資訊建構的。光從表面反射，使得光的入射角和光的反射角與表面法線成相等的角度。由於相機處於固定位置，每個圖像中的光線可計算求得。這個過程產生了一系列不同的亮點和陰影相同主題的圖像。RTI可以計算圖像中每個像素的表面法線，每個像素中法線的數值與紅-綠-藍（RGB）顏色資訊同時被保存。這種有效記錄色彩和真實3D形狀資訊的能力，使得使用者可在其中控制圖像表面的光照角度，並檢查其表面法線向量。在RTI中取得的反射資訊，圖像中的光照資訊以數學計算處理，生成曲面的數學模型，以每個像素的表面法線的形式，並可用於增強各種細部顯示。RTI與一般的的圖像文件不同處，在於一般的的圖像只記錄每個像素的顏色資訊。但RTI還會在每個像素處，記錄藝術品主體上的表面法線，以及RGB顏色資訊。編碼到RTI圖像中對應於主體上點的每個法線值，並且記錄來自該點，任何方向的光的反射角。法線數據提供關於觀察物表面形狀的準確資訊。前述反射轉換成像自動化處理模組24可讓使用者在更改虛擬光源的方向時，反射係數會為使用者的大腦感知系統提供所需的一切，以便在三維中觀測該藝術品主體。本發明的特色在於，無論是各種尺寸之立體藝術品、可移動或不可移動之藝術品、或平面式藝術品，前述全方位自動光學掃描設備1可提供15°、30°、45°和60°等多照明角度的投射光，其燈具用於照亮藝術品的表面，以產生反射性目標中的突出點。該藝術品從多個光照位置照射，每隔20度沿徑向輻條投射光束形成一個虛擬圓頂。燈的功率設置為足以照亮物體的表面，每盞燈都是一樣的。光源從物體表面的距離約物體直徑的三倍，使用LED光在每張照片中定位照明角度，前述反射轉換成像自動化處理模組24即能夠自動識別光方向從投射的亮點。

前述多光譜成像模組25係透過RTI之可見光成像，以獲得藝術品的紋理色澤及亮度分佈；再以多光譜成像模組透過紅外光的穿透效果以穿透藝術品的顏料層，以觀察顏料層之底層是否有其它肉眼無法觀察到的微弱資訊，例如色層重疊或底稿圖案，且紅外光對碳元素特別敏感，可檢測出微弱的墨線，有助於觀察繪畫的原始風格或佈局技巧；透過紫外光照射於藝術品上會對不同物質發射出不同波長或強度的螢光，即可判斷藝術品是否有受到有機物質或微菌的侵入或侵蝕，並可透過此技術來檢視修復或補筆的痕跡，方便維修人員進行藝術品的維修，以及檢測人員對於藝術品出借損壞的賠償依據及藝術品被調包的依據。不同光源具有不用的應用功能，其中可見光，頻率在400 THz (760 nm)至790 THz (380 nm)之間的電磁輻射，通過折光系統在視網膜上成像，經視神經傳入到大腦視覺中樞，就可以分辨眼睛所看到的物體的色澤和分辨其亮度。紅外線，頻率在300 GHz (1 mm)至400 THz (750 nm)之間，可以穿透藝術品的顏料層的底層是否有其他肉眼無法判斷的反應，例如是否有色層重疊，或是繪有底稿圖案；另外，紅外線對炭元素特別敏感，可以檢測出微弱的墨線，有助於觀察繪畫原始風格。紫外線，頻率在400 THz (750 nm)以上，以紫外光照射於藝術品上，不同物質即會發射不同波長或強度的螢光，判斷藝術品受有機物質或黴菌的侵入及檢視修復或補筆的痕跡。

如圖1所示，前述智慧技術單元3係訊號連接前述資料處理單元2，並將該資料處理單元2所獲得藝術品數位量化之建築資訊模型(BIM)及資料庫，利用深度學習方法(包括人工智慧、資料探勘等)，以自動辨識藝術品之所有狀況位置及狀況類型，並自動產出報告及給出修復建議。前述智慧技術單元3係包括人工智慧辨識偵測模組31與人工智慧檢視判讀模組32。

前述人工智慧辨識偵測模組31係將單一組藝術品之影像及3D資料、或不同時期之多組藝術品之影像及3D資料進行辨識及偵測，並標記異常位置。

前述人工智慧檢視判讀模組32係將前述標記之異常位置之資料進行分析判讀，並獲得藝術品異常位置之狀況類型、相關資料記錄及修復建議報告，以明確的得知藝術品的受損狀況、位置及修復建議。前述人工智慧辨識偵測模組31與人工智慧檢視判讀模組32可利用所有過去搜集到及目前正在處理的所有藝術品劣化資料及修復資料進行訓練，以提升其辨識判讀及修復建議之精準度，並確實的提升藝術品之修復效率。

如圖1所示，前述修復輔助設備4係訊號連接前述資料處理單元2與智慧技術單元3，並將前述資料處理單元2與智慧技術單元3所獲得之所有資料進行輔助修復師之應用，其應用包括藝術品數位典藏、藝術品修復、輔助修復師進行藝術品修復及(或)進行藝術品修復教學，如此即可協助修復師進行藝術品之修復及教學訓練。前述修復輔助設備4得為3D列印修復設備41、AR輔助設備42、VR教學設備43及電腦設備44。

前述3D列印修復設備41得為各種類型之3D列印機，透過前述資料處理單元2與智慧技術單元3所提供之藝術品缺損記錄及三維建模資料，即可供修復師進行確認，並自動進行3D列印修復，再由修復師進行修復確認及調整(包括研磨、上色等色彩及紋理之修復)，以協助修復師提升修復效率。

如圖15所示，前述修復輔助設備4之3D列印修復設備41得為一模組化的3D列印模組15，並可替換的設置於前述全方位自動光學掃描設備1之移動座135上，如此該全方位自動光學掃描設備1即可兼具有全方位自動光學掃描及自動3D列印修復之功能，以節省設備購買及維護成本，亦可減少設備佔用的空間，對於提升修復師之功作效率有非常大的幫助。

前述AR輔助設備42係讓修復師於穿載該AR輔助設備42後，透過AR輔助設備42之鏡頭所拍攝的影像以進行影像分析，並自動搜尋對應的藝術品，再將前述資料處理單元2與智慧技術單元3所提供之各種藝術品資料及修復建議投放至該AR輔助設備42中，亦可透過預先設計之SOP修復流程，以引導修復師依照每種類型及材質之藝術品進行正確的修復程序並同步進行修復記錄，讓修復師可透過操作AR輔助設備42以快速的掌握該藝術品之受損情況，並快速的進行藝術品之修復，且無論是資深修復師或是資淺修復師，透過該AR輔助設備42皆可減少人為誤差及錯誤判斷，並可完整記錄每個藝術品之修復歷程，以提升修復師之人才培訓及教學效果。

前述VR教學設備43係將前述資料處理單元2與智慧技術單元3所提供之各種藝術品資料及修復建議，整合繪圖、聲音、影像、動畫及互動技術，使虛擬實境具備互動性、融入感及專業性，讓藝術品修復教學更為生動有趣，提升修復師之學習效率。

前述電腦設備44係以應用程式(APP)之方式將前述資料處理單元2與智慧技術單元3所提供之各種藝術品資料及修復建議展示在電腦設備44之螢幕上，以供修復師進行APP之資料編輯、設定、運算、輸出等操作，前述電腦設備44得為智慧型手機、平板、及各種類型之電腦。

綜上所述，本發明之藝術品智慧修復系統，透過創新的全方位自動光學掃描技術、資料處理技術、智慧技術與修復輔助技術，讓藝術品之修復變得更有效率且更智慧化，各藝術品修復過程中所獲得的所有數據資料皆可用於數位保存及供智慧技術進行深度學習及訓練。如此，本發明之藝術品智慧修復系統即可針對各種尺寸、形式、材質之彩繪藝術品或一般藝術品提供準確、定量的劣化損傷測定，並能夠突顯、量化和描述藝術品紋理變化，且可提高自動檢測及修復建議之準確性，並減少檢測偽陰性的問題，亦兼具有自動修復之功能，以確實的輔助修復師進行藝術品修復及人才培訓，降低藝術品維護之成本，提升藝術品修復之效率，為本案之組成。

前述第一、第二等詞語係用來表示名稱之區別，而並不表示任何特定的順序。前述之實施例或圖式並非限定本發明之態樣或使用方式，任何所屬技術領域中具有通常知識者之適當變化或修飾，皆應視為不脫離本發明之專利範疇。

1:全方位自動光學掃描設備 11:載具 111:移動機構 112:機械手臂 1121:連接臂 113:放置檯 114:旋轉台 12:拍攝機構 121:基部 1211:連接元件 122:相機模組 1221:雲台 1222:相機 123:機箱 124:懸臂支架 1241:環狀部 1242:第一連接部 125:懸臂 1251:第二連接部 1252:樞轉部 16:複合式照明裝置 126:3D結構光掃描儀 13:機台 131:底座 132:載台 133:定位元件 134:三軸移動機構 135:移動座 136:光罩 14:拍攝模組 141:基座 142:樞轉座 143:傾斜機構 1431:舵機 1432:拉桿 144:動力旋轉機構 1441:伺服馬達 145:結合座 146:光學掃描儀 15:3D列印模組 2:資料處理單元 21:影像式三維建模模組 22:3D點雲資料後處理模組 23:紋理匹配映射模組 24:反射轉換成像自動化處理模組 25:多光譜成像模組 3:智慧技術單元 31:人工智慧辨識偵測模組 32:人工智慧檢視判讀模組 4:修復輔助設備 41:3D列印修復設備 42:AR輔助設備 43:VR教學設備 44:電腦設備

圖1是本發明之系統架構圖。 圖2是本發明之全方位自動光學掃描設備之第一實施例之組裝示意圖。 圖3是圖2之第一動作圖。 圖4是圖2之第二動作圖。 圖5是本發明之全方位自動光學掃描設備之第二實施例之示意圖。 圖6是本發明之全方位自動光學掃描設備之第三實施例之機台之一運用例。 圖7是本發明之全方位自動光學掃描設備之第三實施例之機台之另一運用例。 圖8是本發明之全方位自動光學掃描設備之第三實施例之機台設置光罩之運用例。 圖9是本發明之全方位自動光學掃描設備之第三實施例之部分視圖。 圖10是圖9之第一動作圖。 圖11是圖9之A區放大圖。 圖12是圖10之B區放大圖。 圖13是圖9之第二動作圖。 圖14是圖13之C區放大圖。 圖15是本發明之3D列印修復設備之模組化的3D列印模組之示意圖。

1:全方位自動光學掃描設備

2:資料處理單元

21:影像式三維建模模組

22:3D點雲資料後處理模組

23:紋理匹配映射模組

24:反射轉換成像自動化處理模組

25:多光譜成像模組

3:智慧技術單元

31:人工智慧辨識偵測模組

32:人工智慧檢視判讀模組

4:修復輔助設備

41:3D列印修復設備

42:AR輔助設備

43:VR教學設備

44:電腦設備

Claims (9)

1. 一種藝術品智慧修復系統，至少包含全方位自動光學掃描設備、資料處理單元、智慧技術單元與修復輔助設備： 前述全方位自動光學掃描設備係針對藝術品進行全方位多角度之自動化連續掃描，以擷取藝術品之全方位多角度的光學資料； 前述資料處理單元係訊號連接前述全方位自動光學掃描設備，並將該全方位自動光學掃描設備所擷取之全方位多角度的光學資料進行處理，並獲得藝術品數位量化之建築資訊模型及資料庫； 前述智慧技術單元係訊號連接前述資料處理單元，並將該資料處理單元所獲得藝術品數位量化之建築資訊模型及資料庫，利用深度學習方法，以自動辨識藝術品之所有狀況位置及狀況類型，並自動產出報告及給出修復建議；前述智慧技術單元係包括人工智慧辨識偵測模組與人工智慧檢視判讀模組，前述人工智慧辨識偵測模組係將藝術品之影像及3D資料進行辨識及偵測，並標記異常位置，前述人工智慧檢視判讀模組係將前述標記之異常位置之資料進行分析判讀，並獲得藝術品異常位置之狀況類型、相關資料記錄及修復建議報告； 前述修復輔助設備係訊號連接前述資料處理單元與智慧技術單元，並將前述資料處理單元與智慧技術單元所獲得之所有資料進行輔助修復師之應用； 其中前述修復輔助設備係為3D列印修復設備、AR輔助設備、VR教學設備及電腦設備；前述3D列印修復設備係透過前述資料處理單元與智慧技術單元所提供之藝術品缺損記錄及三維建模資料自動進行3D列印修復，再由修復師進行修復確認及調整；前述AR輔助設備係讓修復師於穿載該AR輔助設備後，透過AR輔助設備之鏡頭所拍攝的影像以進行影像分析，並自動搜尋對應的藝術品，再將前述資料處理單元與智慧技術單元所提供之各種藝術品資料及修復建議投放至該AR輔助設備中，以引導修復師依照每種類型及材質之藝術品進行正確的修復程序並同步進行修復記錄；前述VR教學設備係將前述資料處理單元與智慧技術單元所提供之各種藝術品資料及修復建議，整合繪圖、聲音、影像、動畫及互動技術，以進行虛擬實境教學；前述電腦設備係以APP之方式將前述資料處理單元與智慧技術單元所提供之各種藝術品資料及修復建議展示在電腦設備之螢幕上，以供修復師進行進行APP之操作。
2. 根據請求項1所述之藝術品智慧修復系統，其中前述全方位多角度的光學資料係包括影像資料、多光譜拍攝圖像資料、3D影像掃描資料及3D結構光掃描資料；前述光學資料處理技術係包括影像式三維建模模組、3D點雲資料後處理模組、紋理匹配映射模組、反射轉換成像自動化處理模組及多光譜成像模組。
3. 根據請求項1所述之藝術品智慧修復系統，其中前述全方位自動光學掃描設備係設置一載具與一拍攝機構，前述載具係設置有移動機構，並於該移動機構上方設置一機械手臂，前述機械手臂之未端設置有連接臂；前述拍攝機構係設置有基部，該基部係設置有相機模組與機箱，前述相機模組係設置有雲台與相機，前述機箱係訊號連接前述載具及拍攝機構之所有電子設備，前述基部係設置有連接元件，該連接元件係連接前述機械手臂之連接臂；前述基部係設置有懸臂支架，前述懸臂支架之前端係設置有環狀部，該環狀部上係設置有複數第一連接部，以連接複數懸臂，前述懸臂之一端係設置有第二連接部，該第二連接部係用於連接前述第一連接部，使前述懸臂得以連接固定在前述懸臂支架之任一第一連接部上，前述懸臂係設置有至少一樞轉部，且前述懸臂內側係設置有複數組複合式照明裝置，透過該樞轉部使前述懸臂得以調整其彎曲呈度，以形成爪形光罩結構，前述複合式照明裝置係為一具有可見光燈、紅外光燈與紫外光燈之至少一種燈之複合式結構；前述基部係設置有3D結構光掃描儀。
4. 根據請求項1所述之藝術品智慧修復系統，其中前述全方位自動光學掃描設備係設置一載具與一拍攝機構，前述載具係設置放置檯，並於放置檯之一側設置旋轉台，前述放置檯係用於設置前述拍攝機構，前述旋轉台係用於放置藝術品；前述拍攝機構係設置有基部，該基部係設置有相機模組與機箱，前述相機模組係設置有雲台與相機，前述機箱係訊號連接前述載具及拍攝機構之所有電子設備；前述基部係設置有懸臂支架，前述懸臂支架之前端係設置有環狀部，該環狀部上係設置有複數第一連接部，以連接複數懸臂，前述懸臂之一端係設置有第二連接部，該第二連接部係用於連接前述第一連接部，使前述懸臂得以連接固定在前述懸臂支架之任一第一連接部上，前述懸臂係設置有至少一樞轉部，且前述懸臂內側係設置有複數組複合式照明裝置，透過該樞轉部使前述懸臂得以調整其彎曲呈度，以形成爪形光罩結構，前述複合式照明裝置係為一具有可見光燈、紅外光燈與紫外光燈之至少一種燈之複合式結構；前述基部係設置有3D結構光掃描儀。
5. 根據請求項1所述之藝術品智慧修復系統，其中前述全方位自動光學掃描設備係設置有機台與拍攝模組；前述機台係設置有底座，該底座內係設置有電控設備，前述電控設備係訊號連接前述全方位自動光學掃描設備之所有電子設備，前述底座之上方係設置有載台，前述載台上方係設置有定位元件；前述底座之上方係設置有三軸移動機構，並於該三軸移動機構上方設置有一移動座；前述底座之上方係設置有複數組複合式照明裝置，前述複合式照明裝置係為一具有可見光燈、紅外光燈與紫外光燈之至少一種燈之複合式結構；前述拍攝模組係設置於前述機台之移動座上，前述拍攝模組係設置有基座，該基座係設置於前述移動座上，前述基座係樞設一樞轉座，該基座與樞轉座之間係設置有動力傾斜機構，使前述樞轉座得相對於前述基座旋轉並調整傾斜角度；前述樞轉座係設置有動力旋轉機構，該動力旋轉機構之旋轉軸的軸向位置係與前述基座和樞轉座之樞轉軸的軸向位置相互垂直設置，前述動力旋轉機構係設置有伺服馬達，該伺服馬達係連接一結合座，前述結合座係相對於前述樞轉座旋轉以調整前述結合座之位置，前述結合座之外側係設置有光學掃描儀。
6. 根據請求項6所述之藝術品智慧修復系統，其中前述動力傾斜機構係設置一舵機，再於該舵機樞接一拉桿，前述舵機與前述拉桿之另一端係分別設置於前述基座與樞轉座上，透過前述舵機旋轉的拉動前述拉桿，使前述基座與樞轉座可相對的旋轉並調整傾斜角度。
7. 根據請求項6或7所述之藝術品智慧修復系統，其中前述修復輔助設備係為一模組化的3D列印模組，並可替換的設置於前述全方位自動光學掃描設備之移動座上。
8. 根據請求項6所述之藝術品智慧修復系統，其中前述定位元件得為立體物件；或得為具有特定圖樣標記或尺寸標記之圖板；前述光學掃描儀得為攝像機或3D結構光掃描儀。
9. 根據請求項4、5或9所述之藝術品智慧修復系統，其中前述3D結構光掃描儀係為3D紅外線掃描儀。