TW201917562A - 資料處理方法、裝置、系統和儲存介質 - Google Patents
資料處理方法、裝置、系統和儲存介質 Download PDFInfo
- Publication number
- TW201917562A TW201917562A TW107128735A TW107128735A TW201917562A TW 201917562 A TW201917562 A TW 201917562A TW 107128735 A TW107128735 A TW 107128735A TW 107128735 A TW107128735 A TW 107128735A TW 201917562 A TW201917562 A TW 201917562A
- Authority
- TW
- Taiwan
- Prior art keywords
- feature
- point
- cloud data
- point cloud
- feature point
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three-dimensional [3D] modelling for computer graphics
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Architecture (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Abstract
本發明公開了一種資料處理方法、裝置、系統和儲存介質。該方法包括:確定第一點雲資料中的特徵點以及第二點雲資料中的特徵點,第一點雲資料和第二點雲資料用於表徵同一物體對象的不同部分;對第一點雲資料和第二點雲資料進行特徵匹配,以確定第一點雲資料和第二點雲資料之間的符合特徵匹配條件的特徵點,構成多個特徵點對;對於多個特徵點對中的一個或多個特徵點對,確定特徵點對中的特徵點之間的空間距離符合鄰近條件的變換矩陣;通過變換矩陣,對多個特徵點對中的一個或多個特徵點對進行坐標變換,以將第一點雲資料與第二點雲資料對準。根據本發明實施例提供的資料處理方法,可以提高物體表面特徵對準的準確性和穩定性。
Description
本發明涉及電腦領域,尤其涉及一種資料處理方法、裝置、系統和儲存介質。
無論是在虛擬實境(Virtual Reality,VR)領域還是擴增實境(Augmented Reality,AR)領域,通過採集的三維(Three Dimensional,3D)單視角點雲進行對準後形成完整三維模型都是3D展示的關鍵一步,物體外表面的點資料的集合稱之為點雲。由於3D單視角點雲只能反饋這個視角下的三維物體資訊,如果想要獲得完整即全視角物體的三維資訊,需要將多個3D單視角點雲進行對準,稱為點雲對準。 通過物體表面特徵進行對準往往受限於特徵匹配的準確性,並且受噪聲影響嚴重,穩定性差。
本發明實施例提供一種資料處理方法、裝置、系統和儲存介質,可以提高物體表面特徵對準的準確性和穩定性。 根據本發明實施例的一方面,提供一種資料處理方法,包括: 確定第一點雲資料中的特徵點以及第二點雲資料中的特徵點,第一點雲資料和第二點雲資料用於表徵同一物體對象的不同部分; 對第一點雲資料和第二點雲資料進行特徵匹配,以確定第一點雲資料和第二點雲資料之間的符合特徵匹配條件的特徵點,構成多個特徵點對; 對於多個特徵點對中的一個或多個特徵點對,確定特徵點對中的特徵點之間的空間距離符合鄰近條件的變換矩陣; 通過變換矩陣,對多個特徵點對中的一個或多個特徵點對進行坐標變換,以將第一點雲資料與第二點雲資料對準。 根據本發明實施例的另一方面,提供一種資料處理裝置,包括: 特徵點獲取模組,用於確定第一點雲資料中的特徵點以及第二點雲資料中的特徵點,第一點雲資料和第二點雲資料用於表徵同一物體對象的不同部分; 特徵匹配模組,用於對第一點雲資料和第二點雲資料進行特徵匹配,以確定第一點雲資料和第二點雲資料之間的符合特徵匹配條件的特徵點,構成多個特徵點對; 特徵點對篩選模組,用於對於多個特徵點對中的一個或多個特徵點對,確定特徵點對中的特徵點之間的空間距離符合鄰近條件的變換矩陣; 資料對準模組,用於通過變換矩陣,對多個特徵點對中的一個或多個特徵點對進行坐標變換,以將第一點雲資料與第二點雲資料對準。 根據本發明實施例的再一方面,提供一種資料處理系統,包括:記憶體和處理器;該記憶體用於儲存程式;該處理器用於讀取記憶體中儲存的可執行程式代碼以執行上述的資料處理方法。 根據本發明實施例的又一方面,提供了一種電腦可讀儲存介質,該電腦可讀儲存介質中儲存有指令,當指令在電腦上運行時,使得電腦執行上述各方面的資料處理方法。 根據本發明實施例中的資料處理方法、裝置、系統和儲存介質,可以提高物體表面特徵對準的準確性和穩定性。
下面將詳細描述本發明的各個方面的特徵和示例性實施例,為了使本發明的目的、技術方案及優點更加清楚明白,以下結合圖式及實施例,對本發明進行進一步詳細描述。應理解,此處所描述的具體實施例僅被配置為解釋本發明,並不被配置為限定本發明。對於本領域技術人員來說,本發明可以在不需要這些具體細節中的一些細節的情況下實施。下面對實施例的描述僅僅是為了通過示出本發明的示例來提供對本發明更好的理解。 需要說明的是,在本文中,諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來,而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下,由語句“包括……”限定的要素,並不排除在包括要素的過程、方法、物品或者設備中還存在另外的相同要素。 在本發明實施例中,AR技術可以通過系統自身攜帶的拍攝終端捕獲真實世界的影像視頻,使用圖像對準等技術,估計出影像視頻中虛擬物體的三維姿態,進而將虛擬物體或場景放置到真實環境中預定的位置,最後通過攝像機鏡頭的視角將場景渲染出來。 在本發明實施例中,VR技術是一種電腦仿真系統,在該系統中可以創建和體驗虛擬世界。本質上,該系統利用電腦生成一種模擬環境,該模擬環境包括多源資訊融合的交互式的三維動態視景和對實體行為的系統仿真,可以達到沉浸式體驗。 在上述實施例中,擴增實境技術和虛擬實境技術需要使用三維場景時,可以包括以下步驟: 首先,獲取物體對象的點雲資料。 在本發明實施例中,可以採用例如三維掃描儀、激光或雷達掃描儀、立體攝像機等可以進行三維掃描的儀器設備,對真實場景中的物體對象投射結構光,以進行多視角例如360度不同視角下的三維掃描,獲取真實場景中物體對象的多個點資料,這些點資料構成與不同視角對應的點雲資料。 其次,根據物體對象的與不同視角對應的點雲資料,進行點雲對準。 作為一個示例,在攝像機坐標系下,可以採用不同的拍攝視角對物體對象進行三維掃描,不同拍攝視角下的點雲資料,有時會表現為旋轉錯位或平移錯位。因此,要想得到完整的點雲資料,需要對多個點雲進行對準。 在本發明實施例下面的描述中,可以將對物體對象進行三維掃描時,對發生旋轉或平移的物體對象在不同的拍攝視角下測得的多個點雲資料,視為該多個點雲資料具有不同的視角或在不同的坐標系下。 因此,在本發明實施例中,點雲對準可以被理解為:對點雲資料進行統一坐標系的操作,將不同視角或不同坐標系下拍攝的物體對象的點雲資料,通過旋轉和/或平移操作進行坐標轉換,實現點雲資料在統一坐標系下的一致對準,形成完整的三維點雲資料模型。 在本發明實施例中,可以通過變換矩陣T進行點雲資料之間的坐標變換。 作為一個示例,該變換矩陣可以表示為,其中,R為旋轉分量,並可以表示為一個3×3的矩陣,代表了不同視角下兩個點雲資料之間的旋轉關係;t為平移分量,並可以表示為一個1×3的矩陣,代表了不同視角下兩個點雲資料之間的平移關係,通過該根據變換矩陣T,將不同視角對應的點雲資料坐標變換到統一的坐標系下。 在上述點雲資料對準過程中,可以利用三維重建技術的表面重建的方法,根據獲取的第一點雲資料,得到該物體對象的第一點雲資料的多邊形面片模型。該多邊形面片模型包括多個多邊形面片,每個多邊形面片可以唯一確定一個多邊形平面。 在本發明實施例中,可以對同一物體對象的不同視角或不同坐標系下的點雲資料進行對準。具體地,可以將通過三維重建得到的每個點雲模型對應的多邊形面片模型作為待處理面片,利用變換矩陣,將不同視角或坐標系下的每個待處理面片中的點資料變換到統一坐標系下,得到物體對象的完整的三維點雲資料模型。 為了更好的理解本發明,以具體物體對象是鞋子為例,通過不同視角下的點雲模型,得到該物體對象不同視角下的多邊形面片模型,將多邊形面片模型作為待處理面片模型,描述根據本發明實施例的資料處理方法。應理解,該描述不應被解讀為限制本方案的範圍或實施可能性,對於鞋子以外的具體物體對象的資料處理方法,與結合圖1a至圖1e描述的資料處理方法的具體實現方式保持一致。 圖1a示出了根據本發明實施例的與第一拍攝視角對應的物體對應的第一待處理面片模型;圖1b示出了根據本發明實施例的與第二拍攝視角對應的物體對應的第二待處理面片模型;圖1c示出了根據本發明實施例的與第三拍攝視角對應的物體對應的第三待處理面片模型;圖1d示出了根據本發明實施例的與第四拍攝視角對應的物體對應的第四待處理面片模型;圖1e示出了根據本發明實施例的資料處理方法得到的三維點雲模型的效果示意圖。 在圖1a至圖1d中,第一待處理面片模型是通過三維重建技術獲得的第一視角下的多個第一點雲資料的重建結果;第二待處理面片模型是通過三維重建技術獲得的第二視角下的多個第二點雲資料的重建結果;第三待處理面片模型是通過三維重建技術獲得的第三視角下的多個第三點雲資料的重建結果;第四待處理面片模型是通過三維重建技術獲得的第四視角下的多個第四點雲資料的重建結果。結合圖1a至圖1e,可以對該資料處理方法的處理過程進行詳細的說明和示意性的效果展示。 在下面的描述中,可以將待處理面片模型簡稱為待處理面片。 在本發明實施例中,可以從物體對象的待處理面片中,選擇兩個待處理面片,例如圖1a所示的第一待處理面片和圖1b所示的第二待處理面片,以執行本發明實施例的資料處理方法100。 在該實施例中,資料處理方法100可以包括: 步驟S110,確定第一待處理面片中的特徵點,以及確定第二待處理面片中的特徵點。 具體地,首先,可以對第一待處理面片進行物體對象的表面特徵提取,以及對第二待處理面片進行該物體對象的表面特徵提取;接著,可以通過提取到的第一待處理面片的表面特徵,確定第一待處理面片中的特徵點,以及根據提取到的第二待處理面片的表面特徵,確定第二待處理面片中的特徵點。 在本發明實施例中,每個待處理面片中的點雲資料是可以理解為物體對象的表面特徵的點集合,通過分析點雲資料,可以得到物體對象的表面特徵。 具體地,表面特徵可以包括幾何結構特徵和紋理特徵。幾何特徵至少可以包括物體對象表面採樣點的法向量或曲率,紋理特徵至少可以包括物體對象表面採樣點的亮度或灰度。 作為一個示例,可以利用第一待處理面片中採樣點的法向向量,提取第一待處理面片中的特徵點。 在該示例中,待處理面片的採樣點的法向向量的變化程度,可以用於衡量待處理面片的起伏或平坦程度。當採樣點的法向向量的變化程度越大,則表示該點所在區域的起伏越大。 具體地,獲取第一待處理面片中的採樣點;計算第一待處理面片中的採樣點的法向量;計算第一待處理面片中採樣點的法向量的梯度,法向量的梯度可以用於表示當前採樣點的法向量變化方向,法向量的梯度值可以用於衡量當前採樣點的法向量的變化的快慢;當採樣點的法向量的梯度取得極值時,表示第一待處理面片在當前採樣點法向向量發生突變,則可以將該採樣點作為第一待處理面片中的特徵點。 作為另一個示例,可以利用第一待處理面片的採樣點的曲率,提取第一待處理面片中的特徵點。 在該示例中,待處理面片的採樣點的曲率的變化程度,可以用於衡量待處理面片的曲面彎曲程度。當曲率值變化程度越大,表示曲面彎曲程度越大,即曲面的光滑程度越低。 具體地,獲取第一待處理面片中的採樣點;計算第一待處理面片中的採樣點的曲率值;計算第一待處理面片中採樣點的曲率的梯度,曲率的梯度可以用於表示當前採樣點的曲率的變化方向,曲率的梯度值可以用於衡量當前採樣點的曲率變化的快慢;當採樣點的曲率的梯度取得極值時,表示第一待處理面片在當前採樣點的曲率發生突變,則可以將該採樣點作為第一待處理面片中的特徵點。 在另一個實施例中,可以通過提取第一待處理面片的紋理特徵,確定第一待處理面片中的特徵點。 作為一個示例,可以利用第一待處理面片的採樣點的亮度變化程度,提取第一待處理面片中的特徵點。 具體地,可以獲取第一待處理面片中的採樣點;計算第一待處理面片中的採樣點的亮度值;計算第一待處理面片中採樣點的亮度值的梯度,亮度值的梯度可以用於表示當前採樣點的亮度變化最快的方向,當採樣點的亮度的梯度取得極值時,表示第一待處理面片在當前採樣點的亮度發生突變,則可以將該採樣點作為第一待處理面片中的特徵點。 作為一個示例,可以利用第一待處理面片的採樣點的灰度變化程度,提取第一待處理面片中的特徵點,該處理過程與利用第一待處理面片的採樣點的亮度變化程度,提取第一待處理面片中的特徵點的原理和步驟基本一致,在此不再贅述。 通過步驟S110,可以得到第一待處理面片中的特徵點例如圖1a所示的特徵點A1、特徵點A2和特徵點A3。 如圖1b所示,通過上述實施例提取特徵點的步驟,對圖1b中的第二待處理面片進行提取特徵點的操作,得到第二待處理面片中的特徵點例如特徵點B1、特徵點B2和特徵點B3。 如圖1c所示,通過上述實施例提取特徵點的步驟,對圖1c中的第三待處理面片進行提取特徵點的操作,得到第三待處理面片中的特徵點例如特徵點C1、特徵點C2和特徵點C3。 如圖1d所示,通過上述實施例提取特徵點的步驟,對圖1d中的第四待處理面片進行提取特徵點的操作,得到第四待處理面片中的特徵點例如特徵點D1、特徵點D2和特徵點D3。 步驟S120,對第一待處理面片中的特徵點的表面特徵,以及第二待處理面片中的特徵點的表面特徵,進行特徵匹配,得到第一待處理面片和第二待處理面片的符合特徵匹配條件的特徵點對。 在該步驟中,通過特徵點對,表示第一待處理面片和第二待處理面片間特徵點的對象關係。 在一個實施例中,特徵匹配條件為:基於相同的指定特徵,第一待處理面片中的特徵點的特徵值與第二待處理面片中特徵點的特徵值的差值最小,或該差值在預設的特徵閾值範圍內。 通過上述實施例可知,該指定特徵可以是結構特徵或紋理特徵。 如果指定特徵是曲率,作為一個示例,如圖1a和1b所示,當第一待處理面片中的特徵點A1的曲率值與第二待處理面片中的特徵點B1的曲率值的差值最小,或該差值在預設的曲率閾值範圍內時,認為第一待處理面片中的特徵點A1與第二待處理面片中的特徵點B1結構相似。 作為一個示例,如果指定特徵是亮度,當第一待處理面片中的特徵點A1的亮度值與第二待處理面片中的特徵點B1的亮度值的差值最小,或該差值在預設的亮度閾值範圍內時,認為第一待處理面片中的特徵點A1與第二待處理面片中的特徵點B1紋理相似。 作為另一個示例,可以結合一個以上的指定特徵,對第一待處理面片中的特徵點A1與第二待處理面片中的特徵點B1的相似程度進行判斷。 具體地,可以結合採樣點的曲率和法相向量,判斷第一待處理面片中的特徵點A1與第二待處理面片中的特徵點B1是否結構相似。 具體地,可以結合採樣點的亮度和灰度,判斷第一待處理面片中的特徵點A1與第二待處理面片中的特徵點B1是否紋理相似。 具體地,也可以結合採樣點的結構特徵和紋理特徵,判斷第一待處理面片中的特徵點A1與第二待處理面片中的特徵點B1是否結構相似且紋理相似。 在一個實施例中,獲取第一待處理面片中的特徵點A1,並利用特徵點A1的特徵值,在第二待處理面片中查找第二待處理面片中的特徵點B1,基於相同的指定特徵,特徵點B1的特徵值與特徵點A1的特徵值符合特徵匹配條件。 也就是說,可以認為第二待處理面片中的特徵點B1,是第一待處理面片中的特徵點A1的最佳匹配點,特徵點A1和特徵點B1組成一個特徵點對。 為了獲得的特徵點對更準確,可以進一步上述特徵點A1和特徵點B1的匹配關係進行校驗。 具體地,在一個實施例中,獲取上述實施例中第二待處理面片中的特徵點B1,並利用該特徵點B1的特徵值,進一步在第一待處理面片中查找特徵點(圖中未示出),該特徵點的特徵值與特徵點B1的特徵值符合本發明實施例的特徵匹配條件。 在該實施例中,當第一待處理面片中的特徵點A1和特徵點重合時,即特徵點A1和特徵點為相同的特徵點時,可以將第一待處理面片中的特徵點A1與第二待處理面片中的特徵點B1,作為第一待處理面片和第二待處理面片間的符合特徵匹配條件的特徵點對。 繼續參考圖1a和圖1b,通過上述實施例中的方法,獲得第一待處理面片和第二待處理面片的其他特徵點對。 作為一個示例,其他特徵點對例如可以包括:第一待處理面片中的特徵點A2與第二待處理面片中的特徵點B2,以及第一待處理面片中的特徵點A3與第二待處理面片中的特徵點B3等。 通過上述實施例中尋找特徵點對的方法,可以提高獲得的特徵點對的可靠度。 步驟S130,去除第一待處理面片和第二待處理面片間的錯誤特徵點對,對特徵點對進行提純優化。 在該步驟中,可以將通過上述步驟S120得到的特徵點對作為初始特徵點對。由於噪聲的影響,初始特徵點對中,不可避免的會出現錯誤的特徵點對,並不是所有通過上述步驟得到的特徵點對所表示的兩個待處理面片間的特徵點的對應關係都是準確的。 由於錯誤的特徵點對會對兩個待處理面片間的對準結果產生負面的影響,例如降低對準正確率、造成整體資料模型的錯位,以及影響視覺效果。因此,需要在步驟S120的基礎上,對初始特徵點對所表示的特徵點間的對應關係進行提純優化,去除初始特徵點對中錯誤的特徵點對。 在本發明實施例中,對特徵點對進行提純優化的基本思想是:構建評估模型,根據構建的評估模型,計算上述實施例中的初始對準點對的空間距離。 具體地,當該空間距離計算得到最小值時,得到與該空間距離的最小值對應的坐標變換矩陣,以及初始特徵點對中與該空間距離對應的特徵點對,將該坐標變換矩陣作為最優的坐標變換矩陣T,將上述與該空間距離對應的特徵點對作為有效特徵點對。 在一個實施例中,為了提高與計算得到的坐標變換矩陣和有效特徵點對的精度和穩定性,該評估模型可以包括目標函數和約束條件,該約束條件可以用於控制對空間距離進行計算的精度,該目標函數可以用於減少錯誤的特徵點對的數量,抑制錯誤的特徵點對帶來的對對準精度的影響。 在一個實施例中,該目標函數可以是一個懲罰函數,該懲罰函數例如可以是Welsh函數的錯誤函數、Tukey函數的錯誤函數或Gaman-McClure函數的錯誤函數。下面以該目標函數為Gaman-McClure函數的錯誤函數為例,介紹根據本發明實施例中對特徵點對進行提純優化的方法。 在一個實施例中,該約束條件可以是一個精度控制參數,在精度控制參數的取值範圍內,通過該精度控制參數控制對空間距離進行計算的精度。 在一個實施例中,可以通過下述公式(1)表示評估模型的目標函數:在上述公式(1)中,表示評估模型的目標函數,x表示兩個待匹配面片的特徵點對的空間距離,表示精度控制參數。 在該實施例中,的取值代表求解目標函數的精度,的取值越小,求解目標函數的精度越高,則代表對特徵點對的優化提純過程可以去除更多的錯誤特徵點對。 在一個實施例中,可以通過下述公式(2)表示兩個待匹配面片的特徵點對的空間距離:在上述公式(2)中,P表示第一待處理面片中的特徵點的集合,Q表示第二待處理面片中的特徵點的集合,T表示第一待處理面片與第二待處理面片間特徵點的變換矩陣,x表示第一待處理面片與第二待處理面片間的匹配特徵點對的空間距離。 在一個實施例中,可以通過非線性最小二乘算法,利用上述公式(1)和(2),對空間距離x進行求解。 作為一個示例,為了求解的速度更快,求解的精度更高,也可以通過例如高斯牛頓法對該空間距離x進行求解。 在該實施例中,利用非線性最小二乘算法例如高斯牛頓法,對第一待處理面片與第二待處理面片間的匹配特徵點對的空間距離x進行求解的過程可以表示為: 設置精度控制參數的初始值,利用評估模型對空間距離x進行計算;逐步縮小精度控制參數的取值,從而利用該評估模型對該空間距離x進行迭代計算,當計算得到該空間距離x的最小值時,得到與該空間距離x的最小值對應的坐標變換矩陣以及與該空間距離x對應的特徵點對,將該坐標變換矩陣作為坐標變換矩陣T,將該特徵點對作為有效特徵點對。 作為一個具體的示例,利用非線性最小二乘算法例如高斯牛頓法,基於上述公式(1)和公式(2)對該空間距離x進行求解可以包括: S01,獲取精度控制參數的初始值,根據精度控制參數的初始值,利用上述公式(1)和公式(2)計算空間距離x,並通過計算得到的空間距離x,確定空間坐標變換矩陣T1。 在該步驟中,第一待處理面片和第二待處理面片之間的有效特徵點對,利用坐標變換矩陣T1變換到統一的坐標系後,可以得到空間距離x,作為一個示例,該空間距離x包括例如x1,x2,x3,x4,x5。 S02,減小精度控制參數,得到新的精度參數值,根據新的精度參數值,利用上述公式(1)和上述公式(2),計算空間距離x。 在該步驟中,精度控制參數減小時,利用減小的精度控制參數值,可以提高對上述公式(1)中的空間距離x進行計算的精度。 具體地,當精度控制參數由減小到時,根據精度控制參數值,利用上述公式(1)和公式(2)計算空間距離x,並通過計算得到的空間距離x,確定空間坐標變換矩陣T2。 在該步驟中,第一待處理面片和第二待處理面片之間的有效特徵點對,利用坐標變換矩陣T2變換到統一的坐標系後,可以得到空間距離x,作為一個示例,該空間距離x包括例如x1,x3,x4。 因此,在精度控制參數的控制下,通過減小精度控制參數來提高計算精度時,空間距離值大於空間距離閾值的特徵點對將被去除,該空間距離閾值與精度控制參數的取值相關,基於該與精度控制參數的取值相關的空間距離閾值,精度控制參數的取值越小,就會有越多的空間距離值大於該相關的空間距離閾值的特徵點對被去除。 步驟S03,在精度控制參數的取值範圍內,逐步減小精度控制參數進行迭代處理,根據減小後的精度控制參數例如,繼續利用上述公式(1)對上述公式(2)中的空間距離x求解,得到與該空間距離x的最小值對應的坐標變換矩陣作為坐標變換矩陣Tn。 在該步驟中,第一待處理面片和第二待處理面片之間的有效特徵點對,利用坐標變換矩陣Tn變換到統一的坐標系後,可以得到空間距離x包括x1,x1為空間距離x的最小值。 作為一個示例,在精度控制參數的取值範圍內,當計算得到該空間距離的最小值時,將最該空間距離x的最小值對應的空間坐標變換矩陣Tn作為最優的空間坐標變換矩陣。 在本發明實施例中,獲取第一待處理面片和第二待處理面片之間的特徵點對,當該特徵點對的空間距離滿足與精度控制參數的取值相關的空間距離閾值時,認為特徵點對的空間距離符合鄰近條件。 也就是說,該最優的空間坐標變換矩陣也可以稱為符合該鄰近條件的變換矩陣。 在該實施例中,逐步減小精度控制參數可以通過多種方式實現。例如,可以基於固定的精度控制參數步長值逐步減小精度控制參數,也可以根據預先設置好的精度控制參數取值,並按照由大到小的順序對精度控制參數取值進行上述實施例中的計算。 在本發明實施例中,利用上述實施例中得到的坐標變換矩陣T,將有效特徵點對變換到相同的坐標系下,從而實現第一待處理面片與第二待處理面片間的有效特徵點對的對準。 具體地,在該實施例中,可以利用符合該鄰近條件的變換矩陣,通過上述公式(2)對第二待處理面片中的特徵點的集合Q進行坐標轉換,即利用上述實施例中旋轉矩陣T,對特徵點的集合Q的每個採樣點進行基於旋轉分量R的旋轉操作,以及基於平移分量t的平移操作,使坐標轉換後的特徵點的集合Q與第一待處理面片中的特徵點的集合P,轉換到相同的視角或相同的坐標系下,實現第一待處理面片中的第一點雲資料和第二待處理面片中的第二點雲資料的對準。 作為一個示例,多個點雲資料經過對準後,可以將經過對準的點雲資料在相同坐標系下通過位移達到重合,得到完整的三維點雲資料模型。 作為一個具體的示例,可以利用本發明實施例的資料處理方法,根據圖1a示出的第一點雲資料和圖1b示出的第二點雲資料,對第一待處理面片和第二待處理面片進行點雲對準,得到第一點雲對準結果(圖中未示出);並利用相同的方法,將圖1c示出的第三待處理面片和圖1d所示的第四待處理面片進行點雲對準,得到第二點雲對準結果(圖中未示出);利用相同的方法,將第一點雲對準結果中的點雲資料與第二點雲對準結果進行點雲對準,得到如圖1e示出的點雲資料模型。 圖1e所示點雲資料模型中,特徵點A1(B1)表示對第一點雲資料和第二點雲資料進行對準後,特徵點A1和特徵點B1重合,當特徵點A1和特徵點B1重合時,特徵點A1和特徵點B1的空間距離最小。 在一些實施例中,對多個點雲資料進行處理時,可以在多個點雲資料任意選取兩個點雲資料進行處理,得到新的點雲資料;並可以再從該新的點雲資料、以及多個點雲資料中的其他未對準的點雲資料中任意選擇兩個點雲資料,並執行本發明實施例的資料處理方法,直到全部的點雲資料均完成對準,得到一個如圖1e所示的完整的三維點雲資料模型。 在該實施例中,經過步驟S130中對特徵點對的提純優化處理,待處理面片之間特徵點對的準確度高,並具有很好的抗噪能力。大量實踐表明,通過本發明實施例的資料處理方法,在待處理面片之間進行特徵點匹配的信噪比在小於等於0.7或小於等於0.4的情況下,均可以獲得高精度和高準確率的特徵點匹配結果,從而得到穩定準確的三維點雲資料模型。 圖2是示出根據本發明一實施例的資料處理方法的流程圖。如圖2所示,本發明實施例中的資料處理方法200包括以下步驟: 步驟S210,確定第一點雲資料中的特徵點以及第二點雲資料中的特徵點,第一點雲資料和第二點雲資料用於表徵同一物體對象的不同部分。 在一個實施例中,步驟S210具體可以包括: 步驟S211,按照指定特徵的選取標準,從第一點雲資料中提取符合選取標準的特徵點;以及 步驟S212,從第二點雲資料中提取符合選取標準的特徵點。 步驟S220,對第一點雲資料和第二點雲資料進行特徵匹配,以確定第一點雲資料和第二點雲資料之間的符合特徵匹配條件的特徵點,構成多個特徵點對。 在一個實施例中,步驟S220具體可以包括: 步驟S221,獲取第一點雲資料中的第一特徵點,利用第一特徵點的特徵值,查找第二點雲資料中的第二特徵點,第二特徵點的特徵值與第一特徵點的特徵值之間滿足特徵值閾值條件; 步驟S222,利用第二特徵點的特徵值,查找第一點雲資料中的第三特徵點,第三特徵點的特徵值與第二特徵點的特徵值之間滿足特徵值閾值條件; 步驟S223,當第一特徵點與第三特徵點重合時,確定第一特徵點和第二特徵點為符合特徵匹配條件的特徵點,構成多個特徵點對。 步驟S230,對於多個特徵點對中的一個或多個特徵點對,確定特徵點對中的特徵點之間的空間距離符合鄰近條件的變換矩陣。 在一個實施例中,步驟S230具體可以包括: 步驟S231,基於空間距離和精度控制參數,構建多個特徵點對中的一個或多個特徵點對的評估模型; 步驟S232,在精度控制參數的控制下,利用評估模型對空間距離進行迭代處理,得到特徵點對中的有效特徵點對以及有效特徵點對之間的變換矩陣,將有效特徵點對之間的變換矩陣作為特徵點對中的特徵點之間的空間距離符合鄰近條件的變換矩陣。 具體地,步驟S232具體可以包括: 縮小精度控制參數,利用評估模型和縮小的精度控制參數,構建新的評估模型;利用新的評估模型對特徵點對的空間距離進行求解的過程中,繼續縮小精度控制參數進行迭代處理,直到空間距離的取值最小時,得到特徵點對中的有效特徵點對,以及有效特徵點對之間的變換矩陣。 通過上述步驟S230,可以對特徵點對進行提純優化,去除由於噪聲干擾造成的錯誤特徵點對,利用提純優化後的特徵點對進行對準,可以提高特徵點匹配結果的精度和準確率,從而得到穩定準確的三維點雲資料模型。 步驟S240,通過變換矩陣,對多個特徵點對中的一個或多個特徵點對進行坐標變換,以將第一點雲資料與第二點雲資料對準。 通過上述步驟S210-S240,可以對物體對象的第一點雲資料和第二點雲資料進行對準,為了得到完整的三維點雲資料模型,資料處理方法200還可以包括: 步驟S250,將對準後的第一點雲資料與第二點雲資料作為第一點雲資料,重新確定第一點雲資料中的特徵點,直到物體對象的全部點雲資料完成對準,得到物體對象的完整的三維點雲資料模型。 通過本發明實施例的資料處理方法,當特徵點的匹配信噪比較低時,也可以獲得較為穩定的對準結果。 下面結合圖式,詳細介紹根據本發明實施例的資料處理裝置。 圖3示出了根據本發明一實施例提供的資料處理裝置的結構示意圖。如圖4所示,資料處理裝置300包括: 特徵點獲取模組310,用於確定第一點雲資料中的特徵點以及第二點雲資料中的特徵點,第一點雲資料和第二點雲資料用於表徵同一物體對象的不同部分; 特徵匹配模組320,用於對第一點雲資料和第二點雲資料進行特徵匹配,以確定第一點雲資料和第二點雲資料之間的符合特徵匹配條件的特徵點,構成多個特徵點對; 特徵點對篩選模組330,用於對於多個特徵點對中的一個或多個特徵點對,確定特徵點對中的特徵點之間的空間距離符合鄰近條件的變換矩陣; 資料對準模組340,用於通過變換矩陣,對多個特徵點對中的一個或多個特徵點對進行坐標變換,以將第一點雲資料與第二點雲資料對準。 在一個實施例中,特徵點獲取模組310可以包括: 第一特徵點選取單元,用於按照指定特徵的選取標準,從第一點雲資料中提取符合選取標準的特徵點;以及第二特徵點選取單元,用於從第二點雲資料中提取符合選取標準的特徵點。 在該實施例中,指定特徵至少包括幾何結構特徵或顏色特徵。 在一個實施例中,特徵匹配模組320可以包括: 第一特徵點查找單元,用於獲取第一點雲資料中的第一特徵點,利用第一特徵點的特徵值,查找第二點雲資料中的第二特徵點,第二特徵點的特徵值與第一特徵點的特徵值之間滿足特徵值閾值條件; 第二特徵點查找單元,用於利用第二特徵點的特徵值,查找第一點雲資料中的第三特徵點,第三特徵點的特徵值與第二特徵點的特徵值之間滿足特徵值閾值條件;以及 特徵點對匹配確定單元,用於當第一特徵點與第三特徵點重合時,確定第一特徵點和第二特徵點為符合特徵匹配條件的特徵點,構成多個特徵點對。 在一個實施例中,特徵點對篩選模組330可以包括: 評估模型構建單元,用於基於空間距離和精度控制參數,構建多個特徵點對中的一個或多個特徵點對的評估模型;以及 變換矩陣計算單元,用於在精度控制參數的控制下,利用評估模型對空間距離進行迭代處理,得到特徵點對中的有效特徵點對以及有效特徵點對之間的變換矩陣,將有效特徵點對之間的變換矩陣作為特徵點對中的特徵點之間的空間距離符合鄰近條件的變換矩陣。 在一個實施例中,變換矩陣計算單元還可以包括: 精度控制子單元,用於縮小精度控制參數,利用評估模型和縮小的精度控制參數,構建新的評估模型; 變換矩陣計算單元還用於利用新的評估模型對特徵點對的空間距離進行求解的過程中,繼續縮小精度控制參數進行迭代處理,直到空間距離的取值最小時,得到特徵點對中的有效特徵點對,以及有效特徵點對之間的變換矩陣。 在一個實施例中,資料處理裝置300還可以包括: 迭代對準模組,用於將對準後的第一點雲資料與第二點雲資料作為第一點雲資料,重新確定第一點雲資料中的特徵點,直到物體對象的全部點雲資料完成,得到物體對象的完整的三維點雲資料模型。 根據本發明實施例的資料處理裝置對不同視角或不同坐標系下的點雲資料進行對準,可以得到穩定性和精度較高的對準結果。 根據本發明實施例的資料處理裝置的其他細節與以上結合圖1a-圖1e描述的根據本發明實施例的資料處理方法類似,在此不再贅述。 結合圖1a-圖1e以及圖3描述的根據本發明實施例的資料處理方法和裝置可以由計算設備實現。 圖4是示出能夠實現根據本發明實施例的資料處理方法和裝置的計算設備的示例性硬體架構的結構圖。 如圖4所示,計算設備400包括輸入設備401、輸入介面402、中央處理器403、記憶體404、輸出介面405、以及輸出設備406。其中,輸入介面402、中央處理器403、記憶體404、以及輸出介面405通過匯流排410相互連接,輸入設備401和輸出設備406分別通過輸入介面402和輸出介面405與匯流排410連接,進而與計算設備400的其他組件連接。具體地,輸入設備601接收來自外部(例如,三維掃描儀)的輸入資訊,並通過輸入介面402將輸入資訊傳送到中央處理器403;中央處理器403基於記憶體404中儲存的電腦可執行指令對輸入資訊進行處理以生成輸出資訊,將輸出資訊臨時或者永久地儲存在記憶體404中,然後通過輸出介面405將輸出資訊傳送到輸出設備406;輸出設備406將輸出資訊輸出到計算設備400的外部供用戶使用。 在一個實施例中,圖4所示的計算設備400可以被實現為一種資料處理系統,包括:記憶體和處理器;記憶體用於儲存有可執行程式代碼;處理器用於讀取記憶體中儲存的可執行程式代碼以執行上述實施例的資料處理方法。 通過本發明實施例的圖像設備,可以對不同視角或不同坐標系下的點雲資料進行對準,可以得到穩定性和精度較高的對準結果。 在上述實施例中,可以全部或部分地通過軟體、硬體、韌體或者其任意組合來實現。當使用軟體實現時,可以全部或部分地以電腦程式產品或電腦可讀儲存介質的形式實現。該電腦程式產品或電腦可讀儲存介質包括一個或多個電腦指令。在電腦上加載和執行該電腦程式指令時,全部或部分地產生按照本發明實施例所述的流程或功能。該電腦可以是通用電腦、專用電腦、電腦網路、或者其他可編程裝置。該電腦指令可以儲存在電腦可讀儲存介質中,或者從一個電腦可讀儲存介質向另一個電腦可讀儲存介質傳輸,例如,該電腦指令可以從一個網站站點、電腦、伺服器或資料中心通過有線(例如同軸電纜、光纖、數位用戶線(DSL))或無線(例如紅外線、無線、微波等)方式向另一個網站站點、電腦、伺服器或資料中心進行傳輸。該電腦可讀儲存介質可以是電腦能夠存取的任何可用介質或者是包含一個或多個可用介質集成的伺服器、資料中心等資料儲存設備。該可用介質可以是磁性介質,(例如,軟碟、硬碟、磁帶)、光介質(例如,DVD)、或者半導體介質(例如固態硬碟Solid State Disk (SSD))等。 需要明確的是,本發明並不局限於上文所描述並在圖中示出的特定配置和處理。為了簡明起見,這裡省略了對已知方法的詳細描述。在上述實施例中,描述和示出了若干具體的步驟作為示例。但是,本發明的方法過程並不限於所描述和示出的具體步驟,本領域的技術人員可以在領會本發明的精神後,作出各種改變、修改和添加,或者改變步驟之間的順序。 以上所述,僅為本發明的具體實施方式,所屬領域的技術人員可以清楚地瞭解到,為了描述的方便和簡潔,上述描述的系統、模組和單元的具體工作過程,可以參考前述方法實施例中的對應過程,在此不再贅述。應理解,本發明的保護範圍並不局限於此,任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內,可輕易想到各種等效的修改或替換,這些修改或替換都應涵蓋在本發明的保護範圍之內。
200‧‧‧資料處理方法
300‧‧‧資料處理裝置
310‧‧‧特徵點獲取模組
320‧‧‧特徵匹配模組
330‧‧‧特徵點對篩選模組
340‧‧‧資料對準模組
400‧‧‧計算設備
401‧‧‧輸入設備
402‧‧‧輸入介面
403‧‧‧中央處理器
404‧‧‧記憶體
405‧‧‧輸出介面
406‧‧‧輸出設備
410‧‧‧匯流排
S210~S240‧‧‧步驟
為了更清楚地說明本發明實施例的技術方案,下面將對本發明實施例中所需要使用的圖式作簡單地介紹,對於本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些圖式獲得其他的圖式。 圖1a是示出根據本發明實施例的與第一拍攝視角對應的物體對應的第一待處理面片模型; 圖1b是示出根據本發明實施例的與第二拍攝視角對應的物體對應的第二待處理面片模型; 圖1c是示出根據本發明實施例的與第三拍攝視角對應的物體對應的第三待處理面片模型; 圖1d是示出根據本發明實施例的與第四拍攝視角對應的物體對應的第四待處理面片模型; 圖1e是示出根據本發明實施例的資料處理方法得到的三維點雲資料模型的效果示意圖; 圖2是示出根據本發明一實施例的資料處理方法的流程圖; 圖3是示出根據本發明一實施例的資料處理裝置的結構示意圖; 圖4是示出了可以實現根據本發明實施例的資料處理方法和裝置的計算設備的示例性硬體架構的結構圖。
Claims (16)
- 一種資料處理方法,包括: 確定第一點雲資料中的特徵點以及第二點雲資料中的特徵點,該第一點雲資料和該第二點雲資料用於表徵同一物體對象的不同部分; 對該第一點雲資料和該第二點雲資料進行特徵匹配,以確定該第一點雲資料和該第二點雲資料之間的符合特徵匹配條件的特徵點,構成多個特徵點對; 對於該多個特徵點對中的一個或多個特徵點對,確定該特徵點對中的特徵點之間的空間距離符合鄰近條件的變換矩陣; 通過該變換矩陣,對該多個特徵點對中的一個或多個特徵點對進行坐標變換,以將該第一點雲資料與該第二點雲資料對準。
- 根據請求項1所述的資料處理方法,其中,該確定第一點雲資料中的特徵點以及第二點雲資料中的特徵點,包括: 按照指定特徵的選取標準,從該第一點雲資料中提取符合該選取標準的特徵點;以及 從該第二點雲資料中提取符合該選取標準的特徵點。
- 根據請求項2所述的資料處理方法,其中, 該指定特徵至少包括幾何結構特徵或顏色特徵。
- 根據請求項1所述的資料處理方法,其中,該對該第一點雲資料和該第二點雲資料進行特徵匹配,以確定該第一點雲資料和該第二點雲資料之間的符合特徵匹配條件的特徵點,構成多個特徵點對,包括: 獲取該第一點雲資料中的第一特徵點,利用該第一特徵點的特徵值,查找該第二點雲資料中的第二特徵點,該第二特徵點的特徵值與該第一特徵點的特徵值之間滿足特徵值閾值條件; 利用該第二特徵點的特徵值,查找該第一點雲資料中的第三特徵點,該第三特徵點的特徵值與該第二特徵點的特徵值之間滿足該特徵值閾值條件; 當該第一特徵點與該第三特徵點重合時,確定該第一特徵點和該第二特徵點為該符合特徵匹配條件的特徵點,構成多個特徵點對。
- 根據請求項1所述的資料處理方法,其中,該對於該多個特徵點對中的一個或多個特徵點對,確定該特徵點對中的特徵點之間的空間距離符合鄰近條件的變換矩陣,包括: 基於該空間距離和精度控制參數,構建該多個特徵點對中的一個或多個特徵點對的評估模型; 在精度控制參數的控制下,利用該評估模型對該空間距離進行迭代處理,得到該特徵點對中的有效特徵點對以及該有效特徵點對之間的變換矩陣,將該有效特徵點對之間的變換矩陣作為該特徵點對中的特徵點之間的空間距離符合鄰近條件的變換矩陣。
- 根據請求項5所述的資料處理方法,其中,該在精度控制參數的控制下,利用該評估模型對該空間距離進行迭代處理,得到該特徵點對中的有效特徵點對,以及該有效特徵點對之間的變換矩陣,包括: 縮小該精度控制參數,利用該評估模型和縮小的精度控制參數,構建新的評估模型; 利用該新的評估模型對該特徵點對的空間距離進行求解的過程中,繼續縮小該精度控制參數進行迭代處理,直到該空間距離的取值最小時,得到該特徵點對中的有效特徵點對,以及該有效特徵點對之間的變換矩陣。
- 根據請求項1所述的資料處理方法,還包括: 將對準後的該第一點雲資料與該第二點雲資料作為該第一點雲資料,重新確定該第一點雲資料中的特徵點,直到該物體對象的全部點雲資料完成對準,得到該物體對象的完整的三維點雲資料模型。
- 一種資料處理裝置,包括: 特徵點獲取模組,用於確定第一點雲資料中的特徵點以及第二點雲資料中的特徵點,該第一點雲資料和該第二點雲資料用於表徵同一物體對象的不同部分; 特徵匹配模組,用於對該第一點雲資料和該第二點雲資料進行特徵匹配,以確定該第一點雲資料和該第二點雲資料之間的符合特徵匹配條件的特徵點,構成多個特徵點對; 特徵點對篩選模組,用於對於該多個特徵點對中的一個或多個特徵點對,確定該特徵點對中的特徵點之間的空間距離符合鄰近條件的變換矩陣; 資料對準模組,用於通過該變換矩陣,對該多個特徵點對中的一個或多個特徵點對進行坐標變換,以將該第一點雲資料與該第二點雲資料對準。
- 根據請求項8所述的資料處理裝置,其中,該特徵點獲取模組,包括: 第一特徵點選取單元,用於按照指定特徵的選取標準,從該第一點雲資料中提取符合該選取標準的特徵點;以及 第二特徵點選取單元,用於從該第二點雲資料中提取符合該選取標準的特徵點。
- 根據請求項9所述的資料處理方法,其中, 該指定特徵至少包括幾何結構特徵或顏色特徵。
- 根據請求項8所述的資料處理裝置,其中,該特徵匹配模組,包括: 第一特徵點查找單元,用於獲取該第一點雲資料中的第一特徵點,利用該第一特徵點的特徵值,查找該第二點雲資料中的第二特徵點,該第二特徵點的特徵值與該第一特徵點的特徵值之間滿足特徵值閾值條件; 第二特徵點查找單元,用於利用該第二特徵點的特徵值,查找該第一點雲資料中的第三特徵點,該第三特徵點的特徵值與該第二特徵點的特徵值之間滿足該特徵值閾值條件; 特徵點對匹配確定單元,用於當該第一特徵點與該第三特徵點重合時,確定該第一特徵點和該第二特徵點為該符合特徵匹配條件的特徵點,構成多個特徵點對。
- 根據請求項8所述的資料處理裝置,其中,該特徵點對篩選模組,包括: 評估模型構建單元,用於基於該空間距離和精度控制參數,構建該多個特徵點對中的一個或多個特徵點對的評估模型; 變換矩陣計算單元,用於在精度控制參數的控制下,利用該評估模型對該空間距離進行迭代處理,得到該特徵點對中的有效特徵點對以及該有效特徵點對之間的變換矩陣,將該有效特徵點對之間的變換矩陣作為該特徵點對中的特徵點之間的空間距離符合鄰近條件的變換矩陣。
- 根據請求項12所述的資料處理裝置,其中,該變換矩陣計算單元,包括: 精度控制子單元,用於縮小該精度控制參數,利用該評估模型和縮小的精度控制參數,構建新的評估模型; 該變換矩陣計算單元還用於:利用該新的評估模型對該特徵點對的空間距離進行求解的過程中,繼續縮小該精度控制參數進行迭代處理,直到該空間距離的取值最小時,得到該特徵點對中的有效特徵點對,以及該有效特徵點對之間的變換矩陣。
- 根據請求項8所述的資料處理裝置,還包括: 迭代對準模組,用於將對準後的該第一點雲資料與該第二點雲資料作為該第一點雲資料,重新確定該第一點雲資料中的特徵點,直到該物體對象的全部點雲資料完成,得到該物體對象的完整的三維點雲資料模型。
- 一種資料處理系統,其特徵在於,包括記憶體和處理器; 該記憶體用於儲存有可執行程式代碼; 該處理器用於讀取該記憶體中儲存的可執行程式代碼以執行請求項1至7任一項所述的資料處理方法。
- 一種電腦可讀儲存介質,其特徵在於,該電腦可讀儲存介質包括指令,當該指令在電腦上運行時,使得電腦執行如請求項1-7任意一項所述的資料處理方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710984833.XA CN109697728B (zh) | 2017-10-20 | 2017-10-20 | 数据处理方法、装置、系统和存储介质 |
| ??201710984833.X | 2017-10-20 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW201917562A true TW201917562A (zh) | 2019-05-01 |
Family
ID=66171147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW107128735A TW201917562A (zh) | 2017-10-20 | 2018-08-17 | 資料處理方法、裝置、系統和儲存介質 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10706567B2 (zh) |
| EP (2) | EP4421749A3 (zh) |
| CN (2) | CN116385505B (zh) |
| TW (1) | TW201917562A (zh) |
| WO (1) | WO2019079766A1 (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7047849B2 (ja) * | 2017-12-14 | 2022-04-05 | 日本電気株式会社 | 識別装置、識別方法、および識別プログラム |
| US11294060B2 (en) * | 2018-04-18 | 2022-04-05 | Faraday & Future Inc. | System and method for lidar-based vehicular localization relating to autonomous navigation |
| US12067683B2 (en) * | 2018-09-14 | 2024-08-20 | Streem, Llc | Location persistent augmented reality object and annotation placement |
| CN110084840B (zh) * | 2019-04-24 | 2022-05-13 | 阿波罗智能技术(北京)有限公司 | 点云配准方法、装置、服务器和计算机可读介质 |
| CN110335295B (zh) * | 2019-06-06 | 2021-05-11 | 浙江大学 | 一种基于tof相机的植物点云采集配准与优化方法 |
| CN110992258B (zh) * | 2019-10-14 | 2021-07-30 | 中国科学院自动化研究所 | 基于弱色差信息的高精度rgb-d点云拼接方法和系统 |
| CN111415379B (zh) * | 2020-03-23 | 2023-06-20 | 南京大学 | 一种基于布谷鸟优化的三维点云数据配准方法 |
| CN111915677B (zh) * | 2020-07-08 | 2023-11-17 | 哈尔滨工程大学 | 一种基于三维点云特征的船舶位姿估计方法 |
| CN114140761A (zh) * | 2020-08-13 | 2022-03-04 | 长沙智能驾驶研究院有限公司 | 点云配准方法、装置、计算机设备和存储介质 |
| US11398079B2 (en) * | 2020-09-23 | 2022-07-26 | Shopify Inc. | Systems and methods for generating augmented reality content based on distorted three-dimensional models |
| CN115496667B (zh) * | 2021-06-17 | 2026-02-03 | 北京四维图新科技股份有限公司 | 点云数据的平滑方法、装置、电子设备及存储介质 |
| CN113192114B (zh) * | 2021-07-01 | 2021-09-03 | 四川大学 | 基于重叠特征与局部距离约束的叶片多视场点云配准方法 |
| CN113587816B (zh) * | 2021-08-04 | 2024-07-26 | 天津微深联创科技有限公司 | 一种阵列式大场景结构光三维扫描测量方法及其装置 |
| WO2023032216A1 (ja) * | 2021-09-06 | 2023-03-09 | 日本電信電話株式会社 | 点群補完装置、点群補完方法、及び点群補完プログラム |
| CN113689471B (zh) * | 2021-09-09 | 2023-08-18 | 中国联合网络通信集团有限公司 | 目标跟踪方法、装置、计算机设备及存储介质 |
| CN114037814B (zh) * | 2021-11-11 | 2022-12-23 | 北京百度网讯科技有限公司 | 数据处理方法、装置、电子设备和介质 |
| CN114297237B (zh) * | 2021-12-14 | 2024-10-18 | 中煤华晋集团有限公司 | 基于类别融合的三维点云数据检索方法、装置及计算机设备 |
| CN114549601B (zh) * | 2022-02-11 | 2023-03-28 | 中国科学院精密测量科学与技术创新研究院 | 一种顾及点对可靠性的滑坡多时相tls点云精配准方法 |
| CN114373358B (zh) * | 2022-03-07 | 2023-11-24 | 中国人民解放军空军工程大学航空机务士官学校 | 一种基于快速建模的航空飞机维护作业模拟训练系统 |
| CN117176926A (zh) * | 2022-05-27 | 2023-12-05 | 苏州佳世达光电有限公司 | 三维影像产生方法及系统 |
| CN115065801A (zh) * | 2022-06-21 | 2022-09-16 | 未鲲(上海)科技服务有限公司 | 基于ar的视频聊天方法、装置、电子设备及存储介质 |
| CN115661220B (zh) * | 2022-12-28 | 2023-03-17 | 深圳煜炜光学科技有限公司 | 点云数据配准方法、装置、设备及存储介质 |
| CN116734871B (zh) * | 2023-03-28 | 2026-07-17 | 中国第一汽车股份有限公司 | 地图构建方法、定位方法、数据采集车辆及车辆 |
| CN118279470B (zh) * | 2023-07-26 | 2025-11-07 | 比亚迪股份有限公司 | 数据处理方法、电子设备、车辆及存储介质 |
| CN118518009B (zh) * | 2024-07-19 | 2024-10-15 | 湖南视比特机器人有限公司 | 标定参数确定方法、校正方法、介质及设备 |
| CN118577988B (zh) * | 2024-08-06 | 2024-10-29 | 武汉新耐视智能科技有限责任公司 | 一种用于动力电池飞行焊接的高度同步跟踪方法及装置 |
| CN118736140B (zh) * | 2024-09-03 | 2024-11-29 | 国网江西省电力有限公司超高压分公司 | 一种基于三维模型变电站安全预警系统及方法 |
| CN120047622B (zh) * | 2025-02-21 | 2025-12-12 | 天津理工大学 | 基于旋转不变区域一致性的双视图点云重建方法 |
| CN120852495B (zh) * | 2025-09-23 | 2025-11-21 | 天津博诺智创机器人技术有限公司 | 一种基于曲率密度特征提取的点云配准方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5848115A (en) * | 1997-05-02 | 1998-12-08 | General Electric Company | Computed tomography metrology |
| US6701006B2 (en) * | 2002-06-26 | 2004-03-02 | Nextengine, Inc. | Apparatus and method for point cloud assembly |
| DE112010004767B4 (de) | 2009-12-11 | 2024-09-12 | Kabushiki Kaisha Topcon | Punktwolkedaten-Verarbeitungsvorrichtung, Punktwolkedaten-Verarbeitungsverfahren und Punktwolkedaten-Verarbeitungsprogramm |
| JP5343042B2 (ja) * | 2010-06-25 | 2013-11-13 | 株式会社トプコン | 点群データ処理装置および点群データ処理プログラム |
| US8872851B2 (en) | 2010-09-24 | 2014-10-28 | Intel Corporation | Augmenting image data based on related 3D point cloud data |
| JP6030549B2 (ja) * | 2011-04-13 | 2016-11-24 | 株式会社トプコン | 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム |
| US8818133B2 (en) | 2012-07-11 | 2014-08-26 | Raytheon Company | Point cloud construction with unposed camera |
| CN103197308B (zh) * | 2013-03-15 | 2015-04-01 | 浙江大学 | 基于多波束相控阵声纳系统的三维声纳可视化处理方法 |
| US9443297B2 (en) | 2013-07-10 | 2016-09-13 | Cognex Corporation | System and method for selective determination of point clouds |
| CN106033621B (zh) | 2015-03-17 | 2018-08-24 | 阿里巴巴集团控股有限公司 | 一种三维建模的方法及装置 |
| US9760996B2 (en) * | 2015-08-11 | 2017-09-12 | Nokia Technologies Oy | Non-rigid registration for large-scale space-time 3D point cloud alignment |
| CN106371586B (zh) * | 2016-08-24 | 2018-10-26 | 同济大学 | 一种互动区域可调的增强现实实现方法 |
| CN106651752B (zh) * | 2016-09-27 | 2020-01-21 | 深圳市速腾聚创科技有限公司 | 三维点云数据配准方法及拼接方法 |
| CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
| CN106803267B (zh) * | 2017-01-10 | 2020-04-14 | 西安电子科技大学 | 基于Kinect的室内场景三维重建方法 |
-
2017
- 2017-10-20 CN CN202310315423.1A patent/CN116385505B/zh active Active
- 2017-10-20 CN CN201710984833.XA patent/CN109697728B/zh active Active
-
2018
- 2018-08-17 TW TW107128735A patent/TW201917562A/zh unknown
- 2018-10-19 WO PCT/US2018/056779 patent/WO2019079766A1/en not_active Ceased
- 2018-10-19 EP EP24188205.9A patent/EP4421749A3/en active Pending
- 2018-10-19 US US16/165,888 patent/US10706567B2/en active Active
- 2018-10-19 EP EP18869318.8A patent/EP3698275B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP3698275A1 (en) | 2020-08-26 |
| EP4421749A3 (en) | 2024-12-04 |
| US10706567B2 (en) | 2020-07-07 |
| US20190122375A1 (en) | 2019-04-25 |
| CN116385505B (zh) | 2026-05-12 |
| EP4421749A2 (en) | 2024-08-28 |
| EP3698275A4 (en) | 2021-07-21 |
| CN116385505A (zh) | 2023-07-04 |
| CN109697728B (zh) | 2023-04-25 |
| WO2019079766A1 (en) | 2019-04-25 |
| CN109697728A (zh) | 2019-04-30 |
| EP3698275B1 (en) | 2024-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109697728B (zh) | 数据处理方法、装置、系统和存储介质 | |
| CN110728717B (zh) | 定位方法及装置、设备、存储介质 | |
| CN109523581B (zh) | 一种三维点云对齐的方法和装置 | |
| WO2020259248A1 (zh) | 基于深度信息的位姿确定方法、装置、介质与电子设备 | |
| WO2015135323A1 (zh) | 一种摄像机跟踪方法及装置 | |
| CN113129352B (zh) | 一种稀疏光场重建方法及装置 | |
| CN115409949A (zh) | 模型训练方法、视角图像生成方法、装置、设备及介质 | |
| CN111612731A (zh) | 基于双目显微视觉的测量方法、装置、系统及介质 | |
| CN114627244A (zh) | 三维重建方法及装置、电子设备、计算机可读介质 | |
| CN120726129B (zh) | 一种管网检测机器人定位方法、装置、设备、介质及产品 | |
| CN118446909A (zh) | 新视角合成方法、装置、设备、介质及计算机程序产品 | |
| CN113052880A (zh) | 一种sfm稀疏重建方法、系统及应用 | |
| CN114998433A (zh) | 位姿计算方法、装置、存储介质以及电子设备 | |
| WO2021142843A1 (zh) | 图像扫描方法及装置、设备、存储介质 | |
| CN108564604B (zh) | 基于平面约束和三角剖分的双目视觉立体匹配方法及装置 | |
| CN116091577B (zh) | 双目深度估计方法及装置、计算机可读介质和电子设备 | |
| CN113763558B (zh) | 一种信息处理方法及装置、设备、存储介质 | |
| CN120655841A (zh) | 三维场景重建方法、装置及xr设备 | |
| CN114463409A (zh) | 图像深度信息的确定方法、装置、电子设备和介质 | |
| CN117635875B (zh) | 一种三维重建方法、装置及终端 | |
| CN114299302B (zh) | 基于稀疏点的平面提取方法及其系统和电子设备 | |
| CN111105453A (zh) | 一种获取视差图的方法 | |
| JP2024077816A (ja) | 情報処理方法、情報処理装置およびプログラム | |
| Zhang et al. | Passive 3D reconstruction based on binocular vision | |
| CN114943765A (zh) | 一种室内姿态估计方法及装置 |