JPH11183172A - Photography survey support system - Google Patents

Photography survey support system

Info

Publication number
JPH11183172A
JPH11183172A JP9357785A JP35778597A JPH11183172A JP H11183172 A JPH11183172 A JP H11183172A JP 9357785 A JP9357785 A JP 9357785A JP 35778597 A JP35778597 A JP 35778597A JP H11183172 A JPH11183172 A JP H11183172A
Authority
JP
Japan
Prior art keywords
image
measurement
measurement point
dimensional
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9357785A
Other languages
Japanese (ja)
Inventor
Yuichi Sasano
祐一 佐々野
Keiichi Kenmochi
圭一 見持
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP9357785A priority Critical patent/JPH11183172A/en
Publication of JPH11183172A publication Critical patent/JPH11183172A/en
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a photography survey support system that can be operated easily and can safely picks up the image of a measurement target. SOLUTION: A photography survey system for performing the three-dimensional measurement of a measurement target from an image being obtained by an image pick-up means is provided with a model-creating means 1 for creating the three- dimensional shape model of the measurement target and the three-dimensional position information of a measurement point to be measured and an image pick-up position coordinates input means 2 with an interface for inputting the close observation position of the measurement target as an image pick-up target and the viewpoint position coordinates of the above image pick-up means or the position coordinates and the direction of the image pick-up means using the created, three-dimensional shape model. Further, the photography survey system is provided with an estimation means 3 for creating the position relation information between the estimation position coordinates of a measurement point on an image that is picked up from the view point position of the above image pick-up means being inputted and a measurement point image, and calculation means 5 for calculating the three-dimensional coordinates of the measurement point by associating the measurement point images among images being picked up from a plurality of different viewpoint positions by processing an input image.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】プラント内において配管やタ
ンクといった構造物のアズビルドデータを入力データと
して用いる写真測量システムや、大型構造物の組み立て
加工工程において、高精度の3次元計測を行うための写
真測量システムに関する。
BACKGROUND OF THE INVENTION A photogrammetry system that uses as-built data of structures such as pipes and tanks in a plant as input data, and photographs for performing high-precision three-dimensional measurement in a process of assembling and processing large structures. It relates to a surveying system.

【0002】[0002]

【従来の技術】写真測量システムは、測定対象物を、離
れたそれぞれ異なる数点の位置から撮像装置でそれぞれ
撮像し、得られた各画像から前記測定対象物の全体の形
状、寸法、位置、配置状況などを測定するものである。
2. Description of the Related Art In a photogrammetry system, an object to be measured is imaged by an image pickup device from several different positions, and the overall shape, size, position, and the like of the object to be measured are obtained from the obtained images. It measures the arrangement status and the like.

【0003】ここで、従来技術として、リモートセンシ
グに用いている写真測量システムの一例を図7に示す。
図7において、21は撮像装置であるカメラで撮像され
た測定対象物24の画像データを取り込む画像入力部、
22は3次元座標計算部で、この画像入力部20で取り
込まれた画像を処理して複数の異なる視点位置から撮影
した画像間で測定点画像間の対応付けを行い、測定点の
3次元座標を計算するものである。23は端末であり、
この端末23はパソコンなどのような入力手段とディス
プレイと演算処理データ入力機能を持つインテリジェン
ト端末を使用している。
FIG. 7 shows an example of a photogrammetry system used for remote sensing as a prior art.
In FIG. 7, an image input unit 21 captures image data of the measurement target 24 captured by a camera as an imaging device.
Reference numeral 22 denotes a three-dimensional coordinate calculation unit that processes the image captured by the image input unit 20 and associates measurement point images among images captured from a plurality of different viewpoint positions, and calculates three-dimensional coordinates of the measurement points. Is calculated. 23 is a terminal,
The terminal 23 uses an intelligent terminal having input means such as a personal computer, a display, and a function of inputting arithmetic processing data.

【0004】このような構成の従来のシステムは、ま
ず、同一の測定対象物24をカメラににて異なる複数の
視点位置からそれぞれ撮像してそれぞれの視点位置での
画像を得る。そして、得られた画像を画像入力部20に
てデータとして取り込み、このデータを3次元座標計算
部22にて処理して複数の異なる視点位置から撮影した
画像間で測定点画像間の対応付けを行い、測定点の3次
元座標を計算する。
In the conventional system having such a configuration, first, the same measurement object 24 is imaged by a camera from a plurality of different viewpoint positions, and images at the respective viewpoint positions are obtained. The obtained image is captured as data by the image input unit 20, and the data is processed by the three-dimensional coordinate calculation unit 22 to associate the measurement point images among the images captured from a plurality of different viewpoint positions. Then, the three-dimensional coordinates of the measurement point are calculated.

【0005】すなわち、図7において、測定対象物24
をカメラにより異なる視点位置21a〜21cから撮影
し、複数の画像を得る。そして、得られた画像間におけ
る測定点画像の対応付けを行う。この対応付けは、画像
を図7の写真測量システムに入力し、当該画像を端末5
0のディスプレイに写し、この画面上の画像に対して操
作者が、画像位置を指示する。つまり、異なる画像間の
測定点位置を端末50上で手作業で指示するようにする
か、あるいは、クロススケールバーという既知の主次元
座標を有して、世界座標系を決定する基準点を自動的に
認識させるようにすることにより、世界座標系における
カメラ視点の位置と向きとを求め、共面条件を用いて異
なる視点位置から撮影した画像間の所望測定点の対応付
けを行うようにしている。
[0005] That is, in FIG.
Are photographed from different viewpoint positions 21a to 21c by a camera to obtain a plurality of images. Then, the measurement point images are associated with each other between the obtained images. This association is performed by inputting an image to the photogrammetry system of FIG.
0, and the operator instructs the image position on the image on this screen. That is, the position of the measurement point between different images is manually designated on the terminal 50, or the reference point for determining the world coordinate system having a known main dimension coordinate called a cross scale bar is automatically set. The position and orientation of the camera viewpoint in the world coordinate system are determined by making the recognition possible, and the desired measurement points between images taken from different viewpoint positions are associated using coplanar conditions. I have.

【0006】そして、このようにして求めた対応付け情
報(複数の異なる視点位置から撮影した画像間での測定
点画像間の対応付け情報)から、3次元座標計算部22
にて測定対象物24における画像測定点の3次元座標を
計算する。そして、計算結果を端末50のディスプレイ
に表示し、また、端末50よりデータとして外部に出力
する。
The three-dimensional coordinate calculator 22 calculates the three-dimensional coordinate calculator 22 from the associating information (associating information between the measurement point images between the images taken from a plurality of different viewpoint positions).
Calculates the three-dimensional coordinates of the image measurement point on the measurement object 24. Then, the calculation result is displayed on the display of the terminal 50, and is output as data from the terminal 50 to the outside.

【0007】[0007]

【発明が解決しようとする課題】このように、写真測量
システムにおいては、測定対象物を異なる視点位置から
撮影し、この撮影により得た画像間での測定点対応付け
を行う。そして、従来のシステムの場合、測定点の画像
間対応探索は、人が行い、測定点の画像間での対応付け
を行っていたため、膨大な作業時間が掛かることとなっ
ていた。
As described above, in a photogrammetry system, an object to be measured is photographed from different viewpoint positions, and measurement points are associated with images obtained by the photographing. In addition, in the case of the conventional system, the search for the correspondence between the measurement points between the images is performed by a human, and the correspondence between the images of the measurement points is performed.

【0008】そのため、能率が良くないことから、沢山
の画像を取り扱うことは困難であった。また、画像が測
定対象物のどの位置をどの方向から撮影しているか、と
いった撮影位置情報がないために、時の経過とともに、
その画像の視点位置が分からなくなるといった運用上の
問題がある。
[0008] For this reason, it is difficult to handle a large number of images due to poor efficiency. In addition, since there is no shooting position information such as which position of the image of the object to be measured from which direction,
There is an operational problem that the viewpoint position of the image cannot be determined.

【0009】また、撮影位置や撮影範囲は、カメラの撮
影特性を把握し、測定点がどのように画像に写っている
かを判断した上で対応位置の決定をする必要があり、熟
練した撮影者の経験や知識を必要とし、従って、誰でも
が簡単にシステムを操作できるというものではなかっ
た。
The photographing position and the photographing range need to be determined by grasping the photographing characteristics of the camera, determining how the measuring point is reflected in the image, and then determining the corresponding position. Required the experience and knowledge of the system, and therefore, not everyone was able to operate the system easily.

【0010】また、工場設備やプラント設備などでは巨
大な設備構成を持つものも多く、それを建屋の中に設置
してあるような場合に、広い屋内環境で高精度な3次元
計測を実現するためには、高い撮影位置からの写真や画
像が必要であり、そのために脚立等の道具や、クレーン
といった昇降機を使用してカメラを所望の位置に配置す
るなどしなければならないこともあり、その場合、カメ
ラの高所設置作業に当たって危険が避けられない。ま
た、原子力プラント内のアズビルトデータを入力する場
合には、プラントの性質上、場所によっては放射能汚染
といった危険があるなど、カメラ設置に危険作業が伴
う。
[0010] Further, many factory equipment and plant equipment have a huge equipment configuration, and when such equipment is installed in a building, high-accuracy three-dimensional measurement is realized in a wide indoor environment. In order to do so, photos and images from high shooting positions are required, and for that purpose tools such as stepladders and elevators such as cranes must be used to arrange the camera at the desired position, etc. In such a case, danger cannot be avoided when the camera is installed at a high place. In addition, when as-built data in a nuclear power plant is input, there is a danger of radioactive contamination depending on the location of the plant due to the nature of the plant.

【0011】そこで、この発明の目的とするところは、
誰でもが容易に操作できると共に、測定対象物の画像撮
影に危険を伴うことがないようにした写真測量支援シス
テムを提供することにある。
Therefore, the object of the present invention is to:
It is an object of the present invention to provide a photogrammetry support system that can be easily operated by anyone and does not involve danger in capturing an image of an object to be measured.

【0012】[0012]

【課題を解決するための手段】上記目的を達成するた
め、本発明は次のように構成する。すなわち、カメラで
撮影した写真、デジタル画像を用いて対象物の3次元計
測を行う写真測量を用いて、測定対象物を3次元計測す
る写真測量支援システムにおいて、 (1) 第1には、測定対象物の3次元形状と測定しよ
うとする測定点の3次元位置情報を作成する3次元モデ
ル作成部と、作成した3次元モデルを用いて撮影しよう
とする測定対象物の注視点位置とカメラの視点位置座標
またはカメラの位置座標および向きを入力するインター
フェイスを有する撮影位置座標入力部と、入力したカメ
ラの視点位置から撮影した画像上の測定点の推定位置座
標と測定点画像間の位置関係を作成する測定点画像位置
推定部と、複数の異なる視点位置から撮影した入力画像
間で測定点画像間の対応付けを行い、測定点の3次元座
標を計算する3次元座標計算部とを備えて構成する。
In order to achieve the above object, the present invention is configured as follows. That is, in a photogrammetry support system for three-dimensionally measuring an object to be measured using photogrammetry, which performs three-dimensional measurement of an object using a photograph taken by a camera and a digital image, (1) First, measurement A three-dimensional model creation unit for creating three-dimensional position information of a three-dimensional shape of the object and a measurement point to be measured; a gazing point position of the measurement object to be photographed using the created three-dimensional model; A photographing position coordinate input unit having an interface for inputting viewpoint position coordinates or camera position coordinates and orientation; and an estimated position coordinate of a measurement point on an image photographed from the input camera viewpoint position and a positional relationship between the measurement point image. A tertiary method for calculating the three-dimensional coordinates of the measurement point by associating the measurement point image position estimating unit with the measurement point image between input images taken from a plurality of different viewpoint positions. Configure a coordinate calculation unit.

【0013】(2) また、第2には本発明は、(1)
項の構成において、撮影位置座標入力部にカメラの視点
位置と向き情報を入力する手段として、GPS(Glo
bal Positioning System)や加
速センサやコーナミラーや高度計といった自己位置計測
装置と、傾斜計やエンコーダやポテンショメータといっ
たカメラの向きを計測するためのカメラ向き計測装置を
用いるようにした。
(2) Secondly, the present invention provides (1)
In the configuration of the term, as a means for inputting the viewpoint position and the direction information of the camera to the shooting position coordinate input unit, GPS (Glo
A self-position measuring device such as a bal Positioning System, an acceleration sensor, a corner mirror, or an altimeter, and a camera direction measuring device for measuring the direction of a camera, such as an inclinometer, an encoder, or a potentiometer, are used.

【0014】(3) また、第3には本発明は、(1)
項の構成において、測定点画像位置推定部において作成
した測定点画像位置情報と、撮影位置座標と向き情報
と、測定点の3次元計測誤差を事前に評価して、誤差が
小さくなるように3次元計測できるカメラの視点位置お
よびカメラの向きを決定する撮影位置評価部を付加した
構成とするようにした。
(3) Thirdly, the present invention provides (1)
In the configuration of the item, the measurement point image position information created by the measurement point image position estimating unit, the photographing position coordinates and the direction information, and the three-dimensional measurement error of the measurement point are evaluated in advance, and the three-dimensional measurement error is reduced. The configuration is such that a photographing position evaluation unit that determines the viewpoint position of the camera and the direction of the camera that can measure the dimension is added.

【0015】(4) また、第4には本発明は、(1)
項の構成において、画像撮影手段および位置計測装置
を、遠隔操作可能なラジコンヘリコプタや軽気球や飛行
船といった飛翔体に搭載することにより、人が接近でき
ない位置からの撮影や、原子力炉施設内といった極限作
業箇所において無人で撮影する遠隔操作装置を用いた構
成とする。
(4) Fourth, the present invention provides (1)
In the configuration of the section, by mounting the image capturing means and the position measuring device on a remotely controllable flying vehicle such as a radio-controlled helicopter, a light balloon, or an airship, it is possible to capture images from a position that is inaccessible to humans, and to limit the use in nuclear reactor facilities A configuration using a remote control device for photographing unattended at a work place is adopted.

【0016】上記(1)項に記載した構成の本システム
は、3次元モデル作成部1によって作成された測定対象
物の形状情報、たとえば、測定対象物の各頂点位置座標
Vi(但し、Vi =(Xv,Yv,Zv)i , i=1
〜N, N:頂点数)と測定対象物における測定点(測
定したい点)の位置情報Pj (但し、Pj =(Xp,Y
p,Zp)j , j=1〜M, M:測定点数)と、撮
影位置入力部2に事前に入力したk番目の撮影位置にお
ける視点位置と向き情報Ck (但し、Ck =(Xo,Y
o,Zo,ωo,φo,κo)k , k=1〜L,
L:カメラ視点数)、または、測定点画像位置推定部3
において測定対象物の画像を撮影したカメラの実際の視
点位置と向き情報Ck とから式(1)を用いて求めた測
定点画 像部分の推定位置、すなわち、撮像される画像
中での測定点画像部分の推定位置である測定点画像推定
位置pj (pj =(x,y)j )と、3次元座標計算部
5においてカメラからの入力画像を処理して検出した測
定点画像位置p′j (但し、p′j =(x′,y′)j
)を照合することにより、複数の異なる視点から入力
した画像に写った測定点画像間の対応付けを行う。
In the system having the configuration described in the above item (1), the shape information of the measuring object created by the three-dimensional model creating section 1, for example, each vertex position coordinate Vi of the measuring object (where Vi = (Xv, Yv, Zv) i, i = 1
To N, N: number of vertices) and position information Pj of a measurement point (point to be measured) on the measurement object (where Pj = (Xp, Y
p, Zp) j, j = 1 to M, M: number of measurement points), and the viewpoint position and orientation information Ck at the k-th imaging position previously input to the imaging position input unit 2 (where Ck = (Xo, Y
o, Zo, ωo, φo, κo) k, k = 1 to L,
L: number of camera viewpoints) or measurement point image position estimating unit 3
In the above, the estimated position of the measurement point image portion obtained from the actual viewpoint position of the camera that captured the image of the object to be measured and the direction information Ck using Equation (1), that is, the measurement point image in the captured image The measured point image estimated position pj (pj = (x, y) j), which is the estimated position of the part, and the measured point image position p'j (p'j () detected by processing the input image from the camera in the three-dimensional coordinate calculation unit 5 Where p'j = (x ', y') j
) Is matched to measure point images captured in images input from a plurality of different viewpoints.

【0017】写真測量の原理は、図6に示すように、世
界座標系におけるM個の測定点の3次元座標Pj (但
し、Pj =(Xp ,Yp ,Zp )j , j=1〜M)を
L個のカメラ視点Ck (但し、Ck =Xo ,Yo ,Zo
)k , k=1〜L)から撮影して得られる画像上の
位置座標pj k (但し、pj k =(x,y)j k , j
=1〜M,k=1〜L)の関係式(式(1))から、2
M×L個の連立一次方程式を作成し、6L個のカメラ視
点位置座標・向きCk (但し、Ck =(Xo,Yo,Z
o,ωo,φo,κo )k )、及び3M個の測定点3次
元座標Pj =(Xp,Yp ,Zp )j を未知数として解
く手法である。
The principle of photogrammetry is, as shown in FIG. 6, a three-dimensional coordinate Pj of M measuring points in the world coordinate system (where Pj = (Xp, Yp, Zp) j, j = 1 to M). To L camera viewpoints Ck (where Ck = Xo, Yo, Zo
) K, k = 1 to L), and the position coordinates pj k on the image obtained from the image (where pj k = (x, y) j k , j
= 1 to M, k = 1 to L) (Equation (1))
M × L simultaneous linear equations are created, and 6L camera viewpoint position coordinates / directions Ck (where Ck = (Xo, Yo, Z
o, ωo, φo, κo) k), and 3M measurement point three-dimensional coordinates Pj = (Xp, Yp, Zp) j are solved as unknowns.

【0018】本手法ではカメラ視点位置座標・向き及び
測定点の3次元座標の他、光軸中心、レンズ歪み、スケ
ールファクタといったカメラ内部標定要素も未知数とし
て同時に解くことが可能である。
In this method, in addition to the coordinates and orientation of the camera viewpoint position and the three-dimensional coordinates of the measurement point, it is possible to simultaneously solve camera orientation parameters such as the optical axis center, lens distortion, and scale factor as unknowns.

【0019】式(1)は次の通りである。 xj k =(r11k (Xpj−Xok)+r12k (Ypj−Yok)+r13k (Zpj−Zok ))/(r31k (Xpj−Xok)+r32k (Ypj−Yok)+r33k (Zpj−Zok) ) yj k =(r21k (Xpj−Xok)+r22k (Ypj−Yok)+r23k (Zpj−Zok ))/(r31k (Xpj−Xok)+r32k (Ypj−Yok)+r33k (Zpj−Zok) ) …(1) ここで、座標変換は回転行列を用いて行う。すなわち、
座標変換を行うための回転行列は
Equation (1) is as follows. xj k = (r11k (Xpj- Xok) + r12k (Ypj-Yok) + r13k (Zpj-Zok)) / (r31k (Xpj-Xok) + r32k (Ypj-Yok) + r33k (Zpj-Zok)) yj k = (r21k ( Xpj-Xok) + r22k (Ypj-Yok) + r23k (Zpj-Zok)) / (r31k (Xpj-Xok) + r32k (Ypj-Yok) + r33k (Zpj-Zok)) (1) where the coordinate transformation is a rotation matrix. This is performed using That is,
The rotation matrix for performing coordinate transformation is

【0020】[0020]

【数1】 なる回転行列を用いる。但し、ri,j (i=1〜3,j
=1〜3)は変換行列の要素である。
(Equation 1) Is used. Where ri, j (i = 1 to 3, j
= 1 to 3) are elements of the transformation matrix.

【0021】この時、閉じた面の頂点位置座標から求ま
る面の情報から、測定点が面に隠れることなく撮影され
ていることを判定する。このような本システムによれ
ば、撮影画像それぞれについて測定点位置の設定入力を
行わずに済むので、誰でもが容易に操作できるようにな
る写真測量支援システムを提供することができる。
At this time, it is determined from the surface information obtained from the coordinates of the vertices of the closed surface that the measurement point is photographed without being hidden by the surface. According to such a system, it is not necessary to input the setting of the measurement point position for each captured image, so that a photogrammetry support system that can be easily operated by anyone can be provided.

【0022】また、(2)項の構成においては、(1)
項の構成において、位置検出装置と向き検出装置を具備
することにより、カメラ撮影位置と向き情報Ckをそれ
ぞれ検出する。そして、この検出したカメラ撮影位置と
向き情報とを撮影位置入力部へ入力して、画像の情報と
セットになつた撮影位置情報と向き情報とを得る。
Further, in the configuration of the item (2), (1)
In the configuration of the section, by providing the position detecting device and the direction detecting device, the camera photographing position and the direction information Ck are respectively detected. Then, the detected camera photographing position and direction information are input to the photographing position input unit, and the photographing position information and direction information combined with the image information are obtained.

【0023】このような本システムによれば、撮影画像
それぞれについて測定点位置の設定入力を行わずに済む
ので、誰でもが容易に操作できるようになる写真測量支
援システムを提供することができる。
According to this system, it is not necessary to input the setting of the measurement point position for each photographed image, so that a photogrammetry support system that can be easily operated by anyone can be provided.

【0024】また、(3)項の構成においては、(1)
項の構成において、撮影位置入力部に端末装置から入力
した撮影位置と注目点の位置情報Ckを用いて、撮像面
に投影可能な測定点Pjを3次元モデルから選び、
(1)式により計算した測定点の画像位置pjと、視点
の向きと測定点の向きから投影した画像位置との誤差か
ら、撮影位置を評価する。
In the configuration of the item (3), (1)
In the configuration of the section, using the shooting position input from the terminal device to the shooting position input unit and the position information Ck of the point of interest, a measurement point Pj that can be projected on the imaging surface is selected from the three-dimensional model,
The imaging position is evaluated from the error between the image position pj of the measurement point calculated by the equation (1) and the image position projected from the viewpoint direction and the measurement point direction.

【0025】図5に示すように、測定対象を斜めから撮
影すると、画像処理によって検出した測定対象の画像位
置は、対象の中心を画像に投影した場合での位置と異な
る位置になる。
As shown in FIG. 5, when the measurement object is photographed obliquely, the image position of the measurement object detected by the image processing is different from the position when the center of the object is projected on the image.

【0026】図5において、dは測定対象の直径、r1
は測定対象の片方の端点p´1の画像位置、r2はもう
一方のp′2の画像位置、rmは測定対象中心p´mの
画像位置、αはカメラ光軸と閉じた頂点座標から求めた
対称面とのなす角度、Rmは測定対象中心とカメラ光軸
との距離、hはカメラと測定対象間距離、カメラの焦点
距離をfとすると、測定対象の真の投影中心位置rm
と、画像処理で求まると推定される2つの端点を撮像面
に投影してその中心点(r1+r2)/2を求めた結果
との誤差εは次式となる。 ε=rm−(r1+r2)/2 =rm−(f/2)・((Rm+(d/2)・cos α)/h−(d/2)・si n α)+((Rm−(d/2)・cos α)/(h+(d/2)・sin α) …(2) また、対象面が曲面、例えば円柱面・球面であるとする
と、同様にして測定対象の投影中心位置rmと、画像処
理で求まると推定される画像位置r´mとの誤差ε´は
次式で求められる。 ε´=(r´m−rm)/2 =f(( sin(β−φ) sin2 dθ)/( cos(α−φ) cos(β−φ) c os(γ−φ))) …(3) ここで、βは測定対象の中心に対する中心角であり、
α,γはそれぞれ測定対象の端点に対する中心角を示
す。また、φはカメラ視点と円柱の中心線または球の中
心点を結ぶ直線とカメラの光軸が成す角度を示し、dθ
は、測定対象の中心角と端点の中心角との差を、また、
r´mは画像処理で求まった測定対象中心の画像位置を
示す。
In FIG. 5, d is the diameter of the object to be measured, r1
Is the image position of one end point p′1 of the measurement object, r2 is the image position of the other p′2, rm is the image position of the center p′m of the measurement object, and α is the camera optical axis and the coordinates of the closed vertex. Rm is the distance between the center of the object to be measured and the optical axis of the camera, h is the distance between the camera and the object to be measured, and f is the focal length of the camera.
And the error ε from the result of projecting the two end points estimated to be obtained by the image processing on the imaging surface and obtaining the center point (r1 + r2) / 2 is as follows. ε = rm− (r1 + r2) / 2 = rm− (f / 2) · ((Rm + (d / 2) · cos α) / h− (d / 2) · sin α) + ((Rm− (d / 2) · cos α) / (h + (d / 2) · sin α) (2) Further, assuming that the target surface is a curved surface, for example, a cylindrical surface / spherical surface, the projection center position rm of the measurement target is similarly calculated. And the error ε ′ between the image position r′m estimated to be obtained by the image processing is obtained by the following equation: ε ′ = (r′m−rm) / 2 = f ((sin (β−φ) sin2 dθ) / (cos (α−φ) cos (β−φ) cos (γ−φ))) (3) where β is the central angle with respect to the center of the measurement object,
α and γ each indicate a central angle with respect to an end point of the measurement object. Φ denotes an angle formed by a straight line connecting the camera viewpoint and the center line of the cylinder or the center point of the sphere to the optical axis of the camera, and dθ
Is the difference between the center angle of the measurement object and the center angle of the endpoint,
r′m indicates the image position of the center of the measurement object obtained by the image processing.

【0027】実際に、画像処理で求めた中心位置に対
し、(2)式または(3)式で求めた誤差分εの補正を
加えることにより、測定点画像中心位置検出精度を高め
る。このような本システムによれば、撮影画像それぞれ
について測定点位置の設定入力を行わずに済むので、誰
でもが容易に操作できるようになる写真測量支援システ
ムを提供することができる。
Actually, the accuracy of detecting the center position of the measurement point image is improved by adding a correction of the error ε obtained by the equation (2) or (3) to the center position obtained by the image processing. According to such a system, it is not necessary to input the setting of the measurement point position for each captured image, so that a photogrammetry support system that can be easily operated by anyone can be provided.

【0028】また、(4)項の構成においては、(1)
項の構成において、撮影位置評価部で求めた最適なカメ
ラの視点位置の高度が高かったり原子力プラント内とい
った極限作業箇所である場合、遠隔操作可能な飛翔体を
用いて安全に撮影ができる。
In the configuration of item (4), (1)
In the configuration of the section, when the altitude of the optimal camera viewpoint position obtained by the imaging position evaluation unit is high or in an extreme work place such as in a nuclear power plant, it is possible to perform imaging safely using a remotely controllable flying object.

【0029】このような本システムによれば、撮影画像
を得るために測定対象物に対してカメラをセットする場
合に、人間が高い位置や、危険領域に赴かずに済み、従
って、測定対象物の画像撮影にあたり危険を伴うことが
ない写真測量支援システムを提供することができる。
According to the present system, when a camera is set on a measurement target to obtain a captured image, a human does not have to go to a high position or a dangerous area. It is possible to provide a photogrammetry support system that does not involve danger in photographing an image.

【0030】[0030]

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。 (第1の実施形態)図1は本発明の第1の実施形態とし
ての写真測量支援システムの構成図である。図1におい
て、1は3次元モデル作成部、2は撮影位置座標入力
部、3は測定点画像位置推定部、4は画像入力部、5は
3次元座標計算部、50は端末である。
Embodiments of the present invention will be described below with reference to the drawings. (First Embodiment) FIG. 1 is a configuration diagram of a photogrammetry support system as a first embodiment of the present invention. In FIG. 1, 1 is a three-dimensional model creation unit, 2 is a photographing position coordinate input unit, 3 is a measurement point image position estimating unit, 4 is an image input unit, 5 is a three-dimensional coordinate calculation unit, and 50 is a terminal.

【0031】これらのうち、端末50は例えば、パソコ
ンなどのインテリジェント端末であり、3次元モデル作
成部1は、CAD(計算機利用設計支援システム)の機
能を有するものであり、端末50から与えられる測定対
象物の形状情報と測定しようとする位置の座標情報とを
受け、測定対象物の3次元形状を示すモデルを作成する
と共に、測定しようとする位置の3次元情報を作成する
と共に、その作成したこれら3次元モデルの情報と測定
しようとする位置の3次元情報とを測定点画像位置推定
部3に与えるためのものである。
Of these, the terminal 50 is, for example, an intelligent terminal such as a personal computer, and the three-dimensional model creating unit 1 has a CAD (computer utilization design support system) function. Receiving the shape information of the object and the coordinate information of the position to be measured, a model representing the three-dimensional shape of the object to be measured is created, and the three-dimensional information of the position to be measured is created and the created The information of the three-dimensional model and the three-dimensional information of the position to be measured are provided to the measurement point image position estimating unit 3.

【0032】また、撮影位置座標入力部2は端末50の
操作により入力された測定対象物に対するカメラの視点
位置と向き情報を座標データとして測定点画像位置推定
部3に与えるためのものであり、測定点画像位置推定部
3は、これら与えられた情報をもとに、測定点が投影さ
れる画像位置を推定するためのものである。また、画像
入力部4は撮像装置である図示しないカメラで得られた
測定対象物の画像をシステムに取り込むためのものであ
り、3次元座標計算部5はこの取り込まれた画像と測定
点画像位置推定部3からの推定情報とから測定対象物に
おける測定したい対象ポイントである測定点が投影され
る点の3次元座標を計算するためのものである。さらに
また、3次元座標計算部5には複数の異なる視点から入
力した画像に写った測定点画像間の対応付けが済むと、
これを利用して3次元座標計算部5は三角測量法などの
手法により測定点間の距離や寸法を求める機能を有す
る。
The photographing position coordinate input unit 2 is for providing the viewpoint position and orientation information of the camera with respect to the measuring object inputted by the operation of the terminal 50 to the measuring point image position estimating unit 3 as coordinate data. The measurement point image position estimating unit 3 is for estimating the image position where the measurement point is projected based on the provided information. The image input unit 4 is for capturing an image of the measurement target obtained by a camera (not shown) as an imaging device into the system, and the three-dimensional coordinate calculation unit 5 is configured to capture the captured image and the measurement point image position. This is for calculating three-dimensional coordinates of a point on the measurement target object at which a measurement point, which is a target point to be measured, is projected from the estimation information from the estimation unit 3. Furthermore, when the three-dimensional coordinate calculation unit 5 completes the correspondence between the measurement point images captured in the images input from a plurality of different viewpoints,
Utilizing this, the three-dimensional coordinate calculation unit 5 has a function of obtaining the distance and size between the measurement points by a technique such as triangulation.

【0033】このような構成の本システムは、図示しな
い測定対象物の画像を、図示しないカメラで撮影位置を
変えて複数枚、撮像する。また、端末50を操作して3
次元モデル作成部1に測定対象物の形状情報と所望の測
定点の位置を入力する。これにより、3次元モデル作成
部1は測定対象物の3次元形状を表したモデルを生成
し、また、モデル上の測定点の位置の座標情報を生成す
る。ここで、測定点とは測定対象物の測定したいポイン
ト位置を示している。
The present system having such a configuration captures a plurality of images of an object to be measured (not shown) by changing the photographing position with a camera (not shown). Also, by operating the terminal 50, 3
The shape information of the measurement object and the position of a desired measurement point are input to the dimensional model creation unit 1. Thus, the three-dimensional model creation unit 1 creates a model representing the three-dimensional shape of the measurement object, and also creates coordinate information of the position of the measurement point on the model. Here, the measurement point indicates a point position of the object to be measured to be measured.

【0034】モデル作成部1が生成したこれらモデルの
データと測定点位置の座標情報は、測定点画像位置推定
部3に入力され、また、端末50にもフィードバックさ
れる。従って、端末50のディスプレイ上には、生成さ
れたモデルと、測定点の画像若しくはデータが表示さ
れ、測定点の位置決め等をディスプレイ画面上でできる
ことになる。
The data of these models and the coordinate information of the measurement point positions generated by the model creation unit 1 are input to the measurement point image position estimation unit 3 and are also fed back to the terminal 50. Therefore, the generated model and the image or data of the measurement point are displayed on the display of the terminal 50, and the positioning of the measurement point and the like can be performed on the display screen.

【0035】また、端末50を操作してカメラの視点位
置情報と向きの情報とを入力する。この入力操作対応に
撮影位置座標入力部2はカメラの視点位置と向き情報を
座標情報化し、測定点画像位置推定部3に入力する。
Further, the user operates the terminal 50 to input the viewpoint position information and the direction information of the camera. The shooting position coordinate input unit 2 converts the viewpoint position and orientation information of the camera into coordinate information corresponding to the input operation, and inputs the coordinate information to the measurement point image position estimating unit 3.

【0036】測定点の位置座標と、カメラの視点位置情
報および向き情報とを受けた測定点画像位置推定部3で
は、これら情報を基に(1)式を用いて測定点画像推定
位置を計算する。
The measurement point image position estimating unit 3 which has received the position coordinates of the measurement point and the viewpoint position information and the direction information of the camera calculates the estimated position of the measurement point image based on the information using the equation (1). I do.

【0037】一方、図示しないカメラで撮像した測定対
象物の画像情報は、画像入力部4より取り込まれ、この
画像情報は3次元座標計算部5に与えられる。3次元座
標計算部5では、カメラからの入力画像を処理して検出
した測定点画像位置と、測定点画像推定位置との照合を
行い、異なる視点位置から撮影した画像間の測定点画像
を対応付けすることにより、異なる画像間の測定点画像
位置を対応付けることことができる。
On the other hand, image information of the object to be measured taken by a camera (not shown) is fetched from an image input unit 4, and this image information is given to a three-dimensional coordinate calculation unit 5. The three-dimensional coordinate calculation unit 5 compares the measured point image position detected by processing the input image from the camera with the estimated measured point image position, and associates the measured point images between images taken from different viewpoint positions. By attaching, the measurement point image positions between different images can be associated with each other.

【0038】ここで、カメラからの入力画像を処理して
検出した測定点画像位置は、特定の点ではなく、画像中
の測定対象物の輪郭線の各位置や測定対象物の特徴点な
どであり、測定点画像推定位置との照合を行うことで、
測定点画像推定位置に対応する画像位置が、カメラから
の入力画像におけるどの位置に対応するかを特定するも
のであり、異なる視点位置から撮影した画像間の測定点
画像をこのようにして対応付けることにより、操作者が
端末50により指示した測定点対応の画像位置が異なる
画像間においてそれぞれどこであるかを対応付けること
ことができる。
Here, the measurement point image position detected by processing the input image from the camera is not a specific point but a position of the outline of the measurement object in the image or a characteristic point of the measurement object. Yes, by comparing with the estimated position of the measurement point image,
This specifies the position of the image corresponding to the estimated position of the measurement point image in the input image from the camera, and associates the measurement point images between images taken from different viewpoint positions in this manner. Accordingly, it is possible to associate where the image positions corresponding to the measurement points designated by the operator with the terminal 50 are between different images.

【0039】そして、複数の異なる視点から入力した画
像に写った測定点画像間の対応付けが済むと、これを利
用して3次元座標計算部5は三角測量法などの手法によ
り測定点間の距離や寸法を求める。
When the correspondence between the measurement point images in the images input from a plurality of different viewpoints has been completed, the three-dimensional coordinate calculation unit 5 uses this to determine the distance between the measurement points by a method such as triangulation. Find distances and dimensions.

【0040】このようにして、測定対象物の測定ができ
ることになる。このような本システムによれば、写真測
量を行う場合に、カメラにより異なる複数の位置から得
た測定対象物の撮影画像それぞれについて、いちいち操
作者が測定点位置の設定入力を行わずに済むので、誰で
もが容易に操作できるようになる写真測量支援システム
を提供することができる。
Thus, the measurement of the object to be measured can be performed. According to such a system, when performing photogrammetry, the operator does not have to perform the setting input of the measurement point position for each of the captured images of the measurement target obtained from a plurality of different positions by the camera. A photogrammetry support system that can be easily operated by anyone can be provided.

【0041】(第2の実施形態)図2は本発明の第2の
実施形態としての写真測量支援システムの構成図であ
る。図2において、50はパソコン等のインテリジェン
トな端末であり、1は3次元モデル作成部、2は撮影位
置座標入力部、3は測定点画像位置推定部、4は画像入
力部、5は3次元座標計算部、6はカメラの向き計測装
置、7は撮像手段としてのカメラである。
(Second Embodiment) FIG. 2 is a block diagram of a photogrammetry support system according to a second embodiment of the present invention. In FIG. 2, 50 is an intelligent terminal such as a personal computer, 1 is a three-dimensional model creating unit, 2 is a photographing position coordinate input unit, 3 is a measurement point image position estimating unit, 4 is an image input unit, and 5 is a three-dimensional model. A coordinate calculation unit, 6 is a camera direction measuring device, and 7 is a camera as an imaging unit.

【0042】3次元モデル作成部1は、CAD(計算機
利用設計支援システム)の機能を有するものであり、端
末50から与えられる測定対象物の形状情報と測定しよ
うとする位置の座標情報とを受け、測定対象物の3次元
形状を示すモデルを作成すると共に、測定しようとする
位置の3次元情報を作成すると共に、その作成したこれ
ら3次元モデルの情報と測定しようとする位置の3次元
情報とを測定点画像位置推定部3に与えるためのもので
ある。
The three-dimensional model creating unit 1 has a CAD (design using computer) function, and receives the shape information of the measurement object provided from the terminal 50 and the coordinate information of the position to be measured. A model indicating the three-dimensional shape of the object to be measured, three-dimensional information of the position to be measured, and information of the three-dimensional model and three-dimensional information of the position to be measured. To the measurement point image position estimating unit 3.

【0043】カメラ7は、測定対象物の画像を撮像して
画像入力部4に入力するためのものであり、カメラ位置
向き検出器6はカメラ7の撮影位置を計測する撮影位置
計測装置およびカメラの向き計測装置からなり、計測し
たカメラ撮影位置の計測情報とカメラの向き情報とを出
力するものである。このカメラ位置向き検出器6は、撮
影位置計測装置としてはGPS(Global Pos
itioning System)や加速センサやコー
ナミラーや高度計といった計測装置を使用して構成して
おり、また、カメラの向き計測装置としては傾斜計やエ
ンコーダやポテンショメータといった計測装置を使用し
て構成している。
The camera 7 captures an image of the object to be measured and inputs the captured image to the image input unit 4. The camera position and orientation detector 6 includes a capturing position measuring device that measures the capturing position of the camera 7 and a camera. And outputs measurement information of the measured camera shooting position and camera orientation information. The camera position and orientation detector 6 is a GPS (Global Pos) as a photographing position measuring device.
It is configured using a measuring device such as an ionizing system, an acceleration sensor, a corner mirror, or an altimeter, and is configured using a measuring device such as an inclinometer, an encoder, or a potentiometer as a camera direction measuring device.

【0044】また、撮影位置座標入力部2はカメラ位置
向き検出器6より入力されたカメラの位置および向き計
測情報を受けてこれより測定対象物に対するカメラの視
点位置と向き情報を座標データ化して測定点画像位置推
定部3に与えるためのものであり、測定点画像位置推定
部3は、これら与えられた情報をもとに、測定点が投影
される画像位置を推定するためのものである。
The photographing position coordinate input unit 2 receives the camera position and direction measurement information input from the camera position and orientation detector 6 and converts the viewpoint position and direction information of the camera with respect to the object to be measured into coordinate data. The measurement point image position estimating unit 3 is for giving the measurement point image position estimating unit 3, and the measurement point image position estimating unit 3 is for estimating the image position on which the measurement point is projected based on the given information. .

【0045】また、画像入力部4は撮像装置であるカメ
ラ7で得られた測定対象物の画像をシステムに取り込む
ためのものであり、3次元座標計算部5はこの取り込ま
れた画像と測定点画像位置推定部3からの推定情報とか
ら測定対象物における測定したい対象ポイントである測
定点が投影される点の3次元座標を計算するためのもの
である。さらにまた、3次元座標計算部5には複数の異
なる視点から入力した画像に写った測定点画像間の対応
付けが済むと、これを利用して3次元座標計算部5は三
角測量法などの手法により測定点間の距離や寸法を求め
る機能を有する。
The image input unit 4 is for taking in the image of the object to be measured obtained by the camera 7 which is an image pickup device into the system. This is for calculating three-dimensional coordinates of a point on the measurement target object at which a measurement point, which is a target point to be measured, is projected from the estimation information from the image position estimation unit 3. Furthermore, when the three-dimensional coordinate calculation unit 5 associates the measurement point images captured in the images input from a plurality of different viewpoints, the three-dimensional coordinate calculation unit 5 utilizes this to make the three-dimensional coordinate calculation unit 5 It has a function to determine the distance and dimension between measurement points by a technique.

【0046】ここで、GPSとは地球を周回する複数の
GPS衛星の電波を受信して自己の位置を計算で求める
位置測定システムであり、加速センサとはジャイロ効果
により、モーメントを感知し、加速度を検出センサであ
る。(1/2)a2 tで求まる移動量の各軸の累積値か
ら現在位置を求めることが可能である。
Here, the GPS is a position measuring system that receives radio waves of a plurality of GPS satellites orbiting the earth and calculates its own position by calculation, and the acceleration sensor senses moment by the gyro effect, Is a detection sensor. The current position can be obtained from the cumulative value of each axis of the movement amount obtained by (1/2) a 2 t.

【0047】また、コーナミラーとは、光の入射方向に
反射光を返すミラーであり、複数の既知の3次元座標を
有するコーナミラーを用意することにより、フラッシュ
等の投光装置を用いて反射光の画像位置を検出すること
により、現在位置を求めることが可能である。
The corner mirror is a mirror that returns reflected light in the light incident direction. By preparing a corner mirror having a plurality of known three-dimensional coordinates, the light is reflected by using a light projecting device such as a flash. The current position can be obtained by detecting the light image position.

【0048】このような構成の本システムは、図示しな
い測定対象物の画像を、カメラ7で撮像する。この撮像
に当たっては測定対象物に対するカメラ7の撮影位置を
変えながら複数枚、撮像する。また、端末50を操作し
て3次元モデル作成部1に測定対象物の形状情報と所望
の測定点(測定対象物の測定したいポイント)の位置を
入力する。これにより、3次元モデル作成部1は測定対
象物の3次元形状を表したモデルを生成し、また、モデ
ル上の測定点の位置の座標情報を生成する。
In the present system having such a configuration, the camera 7 captures an image of a measurement object (not shown). In this imaging, a plurality of images are taken while changing the imaging position of the camera 7 with respect to the measurement target. Further, the terminal 50 is operated to input the shape information of the measurement target and the position of a desired measurement point (point to be measured on the measurement target) to the three-dimensional model creation unit 1. Thus, the three-dimensional model creation unit 1 creates a model representing the three-dimensional shape of the measurement object, and also creates coordinate information of the position of the measurement point on the model.

【0049】モデル作成部1が生成したこれらモデルの
データと測定点位置の座標情報は、測定点画像位置推定
部3に入力され、また、端末50にもフィードバックさ
れる。従って、端末50のディスプレイ上には、生成さ
れたモデルと、測定点の画像若しくはデータが表示さ
れ、測定点の位置決め等をディスプレイ画面上でできる
ことになる。
The data of these models and the coordinate information of the measurement point positions generated by the model creation unit 1 are input to the measurement point image position estimation unit 3 and are also fed back to the terminal 50. Therefore, the generated model and the image or data of the measurement point are displayed on the display of the terminal 50, and the positioning of the measurement point and the like can be performed on the display screen.

【0050】また、撮影に当たり、カメラ7の視点位置
を変えるべく、カメラ7を移動させる。この移動による
カメラ位置や向きはカメラ位置向き検出器6により検出
され、カメラ位置向き検出器6より計測したカメラ撮影
位置の計測情報とカメラの向き情報とは撮影位置座標入
力部2に入力される。撮影位置座標入力部2ではこのカ
メラの位置と向きの情報を座標情報化し、測定点画像位
置推定部3に入力する。
In photographing, the camera 7 is moved so as to change the viewpoint position of the camera 7. The camera position and orientation due to this movement are detected by the camera position and orientation detector 6, and the measurement information of the camera imaging position and the camera orientation information measured by the camera position and orientation detector 6 are input to the imaging position coordinate input unit 2. . The photographing position coordinate input unit 2 converts the information on the position and orientation of the camera into coordinate information and inputs the coordinate information to the measurement point image position estimating unit 3.

【0051】測定点の位置座標と、カメラの視点位置情
報および向き情報とを受けた測定点画像位置推定部3で
は、これら情報を基に(1)式を用いて測定点画像推定
位置を計算する。
The measurement point image position estimating unit 3 which has received the position coordinates of the measurement point, the viewpoint position information and the orientation information of the camera, calculates the estimated position of the measurement point image using the equation (1) based on these information. I do.

【0052】一方、図示しないカメラで撮像した測定対
象物の画像情報は、画像入力部4より取り込まれ、この
画像情報は3次元座標計算部5に与えられる。3次元座
標計算部5では、カメラからの入力画像を処理して検出
した測定点画像位置と、測定点画像推定位置との照合を
行い、異なる視点位置から撮影した画像間の測定点画像
を対応付けすることにより、異なる画像間の測定点画像
位置を対応付けることことができる。
On the other hand, image information of the object to be measured picked up by a camera (not shown) is taken in from the image input unit 4, and this image information is given to the three-dimensional coordinate calculation unit 5. The three-dimensional coordinate calculation unit 5 compares the measured point image position detected by processing the input image from the camera with the estimated measured point image position, and associates the measured point images between images taken from different viewpoint positions. By attaching, the measurement point image positions between different images can be associated with each other.

【0053】ここで、カメラからの入力画像を処理して
検出した測定点画像位置は、特定の点ではなく、画像中
の測定対象物の輪郭線の各位置や測定対象物の特徴点な
どであり、測定点画像推定位置との照合を行うことで、
測定点画像推定位置に対応する画像位置が、カメラから
の入力画像におけるどの位置に対応するかを特定するも
のであり、異なる視点位置から撮影した画像間の測定点
画像をこのようにして対応付けることにより、操作者が
端末50により指示した測定点対応の画像位置が異なる
画像間においてそれぞれどこであるかを対応付けること
ことができる。
Here, the position of the measuring point image detected by processing the input image from the camera is not a specific point but a position of the contour of the measuring object in the image or a characteristic point of the measuring object. Yes, by comparing with the estimated position of the measurement point image,
This specifies the position of the image corresponding to the estimated position of the measurement point image in the input image from the camera, and associates the measurement point images between images taken from different viewpoint positions in this manner. Accordingly, it is possible to associate where the image positions corresponding to the measurement points designated by the operator with the terminal 50 are between different images.

【0054】そして、複数の異なる視点から入力した画
像に写った測定点画像間の対応付けが済むと、これを利
用して3次元座標計算部5は三角測量法などの手法によ
り測定点間の距離や寸法を求める。
When the correspondence between the measurement point images shown in the images input from a plurality of different viewpoints is completed, the three-dimensional coordinate calculation unit 5 utilizes the correspondence between the measurement point images by a technique such as triangulation. Find distances and dimensions.

【0055】このようにして、測定対象物の測定ができ
ることになる。このような本システムによれば、写真測
量を行う場合に、カメラにより異なる複数の位置から得
た測定対象物の撮影画像それぞれについて、いちいち操
作者が測定点位置の設定入力を行わずに済むので、誰で
もが容易に操作できるようになる写真測量支援システム
を提供することができる。
In this way, the object to be measured can be measured. According to such a system, when performing photogrammetry, the operator does not have to perform the setting input of the measurement point position for each of the captured images of the measurement target obtained from a plurality of different positions by the camera. A photogrammetry support system that can be easily operated by anyone can be provided.

【0056】(第3の実施形態)図3は本発明の第3の
実施形態としての写真測量支援システムの構成図であ
り、第1の実施形態のシステムに撮影位置評価機能を持
たせたものである。
(Third Embodiment) FIG. 3 is a block diagram of a photogrammetry support system according to a third embodiment of the present invention, in which the system of the first embodiment has a photographing position evaluation function. It is.

【0057】第3の実施形態のシステムは、図3に示す
如く構成される。すなわち、図3において、50はパソ
コン等のインテリジェントな端末であり、1は3次元モ
デル作成部、2は撮影位置座標入力部、3は測定点画像
位置推定部、4は画像入力部、5は3次元座標計算部、
8は撮影位置評価部である。
The system according to the third embodiment is configured as shown in FIG. That is, in FIG. 3, 50 is an intelligent terminal such as a personal computer, 1 is a three-dimensional model creating unit, 2 is a photographing position coordinate input unit, 3 is a measurement point image position estimating unit, 4 is an image input unit, and 5 is an image input unit. 3D coordinate calculator,
Reference numeral 8 denotes a photographing position evaluation unit.

【0058】これらのうち、端末50は例えば、パソコ
ンなどのインテリジェント端末であり、3次元モデル作
成部1は、CAD(計算機利用設計支援システム)の機
能を有するものであって、端末50から与えられる測定
対象物の形状情報と測定しようとする位置の座標情報と
を受け、測定対象物の3次元形状を示すモデルを作成す
ると共に、測定しようとする位置の3次元情報を作成す
ると共に、その作成したこれら3次元モデルの情報と測
定しようとする位置の3次元情報とを測定点画像位置推
定部3に与えるためのものである。
Among these, the terminal 50 is, for example, an intelligent terminal such as a personal computer, and the three-dimensional model creation unit 1 has a CAD (computer utilization design support system) function and is given from the terminal 50. Receiving the shape information of the object to be measured and the coordinate information of the position to be measured, a model representing the three-dimensional shape of the object to be measured is created, and the three-dimensional information of the position to be measured is created, and the creation is performed. The information of the three-dimensional model and the three-dimensional information of the position to be measured are provided to the measurement point image position estimating unit 3.

【0059】また、撮影位置座標入力部2は端末50の
操作により入力された測定対象物に対するカメラの視点
位置と向き情報を座標データとして測定点画像位置推定
部3に与えるためのものであり、測定点画像位置推定部
3は、これら与えられた情報をもとに、測定点が投影さ
れる画像位置を推定するためのものである。また、画像
入力部4は撮像装置である図示しないカメラで得られた
測定対象物の画像をシステムに取り込むためのものであ
り、3次元座標計算部5はこの取り込まれた画像と測定
点画像位置推定部3からの推定情報とから測定対象物に
おける測定したい対象ポイントである測定点が投影され
る点の3次元座標を計算するためのものである。さらに
また、3次元座標計算部5には複数の異なる視点から入
力した画像に写った測定点画像間の対応付けが済むと、
これを利用して3次元座標計算部5は三角測量法などの
手法により測定点間の距離や寸法を求める機能を有す
る。
The photographing position coordinate input section 2 is for providing the viewpoint position and orientation information of the camera with respect to the measuring object inputted by the operation of the terminal 50 to the measuring point image position estimating section 3 as coordinate data. The measurement point image position estimating unit 3 is for estimating the image position where the measurement point is projected based on the provided information. The image input unit 4 is for capturing an image of the measurement target obtained by a camera (not shown) as an imaging device into the system, and the three-dimensional coordinate calculation unit 5 is configured to capture the captured image and the measurement point image position. This is for calculating three-dimensional coordinates of a point on the measurement target object at which a measurement point, which is a target point to be measured, is projected from the estimation information from the estimation unit 3. Furthermore, when the three-dimensional coordinate calculation unit 5 completes the correspondence between the measurement point images captured in the images input from a plurality of different viewpoints,
Utilizing this, the three-dimensional coordinate calculation unit 5 has a function of obtaining the distance and size between the measurement points by a technique such as triangulation.

【0060】撮影位置評価部8は、測定点画像の推定位
置から画像処理によって求まる測定点画像位置の誤差を
評価するためのものであって、測定点画像位置推定部3
において作成した測定点画像位置情報と、撮影位置座標
情報入力部2を介して与えられる撮影位置座標の情報お
よび向き情報と、測定点の3次元計測誤差を事前に評価
して、誤差が小さくなるように3次元計測できるカメラ
の視点位置およびカメラの向きを決定するものである。
この撮影位置評価部8による評価結果(すなわち、誤差
が小さくなるように3次元計測できる上記決定されたカ
メラの視点位置およびカメラの向き)は、端末50に与
えられ、ディスプレイに表示されて、カメラ設定に利用
される。
The photographing position evaluation section 8 is for evaluating an error of the measurement point image position obtained by image processing from the estimated position of the measurement point image.
The three-dimensional measurement error of the measurement point is evaluated in advance, and the error is reduced by measuring in advance the measurement point image position information, the imaging position coordinate information and orientation information given via the imaging position coordinate information input unit 2, and the like. Thus, the viewpoint position and the direction of the camera that can be three-dimensionally measured are determined.
The evaluation result by the photographing position evaluation unit 8 (that is, the determined viewpoint position and camera direction of the camera that can be three-dimensionally measured so as to reduce the error) is given to the terminal 50, displayed on the display, and displayed on the display. Used for configuration.

【0061】このような構成の本システムは、図示しな
い測定対象物の画像を、図示しないカメラで撮影位置を
変えて複数枚、撮像する。また、端末50を操作して3
次元モデル作成部1に測定対象物の形状情報と所望の測
定点の位置を入力する。これにより、3次元モデル作成
部1は測定対象物の3次元形状を表したモデルを生成
し、また、モデル上の測定点の位置の座標情報を生成す
る。ここで、測定点とは測定対象物の測定したいポイン
ト位置を示している。
In the present system having such a configuration, a plurality of images of the object to be measured (not shown) are picked up by changing the photographing position by a camera (not shown). Also, by operating the terminal 50, 3
The shape information of the measurement object and the position of a desired measurement point are input to the dimensional model creation unit 1. Thus, the three-dimensional model creation unit 1 creates a model representing the three-dimensional shape of the measurement object, and also creates coordinate information of the position of the measurement point on the model. Here, the measurement point indicates a point position of the object to be measured to be measured.

【0062】モデル作成部1が生成したこれらモデルの
データと測定点位置の座標情報は、測定点画像位置推定
部3に入力され、また、端末50にもフィードバックさ
れる。従って、端末50のディスプレイ上には、生成さ
れたモデルと、測定点の画像若しくはデータが表示さ
れ、測定点の位置決め等をディスプレイ画面上でできる
ことになる。
The data of these models and the coordinate information of the measurement point positions generated by the model creation section 1 are input to the measurement point image position estimating section 3 and are also fed back to the terminal 50. Therefore, the generated model and the image or data of the measurement point are displayed on the display of the terminal 50, and the positioning of the measurement point and the like can be performed on the display screen.

【0063】また、端末50を操作してカメラの視点位
置情報と向きの情報とを入力する。この入力操作対応に
撮影位置座標入力部2はカメラの視点位置と向き情報を
座標情報化し、測定点画像位置推定部3に入力する。
The terminal 50 is operated to input the viewpoint position information and the direction information of the camera. The shooting position coordinate input unit 2 converts the viewpoint position and orientation information of the camera into coordinate information corresponding to the input operation, and inputs the coordinate information to the measurement point image position estimating unit 3.

【0064】測定点の位置座標と、カメラの視点位置情
報および向き情報とを受けた測定点画像位置推定部3で
は、これら情報を基に(1)式を用いて測定点画像推定
位置を計算する。
The measurement point image position estimating unit 3 which has received the position coordinates of the measurement point and the viewpoint position information and the direction information of the camera calculates the estimated position of the measurement point image by using the equation (1) based on these information. I do.

【0065】一方、図示しないカメラで撮像した測定対
象物の画像情報は、画像入力部4より取り込まれ、この
画像情報は3次元座標計算部5に与えられる。3次元座
標計算部5では、カメラからの入力画像を処理して検出
した測定点画像位置と、測定点画像推定位置との照合を
行い、異なる視点位置から撮影した画像間の測定点画像
を対応付けすることにより、異なる画像間の測定点画像
位置を対応付けることことができる。
On the other hand, image information of the object to be measured picked up by a camera (not shown) is fetched from the image input unit 4, and this image information is given to the three-dimensional coordinate calculation unit 5. The three-dimensional coordinate calculation unit 5 compares the measured point image position detected by processing the input image from the camera with the estimated measured point image position, and associates the measured point images between images taken from different viewpoint positions. By attaching, the measurement point image positions between different images can be associated with each other.

【0066】ここで、カメラからの入力画像を処理して
検出した測定点画像位置は、特定の点ではなく、画像中
の測定対象物の輪郭線の各位置や測定対象物の特徴点な
どであり、測定点画像推定位置との照合を行うことで、
測定点画像推定位置に対応する画像位置が、カメラから
の入力画像におけるどの位置に対応するかを特定するも
のであり、異なる視点位置から撮影した画像間の測定点
画像をこのようにして対応付けることにより、操作者が
端末50により指示した測定点対応の画像位置が異なる
画像間においてそれぞれどこであるかを対応付けること
ことができる。
Here, the measurement point image position detected by processing the input image from the camera is not a specific point but a position of the contour of the measurement object in the image or a characteristic point of the measurement object. Yes, by comparing with the estimated position of the measurement point image,
This specifies the position of the image corresponding to the estimated position of the measurement point image in the input image from the camera, and associates the measurement point images between images taken from different viewpoint positions in this manner. Accordingly, it is possible to associate where the image positions corresponding to the measurement points designated by the operator with the terminal 50 are between different images.

【0067】そして、複数の異なる視点から入力した画
像に写った測定点画像間の対応付けが済むと、これを利
用して3次元座標計算部5は三角測量法などの手法によ
り測定点間の距離や寸法を求める。
When the correspondence between the measurement point images shown in the images input from a plurality of different viewpoints is completed, the three-dimensional coordinate calculation unit 5 uses this to make the measurement point image measurement by a method such as triangulation. Find distances and dimensions.

【0068】このようにして、測定対象物の測定ができ
ることになる。一方、本システムにおいては、測定点画
像の推定位置から画像処理によって求まる測定点画像位
置の誤差を評価を行う撮影位置評価部8がさらに設けら
れている。
Thus, the measurement of the object to be measured can be performed. On the other hand, in the present system, a photographing position evaluation unit 8 for evaluating an error of the measurement point image position obtained by image processing from the estimated position of the measurement point image is further provided.

【0069】そして、この撮影位置評価部8は、測定点
画像位置推定部3において作成した測定点画像位置情報
と、撮影位置座標情報入力部2を介して与えられる撮影
位置座標の情報および向き情報と、測定点の理論的に求
まる3次元計測誤差とを事前に評価して、誤差が小さく
なるように3次元計測できるカメラの視点位置およびカ
メラの向きを決定する。
The photographing position estimating unit 8 includes the measuring point image position information created by the measuring point image position estimating unit 3 and the photographing position coordinate information and direction information given via the photographing position coordinate information input unit 2. And the three-dimensional measurement error theoretically obtained at the measurement point are evaluated in advance, and the viewpoint position and the camera direction of the camera capable of three-dimensional measurement are determined so as to reduce the error.

【0070】すなわち、撮影位置座標入力部2に入力さ
れた位置情報対応の位置からカメラにより撮影した画像
中における測定点画像の距離と向きから、(2)式およ
び(3)式を用いて演算することで、画像位置評価部8
は測定点画像位置座標に含まれる誤差を評価し、それに
よって生じる3次元座標計算誤差を推定することによ
り、もっとも3次元測定精度の向上を図ることができる
撮影位置を決定する。
That is, from the distance and direction of the measurement point image in the image photographed by the camera from the position corresponding to the position information input to the photographing position coordinate input unit 2, the calculation is performed using the expressions (2) and (3). By doing so, the image position evaluation unit 8
Evaluates an error included in the coordinates of the measurement point image position and estimates a three-dimensional coordinate calculation error caused by the error, thereby determining a shooting position at which the three-dimensional measurement accuracy can be improved most.

【0071】そして、この撮影位置評価部8による評価
結果(すなわち、誤差が小さくなるように3次元計測で
きる上記決定されたカメラの視点位置およびカメラの向
き)は、端末50に与えられ、ディスプレイに表示さ
れ、操作者はこの評価結果に従ったカメラの位置や向き
で再撮影して画像入力部4に入力し、3次元座標計算部
5で計算させることで、精度の高い測定点間距離の測定
ができることになる。
The evaluation result by the photographing position evaluation unit 8 (that is, the determined viewpoint position and camera direction of the camera that can be three-dimensionally measured so as to reduce the error) is given to the terminal 50 and displayed on the display. The operator is re-photographed at the position and orientation of the camera according to the evaluation result, input to the image input unit 4 and calculated by the three-dimensional coordinate calculation unit 5, so that the distance between the measurement points with high accuracy is displayed. You will be able to measure.

【0072】以上、本システムは、インテリジェント端
末50と、この端末50から測定対象物の形状情報と測
定点の位置座標を入力する3次元モデル作成部1と、端
末からカメラの視点位置と向き情報を入力する撮影位置
座標入力部2と、測定点が投影される画像位置を推定す
る測定点画像位置推定部3と、測定点画像の推定位置か
ら画像処理によって求まる測定点画像位置の誤差を評価
する撮影位置評価部8と、画像を入力する画像入力部4
と、測定点の3次元座標を計算する3次元座標計算部5
から構成したものであり、このような本システムによれ
ば、誤差が小さくなるように3次元計測できるカメラの
視点位置およびカメラの向きを決定することができるの
で、第1の実施形態の効果に加えて、高い精度で測定で
きるカメラ設定が行えるので、測定対象物の測定を写真
測量法によって高精度に実施できる効果が得られる。
As described above, the present system comprises an intelligent terminal 50, a three-dimensional model creating unit 1 for inputting the shape information of the object to be measured and the position coordinates of the measuring point from the terminal 50, and the viewpoint position and orientation information of the camera from the terminal. , A measuring point image position estimating unit 3 for estimating the image position on which the measuring point is projected, and an error of the measuring point image position obtained by image processing from the estimated position of the measuring point image. Shooting position estimating unit 8 and image input unit 4 for inputting an image
And a three-dimensional coordinate calculator 5 for calculating three-dimensional coordinates of a measurement point
According to the present system, it is possible to determine the viewpoint position and the camera direction of the camera that can perform three-dimensional measurement so as to reduce the error, so that the effects of the first embodiment can be obtained. In addition, since a camera setting capable of performing measurement with high accuracy can be performed, an effect that measurement of an object to be measured can be performed with high accuracy by photogrammetry can be obtained.

【0073】(第4の実施形態)図4は本発明の第4の
実施形態としての写真測量支援システムの構成図であ
る。図4において、50はパソコン等のインテリジェン
トな端末であり、1は3次元モデル作成部、2は撮影位
置座標入力部、3は測定点画像位置推定部、4は画像入
力部、5は3次元座標計算部、8は撮影位置評価部、9
はコントローラ、10はアンテナである。
(Fourth Embodiment) FIG. 4 is a configuration diagram of a photogrammetry support system according to a fourth embodiment of the present invention. In FIG. 4, 50 is an intelligent terminal such as a personal computer, 1 is a three-dimensional model creating unit, 2 is a photographing position coordinate input unit, 3 is a measurement point image position estimating unit, 4 is an image input unit, and 5 is a 3D model. A coordinate calculation unit, 8 a shooting position evaluation unit, 9
Is a controller, and 10 is an antenna.

【0074】3次元モデル作成部1は、CAD(計算機
利用設計支援システム)の機能を有するものであり、端
末50から与えられる測定対象物の形状情報と測定しよ
うとする位置の座標情報とを受け、測定対象物の3次元
形状を示すモデルを作成すると共に、測定しようとする
位置の3次元情報を作成し、これら作成した3次元モデ
ルの情報と測定しようとする位置の3次元情報とを測定
点画像位置推定部3に与えるためのものである。
The three-dimensional model creation unit 1 has a CAD (design using computer) function, and receives the shape information of the measurement object provided from the terminal 50 and the coordinate information of the position to be measured. A model indicating the three-dimensional shape of the object to be measured is created, and three-dimensional information of the position to be measured is created, and the information of the created three-dimensional model and the three-dimensional information of the position to be measured are measured. This is for giving to the point image position estimating unit 3.

【0075】画像入力部4は、図示しないカメラにより
撮像された測定対象物の画像をシステムに取り込むため
のものであり、3次元座標計算部5はこの取り込まれた
画像と測定点画像位置推定部3からの推定情報とから測
定対象物における測定したい対象ポイントである測定点
が投影される点の3次元座標を計算するためのものであ
る。さらにまた、3次元座標計算部5には複数の異なる
視点から入力した画像に写った測定点画像間の対応付け
が済むと、これを利用して3次元座標計算部5は三角測
量法などの手法により測定点間の距離や寸法を求める機
能を有する。
The image input unit 4 is for taking in an image of the object to be measured picked up by a camera (not shown) into the system, and the three-dimensional coordinate calculation unit 5 is provided with this taken-in image and a measurement point image position estimating unit. This is for calculating three-dimensional coordinates of a point on the measurement target object on which a measurement point, which is a target point to be measured, is projected from the estimation information from 3. Furthermore, when the three-dimensional coordinate calculation unit 5 associates the measurement point images captured in the images input from a plurality of different viewpoints, the three-dimensional coordinate calculation unit 5 utilizes this to make the three-dimensional coordinate calculation unit 5 It has a function to determine the distance and dimension between measurement points by a technique.

【0076】また、撮影位置座標入力部2は、コントロ
ーラ9を介して与えられる図示しないカメラの位置や向
きの情報から、これを座標情報に変換して測定点画像位
置推定部3に与えるものである。
The photographing position coordinate input unit 2 converts the information on the position and orientation of the camera (not shown) provided via the controller 9 into coordinate information and provides the coordinate information to the measurement point image position estimating unit 3. is there.

【0077】また、撮影位置評価部8は、測定点画像の
推定位置から画像処理によって求まる測定点画像位置の
誤差を評価するためのものであって、測定点画像位置推
定部3において作成した測定点画像位置情報と、撮影位
置座標情報入力部2を介して与えられる撮影位置座標の
情報および向き情報と、測定点の3次元計測誤差を事前
に評価して、誤差が小さくなるように3次元計測できる
カメラの視点位置およびカメラの向きを決定するもので
ある。この撮影位置評価部8による評価結果(すなわ
ち、誤差が小さくなるように3次元計測できる上記決定
されたカメラの視点位置およびカメラの向き)は、端末
50に与えられ、ディスプレイに表示されて、カメラ設
定のモニタ情報として利用される。また、この撮影位置
評価部8による評価結果は、コントローラ9に与えら
れ、当該コントローラ9ではこの評価結果対応の視点位
置およびカメラの向きといった位置・姿勢の制御指令を
出力する構成としてある。
The photographing position evaluation section 8 is for evaluating the error of the measurement point image position obtained by the image processing from the estimated position of the measurement point image. The point image position information, the photographing position coordinate information and orientation information given via the photographing position coordinate information input unit 2, and the three-dimensional measurement error of the measurement point are evaluated in advance, and the three-dimensional measurement error is reduced. This is for determining the camera viewpoint position and the camera orientation that can be measured. The evaluation result by the photographing position evaluation unit 8 (that is, the determined viewpoint position and camera direction of the camera that can be three-dimensionally measured so as to reduce the error) is given to the terminal 50, displayed on the display, and displayed on the display. It is used as setting monitor information. The evaluation result by the photographing position evaluation unit 8 is given to a controller 9, and the controller 9 outputs a position / posture control command such as a viewpoint position and a camera direction corresponding to the evaluation result.

【0078】本システムにおいては、撮像装置であるカ
メラは高所に人手にて設置しないで済むように、遠隔操
作可能なラジコンヘリコプタや軽気球あるいは飛行船と
いった飛翔体に搭載している。そして、この飛翔体には
カメラの他に、カメラ位置向き検出器が搭載してある。
In this system, a camera as an image pickup device is mounted on a remotely controllable flying object such as a radio-controlled helicopter, a light balloon or an airship so that it is not necessary to manually install the camera at a high place. The flying object is equipped with a camera position and orientation detector in addition to the camera.

【0079】このカメラ位置向き検出器は図2で説明し
たように、カメラの撮影位置を計測する撮影位置計測装
置およびカメラの向き計測装置からなり、計測したカメ
ラ撮影位置の計測情報とカメラの向き情報とを出力する
ものである。このカメラ位置向き検出器は、撮影位置計
測装置としてはGPS(Global Positio
ning System)やジャイロやコーナミラーや
高度計といった計測装置を使用して構成しており、ま
た、カメラの向き計測装置としては傾斜計やエンコーダ
やポテンショメータといった計測装置を使用して構成し
ている。飛翔体にはこの他、無線による送受信装置やコ
ントローラが備えてあり、飛翔体の飛行状態の制御や、
カメラの操作、カメラの向きなどの制御のほかに、カメ
ラからの画像信号やカメラ位置向き計測装置の計測信号
などを無線で本システムと授受できるように構成してあ
る。
The camera position and orientation detector includes a photographing position measuring device for measuring the photographing position of the camera and a camera direction measuring device as described with reference to FIG. And output information. This camera position and orientation detector is a GPS (Global Position) as a photographing position measuring device.
The camera is configured using a measuring device such as a gyro, a corner mirror or an altimeter, and the camera direction measuring device is configured using a measuring device such as an inclinometer, an encoder or a potentiometer. The flying object also includes a wireless transmission / reception device and controller, and controls the flight state of the flying object,
In addition to controlling the operation of the camera and the direction of the camera, the system is configured so that image signals from the camera and measurement signals from the camera position and orientation measurement device can be wirelessly transmitted and received to and from the system.

【0080】そのため、本システムではその無線通信の
ための送受信アンテナ10があり、また、情報授受や指
令授受、そして、各種制御の中枢としてコントローラ9
がある。従って、コントローラ9には制御機能の他に、
無線信号の送受信系も備えた構成としてある。、このよ
うな構成の本システムは、図示しない測定対象物の画像
を、空中に浮かぶ飛翔体に搭載したカメラで撮像する。
この撮像に当たっては飛翔体やカメラの視野方向をコン
トロールして測定対象物に対するカメラの撮影位置を変
えながら複数枚、撮像する。撮像されて得られた画像は
飛翔体側より無線で地上に送信される。そして、地上で
はこの送信信号をアンテナ10で受信し、コントローラ
9を介して画像入力部4に入力する。
For this reason, the present system has a transmission / reception antenna 10 for the wireless communication, and a controller 9 as a center of information transmission / reception, command transmission / reception, and various controls.
There is. Therefore, in addition to the control function, the controller 9
The transmission / reception system for wireless signals is also provided. In this system having such a configuration, an image of a measurement object (not shown) is captured by a camera mounted on a flying object floating in the air.
In this imaging, a plurality of images are taken while controlling the direction of the field of view of the flying object and the camera and changing the imaging position of the camera with respect to the measurement target. The captured image is wirelessly transmitted from the flying object to the ground. Then, on the ground, this transmission signal is received by the antenna 10 and input to the image input unit 4 via the controller 9.

【0081】また、飛翔体上のカメラの視点位置や向き
は飛翔体上のカメラ位置向き検出器により計測され、こ
の計測結果であるカメラ撮影位置の計測情報とカメラの
向き情報も飛翔体側より無線で地上に送信される。そし
て、地上ではこの送信信号をアンテナ10で受信し、コ
ントローラ9はこの信号を撮影位置座標入力部2に入力
する。
The viewpoint position and direction of the camera on the flying object are measured by a camera position and orientation detector on the flying object, and the measurement result of the camera photographing position and the camera direction information, which are the measurement results, are wirelessly transmitted from the flying object side. Transmitted to the ground. Then, on the ground, this transmission signal is received by the antenna 10, and the controller 9 inputs this signal to the photographing position coordinate input unit 2.

【0082】一方、操作者は端末50を操作して3次元
モデル作成部1に測定対象物の形状情報と所望の測定点
(測定対象物の測定したいポイント)の位置を入力す
る。これにより、3次元モデル作成部1は測定対象物の
3次元形状を表したモデルを生成し、また、モデル上の
測定点の位置の座標情報を生成する。
On the other hand, the operator operates the terminal 50 to input the shape information of the object to be measured and the position of a desired measurement point (point to be measured on the object to be measured) to the three-dimensional model creating section 1. Thus, the three-dimensional model creation unit 1 creates a model representing the three-dimensional shape of the measurement object, and also creates coordinate information of the position of the measurement point on the model.

【0083】モデル作成部1が生成したこれらモデルの
データと測定点位置の座標情報は、測定点画像位置推定
部3に入力され、また、端末50にもフィードバックさ
れる。従って、端末50のディスプレイ上には、生成さ
れたモデルと、測定点の画像若しくはデータが表示さ
れ、測定点の位置決め等をディスプレイ画面上でできる
ことになる。
The data of these models and the coordinate information of the measurement point positions generated by the model creation section 1 are input to the measurement point image position estimating section 3 and are also fed back to the terminal 50. Therefore, the generated model and the image or data of the measurement point are displayed on the display of the terminal 50, and the positioning of the measurement point and the like can be performed on the display screen.

【0084】飛翔体上のカメラの視点位置や向きの情報
が入力された撮影位置座標入力部2ではこのカメラの位
置と向きの情報を座標情報化し、測定点画像位置推定部
3に入力する。
In the photographing position coordinate input unit 2 to which the information of the viewpoint position and the direction of the camera on the flying object is input, the information of the position and the direction of the camera is converted into coordinate information and input to the measurement point image position estimating unit 3.

【0085】測定点の位置座標と、カメラの視点位置情
報および向き情報とを受けた測定点画像位置推定部3で
は、これら情報を基に(1)式を用いて測定点画像推定
位置を計算する。
The measurement point image position estimating unit 3 which has received the position coordinates of the measurement point, the viewpoint position information and the direction information of the camera, calculates the estimated position of the measurement point image using the equation (1) based on these information. I do.

【0086】一方、飛翔体上のカメラで撮像した測定対
象物の画像情報を受けた画像入力部4はこれを3次元座
標計算部5に与える。3次元座標計算部5では、カメラ
からの入力画像を処理して検出した測定点画像位置と、
測定点画像推定位置との照合を行い、異なる視点位置か
ら撮影した画像間の測定点画像を対応付けすることによ
り、異なる画像間の測定点画像位置を対応付ける。
On the other hand, the image input unit 4 which has received the image information of the measurement object captured by the camera on the flying object gives it to the three-dimensional coordinate calculation unit 5. The three-dimensional coordinate calculation unit 5 processes the input image from the camera and detects the measurement point image position,
By collating with the estimated position of the measurement point image and associating the measurement point images between images taken from different viewpoint positions, the measurement point image positions between different images are associated.

【0087】ここで、カメラからの入力画像を処理して
検出した測定点画像位置は、特定の点ではなく、画像中
の測定対象物の輪郭線の各位置や測定対象物の特徴点な
どであり、測定点画像推定位置との照合を行うことで、
測定点画像推定位置に対応する画像位置が、カメラから
の入力画像におけるどの位置に対応するかを特定するも
のであり、異なる視点位置から撮影した画像間の測定点
画像をこのようにして対応付けることにより、操作者が
端末50により指示した測定点対応の画像位置が異なる
画像間においてそれぞれどこであるかを対応付けること
ことができる。
Here, the measurement point image position detected by processing the input image from the camera is not a specific point but a position of a contour of the measurement object in the image or a characteristic point of the measurement object. Yes, by comparing with the estimated position of the measurement point image,
This specifies the position of the image corresponding to the estimated position of the measurement point image in the input image from the camera, and associates the measurement point images between images taken from different viewpoint positions in this manner. Accordingly, it is possible to associate where the image positions corresponding to the measurement points designated by the operator with the terminal 50 are between different images.

【0088】そして、複数の異なる視点から入力した画
像に写った測定点画像間の対応付けが済むと、これを利
用して3次元座標計算部5は三角測量法などの手法によ
り測定点間の距離や寸法を求める。
Then, when the correspondence between the measurement point images shown in the images input from a plurality of different viewpoints is completed, the three-dimensional coordinate calculation unit 5 utilizes this, and the three-dimensional coordinate calculation unit 5 uses the method such as a triangulation method. Find distances and dimensions.

【0089】ここで本システムにおいては、撮影位置評
価部8が設けられている。そして、この撮影位置評価部
8は、測定点画像位置推定部3において作成した測定点
画像位置情報と、撮影位置座標情報入力部2を介して与
えられる撮影位置座標の情報および向き情報と、測定点
の理論的に求まる3次元計測誤差とを事前に評価して、
誤差が小さくなるように3次元計測できるカメラの視点
位置およびカメラの向きを決定する。
Here, in the present system, a photographing position evaluation section 8 is provided. Then, the photographing position evaluation unit 8 performs measurement point image position information created by the measurement point image position estimating unit 3, photographing position coordinate information and orientation information given via the photographing position coordinate information input unit 2, Evaluate in advance the three-dimensional measurement error that is theoretically obtained for the point,
The viewpoint position and the camera direction of the camera capable of three-dimensional measurement are determined so as to reduce the error.

【0090】すなわち、撮影位置座標入力部2に入力さ
れた位置情報対応の位置からカメラにより撮影した画像
中における測定点画像の距離と向きから、(2)式およ
び(3)式を用いて演算することで、画像位置評価部8
は測定点画像位置座標に含まれる誤差を評価し、それに
よって生じる3次元座標計算誤差を推定することによ
り、もっとも3次元測定精度の向上を図ることができる
撮影位置を決定する。そして、この撮影位置評価部8に
よる評価結果(すなわち、誤差が小さくなるように3次
元計測できる上記決定されたカメラの視点位置およびカ
メラの向き)は、コントローラ9に与えられ、このコン
トローラ9は上記決定されたカメラの視点位置およびカ
メラの向きを与える指令信号を発生して送受信アンテナ
10を介して飛翔体に送信する。飛翔体側ではこれを受
信し、飛翔体側の図示しないコントローラがカメラの姿
勢や飛翔体の高さや位置をその指令に従って制御する。
That is, from the position corresponding to the position information inputted to the photographing position coordinate input unit 2, the distance and direction of the measurement point image in the image photographed by the camera are calculated using the expressions (2) and (3). By doing so, the image position evaluation unit 8
Evaluates an error included in the coordinates of the measurement point image position and estimates a three-dimensional coordinate calculation error caused by the error, thereby determining a shooting position at which the three-dimensional measurement accuracy can be improved most. The evaluation result by the shooting position evaluation unit 8 (that is, the determined viewpoint position of the camera and the direction of the camera that can be three-dimensionally measured so as to reduce the error) is given to the controller 9. A command signal for giving the determined camera viewpoint position and camera direction is generated and transmitted to the flying object via the transmission / reception antenna 10. On the flying object side, this is received, and a controller (not shown) on the flying object side controls the attitude of the camera and the height and position of the flying object according to the command.

【0091】このように制御することにより、撮影位置
評価部8での評価結果に従ったカメラの位置や向きで撮
影した画像を自動的に得てこれを送信させ、これを画像
入力部4で取り込んで3次元座標計算部5で計算させる
ことで、精度の高い測定点間距離の測定ができることに
なる。
By controlling in this manner, an image captured at the camera position and orientation according to the evaluation result of the imaging position evaluation unit 8 is automatically obtained and transmitted, and this is transmitted to the image input unit 4. By taking it in and calculating it by the three-dimensional coordinate calculation unit 5, it is possible to measure the distance between the measurement points with high accuracy.

【0092】このようにして、測定対象物の測定ができ
ることになる。このように、第4の実施形態のシステム
は、端末50から測定対象物の形状情報と測定点の位置
座標を入力する3次元モデル作成部2と、遠隔操作可能
なラジコンヘリコプターや軽気球や飛行船といった飛翔
体に搭載した撮影位置検出装置からカメラの視点位置と
向き情報を入力する撮影位置座標入力部2と、測定点が
投影される画像位置を推定する測定点画像位置推定部3
と、無線で画像を入力する画像入力部4と、測定点の3
次元座標を計算する3次元座標計算部5からなるから構
成したものであり、高さ位置や状態を無線操縦(遠隔操
縦)によりコントロールできる飛翔体にカメラを搭載
し、かつ、カメラの撮影位置検出装置を搭載してこれら
からの情報や制御・操作のためのコントロール信号をを
無線で通信できるようにして測定対象の画像を無線で受
信し、処理するようにしたことから、危険作業を伴う大
型構造物の撮影などにおいて、人が危険作業を行わずに
すむようになる。
In this way, the measurement object can be measured. As described above, the system according to the fourth embodiment includes the three-dimensional model creation unit 2 that inputs the shape information of the measurement target and the position coordinates of the measurement point from the terminal 50, and the remote-controlled radio-controlled helicopter, light balloon, and airship A photographing position coordinate input unit 2 for inputting viewpoint information and direction information of a camera from a photographing position detecting device mounted on a flying object, and a measuring point image position estimating unit 3 for estimating an image position where a measuring point is projected.
An image input unit 4 for wirelessly inputting an image, and a measurement point 3
It consists of a three-dimensional coordinate calculation unit 5 that calculates three-dimensional coordinates. The camera is mounted on a flying object whose height and state can be controlled by wireless control (remote control), and the photographing position of the camera is detected. With the equipment installed, the information from these devices and control signals for control and operation can be communicated wirelessly to receive and process the images to be measured wirelessly. This eliminates the need for humans to perform dangerous work when photographing structures.

【0093】また、このような本システムによれば、第
1乃至第3の実施形態の基本的機能を備えているから、
その効果を併せ持っており、従って、写真測量を行う場
合に、カメラにより異なる複数の位置から得た測定対象
物の撮影画像それぞれについて、いちいち操作者が測定
点位置の設定入力を行わずに済み、しかも、カメラは飛
翔体に搭載されてカメラの視野方向や向きも自動的に最
適状態に制御される構成であるので、誰でもが容易に操
作できるようになるなど、操作性の簡便さと測定精度の
向上効果の他、危険な場所での測定において操作者には
安全が保証されるなどの高い安全性が確保される写真測
量支援システムを提供することができる。
Further, according to the present system, since the basic functions of the first to third embodiments are provided,
It has the same effect, and therefore, when performing photogrammetry, the operator does not need to perform the setting input of the measurement point position for each of the captured images of the measurement target obtained from a plurality of different positions by the camera, In addition, the camera is mounted on a flying object and the viewing direction and direction of the camera are automatically controlled to the optimum state, so that anyone can easily operate it, and simplicity of operation and measurement accuracy It is possible to provide a photogrammetry support system that ensures a high level of safety, such as ensuring safety for an operator in a measurement in a dangerous place, in addition to the effect of improving photogrammetry.

【0094】[0094]

【発明の効果】以上、詳述したように本発明によれば、
写真測量を行う場合に、カメラにより異なる複数の位置
から得た測定対象物の撮影画像それぞれについて、いち
いち操作者が測定点位置の設定入力を行わずに済み、し
かも、カメラは飛翔体に搭載されてカメラの視野方向や
向きも自動的に最適状態に制御される構成であるので、
誰でもが容易に操作できるようになるなど、操作性の簡
便さと測定精度の向上効果の他、危険な場所での測定に
おいて操作者には安全が保証されるなどの高い安全性が
確保される写真測量支援システムを提供することができ
る。
As described in detail above, according to the present invention,
When performing photogrammetry, the operator does not need to input the setting of the measurement point position for each of the captured images of the measurement object obtained from a plurality of different positions by the camera, and the camera is mounted on the flying object The camera's viewing direction and orientation are also automatically controlled to the optimal state,
In addition to simplicity of operation and improvement of measurement accuracy, such as easy operation by anyone, high safety is assured, such as safety is assured to the operator when measuring in dangerous places. A photogrammetry support system can be provided.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明を説明するための図であって、本発明の
第1の実施形態としての写真測量支援システムの構成例
を示すシステムブロック図。
FIG. 1 is a diagram for explaining the present invention, and is a system block diagram showing a configuration example of a photogrammetry support system as a first embodiment of the present invention.

【図2】本発明を説明するための図であって、本発明の
第2の実施形態としての写真測量支援システムの構成例
を示すシステムブロック図。
FIG. 2 is a diagram for explaining the present invention, and is a system block diagram showing a configuration example of a photogrammetry support system as a second embodiment of the present invention.

【図3】本発明を説明するための図であって、本発明の
第3の実施形態としての写真測量支援システムの構成例
を示すシステムブロック図。
FIG. 3 is a diagram for explaining the present invention, and is a system block diagram showing a configuration example of a photogrammetry support system as a third embodiment of the present invention.

【図4】本発明を説明するための図であって、本発明の
第4の実施形態としての写真測量支援システムの構成例
を示すシステムブロック図。
FIG. 4 is a diagram for explaining the present invention, and is a system block diagram showing a configuration example of a photogrammetry support system as a fourth embodiment of the present invention.

【図5】本発明を説明するための図であって、本発明に
おける撮影位置評価部において、3次元座標の誤差要因
となる撮影角度による測定点中心と画像処理によって求
まる測定点画像中心位置との誤差の関係を説明するため
の原理図。
FIG. 5 is a diagram for explaining the present invention. In the photographing position evaluation unit according to the present invention, a measuring point center based on a photographing angle, which is an error factor of three-dimensional coordinates, and a measuring point image center position obtained by image processing. FIG. 3 is a principle diagram for explaining the relationship between errors.

【図6】写真測量の原理を説明するための図。FIG. 6 is a view for explaining the principle of photogrammetry.

【図7】従来の写真測量システムの構成図。FIG. 7 is a configuration diagram of a conventional photogrammetry system.

【符号の説明】[Explanation of symbols]

1…3次元モデル作成部 2…撮影位置座標入力部 3…測定点画像位置推定部 4…画像入力部 5…3次元座標計算部 6…カメラの向き計測装置 7…カメラ(撮像手段) 8…撮影位置評価部 50…端末。 DESCRIPTION OF SYMBOLS 1 ... 3D model preparation part 2 ... Shooting position coordinate input part 3 ... Measurement point image position estimating part 4 ... Image input part 5 ... Three-dimensional coordinate calculation part 6 ... Camera direction measuring device 7 ... Camera (imaging means) 8 ... Shooting position evaluation unit 50: terminal.

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】撮像手段により得られた画像から測定対象
物の3次元計測を行う写真測量システムにおいて、 測定対象物の3次元形状モデルと測定しようとする測定
点の3次元位置情報を作成する3次元モデル作成部と、 作成した3次元形状モデルを用いて撮影しようとする測
定対象物の注視点位置と前記撮像手段の視点位置座標ま
たは撮像手段の位置座標および向きを入力するインター
フェイスを有する撮影位置座標入力部と、 入力した撮像手段の視点位置から撮影した画像上の測定
点の推定位置座標と測定点画像間の位置関係情報を作成
する測定点画像位置推定部と、 入力画像を処理して複数の異なる視点位置から撮影した
画像間で測定点画像間の対応付けを行い、測定点の3次
元座標を計算する3次元座標計算部と、を備えることを
特徴とする写真測量支援システム。
In a photogrammetry system for performing three-dimensional measurement of an object to be measured from an image obtained by an imaging means, a three-dimensional shape model of the object to be measured and three-dimensional position information of a measurement point to be measured are created. A photographing device having a three-dimensional model creation unit, and an interface for inputting a gazing point position of a measurement object to be photographed using the created three-dimensional shape model, a viewpoint position coordinate of the imaging unit, or a position coordinate and direction of the imaging unit; A position coordinate input unit, a measurement point image position estimating unit that creates estimated position coordinates of a measurement point on the image captured from the viewpoint position of the input imaging unit and positional relationship information between the measurement point images, and processes the input image. And a three-dimensional coordinate calculation unit that calculates the three-dimensional coordinates of the measurement points by associating the measurement point images with images captured from a plurality of different viewpoint positions. The photogrammetry support system to be used.
【請求項2】請求項1記載の写真測量支援システムにお
いて、 撮影位置座標入力部に撮像手段の視点位置と向き情報を
入力する手段として位置計測装置と、撮像手段の視野方
向計測装置を具備すると共に、位置計測装置としてGP
S(Global Positioning Syst
em)または加速度センサまたはコーナミラーまたは高
度計のいずれかを用い、また、撮像手段の撮像視野方向
を計測する計測装置として傾斜計またはエンコーダまた
はポテンショメータのいずれかを用いることを特徴とす
る写真測量支援システム。
2. A photogrammetry support system according to claim 1, further comprising: a position measuring device as a means for inputting the viewpoint position and orientation information of the image pickup means to the photographing position coordinate input section, and a visual field direction measuring device of the image pickup means. With GP as a position measuring device
S (Global Positioning System)
em) or an accelerometer, a corner mirror, or an altimeter, and using an inclinometer, an encoder, or a potentiometer as a measuring device for measuring an imaging visual field direction of the imaging means. .
【請求項3】請求項1記載の写真測量支援システムにお
いて、 測定点画像位置推定部において作成した測定点画像位置
情報と、撮影位置座標と向き情報と、測定点の3次元計
測誤差を事前に評価し、最も精度良く3次元計測できる
撮像手段視点位置および撮像手段撮像視野方向を決定す
る撮影位置評価手段を更に具備することを特徴とする写
真測量支援システム。
3. The photogrammetry support system according to claim 1, wherein the measurement point image position information created by the measurement point image position estimating unit, the photographing position coordinates and the direction information, and the three-dimensional measurement error of the measurement point are determined in advance. A photogrammetry support system further comprising: a photographing position evaluation unit that evaluates and determines an imaging unit viewpoint position and an imaging unit imaging visual field direction that can perform three-dimensional measurement with the highest accuracy.
【請求項4】請求項1記載の写真測量支援システムにお
いて、 遠隔操作装置を設けると共に、画像撮影手段および位置
計測装置を、遠隔操作可能な飛翔体に搭載することを特
徴とする写真測量支援システム。
4. A photogrammetry support system according to claim 1, further comprising a remote control device, wherein the image photographing means and the position measurement device are mounted on a remotely controllable flying object. .
JP9357785A 1997-12-25 1997-12-25 Photography survey support system Pending JPH11183172A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9357785A JPH11183172A (en) 1997-12-25 1997-12-25 Photography survey support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9357785A JPH11183172A (en) 1997-12-25 1997-12-25 Photography survey support system

Publications (1)

Publication Number Publication Date
JPH11183172A true JPH11183172A (en) 1999-07-09

Family

ID=18455913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9357785A Pending JPH11183172A (en) 1997-12-25 1997-12-25 Photography survey support system

Country Status (1)

Country Link
JP (1) JPH11183172A (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001249020A (en) * 1999-12-28 2001-09-14 Ishikawajima Harima Heavy Ind Co Ltd Photo measurement target
JP2006003280A (en) * 2004-06-18 2006-01-05 Topcon Corp Imaging apparatus and imaging method
JP2013160602A (en) * 2012-02-03 2013-08-19 Mitsubishi Electric Corp Photographic surveying apparatus
JP2013539147A (en) * 2010-10-07 2013-10-17 サンジェビティ Rapid 3D modeling
JP2015060430A (en) * 2013-09-19 2015-03-30 株式会社Ihi Sensor orientation control method and apparatus
JP2015178984A (en) * 2014-03-19 2015-10-08 三菱電機株式会社 PHOTO MEASUREMENT SYSTEM AND PHOTOGRAPHING POSITION POSITION METHOD
US9279602B2 (en) 2007-10-04 2016-03-08 Sungevity Inc. System and method for provisioning energy systems
CN105783873A (en) * 2016-02-24 2016-07-20 腾讯科技(深圳)有限公司 Target object measuring method and high-precision map generating method and device
JP2017067535A (en) * 2015-09-29 2017-04-06 日立オートモティブシステムズ株式会社 Peripheral recognition device
WO2017145755A1 (en) * 2016-02-22 2017-08-31 ソニー株式会社 Information processing device and information processing method
US9934334B2 (en) 2013-08-29 2018-04-03 Solar Spectrum Holdings Llc Designing and installation quoting for solar energy systems
JP2019078595A (en) * 2017-10-23 2019-05-23 株式会社クボタ Pipeline completion drawing generation system and pipeline completion drawing generation method, flight body used in pipeline completion drawing generation system, and pipe joint position calculation device
JP2019211257A (en) * 2018-05-31 2019-12-12 株式会社センシンロボティクス Inspection system
CN110945510A (en) * 2017-08-31 2020-03-31 克朗斯股份公司 Method for spatial measurement by means of a measuring vehicle
WO2022244444A1 (en) * 2021-05-19 2022-11-24 オムロン株式会社 Information processing system, information processing method, and program

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001249020A (en) * 1999-12-28 2001-09-14 Ishikawajima Harima Heavy Ind Co Ltd Photo measurement target
JP2006003280A (en) * 2004-06-18 2006-01-05 Topcon Corp Imaging apparatus and imaging method
US9279602B2 (en) 2007-10-04 2016-03-08 Sungevity Inc. System and method for provisioning energy systems
EP2636022A4 (en) * 2010-10-07 2017-09-06 Sungevity Rapid 3d modeling
JP2013539147A (en) * 2010-10-07 2013-10-17 サンジェビティ Rapid 3D modeling
JP2013160602A (en) * 2012-02-03 2013-08-19 Mitsubishi Electric Corp Photographic surveying apparatus
US9934334B2 (en) 2013-08-29 2018-04-03 Solar Spectrum Holdings Llc Designing and installation quoting for solar energy systems
JP2015060430A (en) * 2013-09-19 2015-03-30 株式会社Ihi Sensor orientation control method and apparatus
JP2015178984A (en) * 2014-03-19 2015-10-08 三菱電機株式会社 PHOTO MEASUREMENT SYSTEM AND PHOTOGRAPHING POSITION POSITION METHOD
JP2017067535A (en) * 2015-09-29 2017-04-06 日立オートモティブシステムズ株式会社 Peripheral recognition device
WO2017145755A1 (en) * 2016-02-22 2017-08-31 ソニー株式会社 Information processing device and information processing method
JPWO2017145755A1 (en) * 2016-02-22 2018-12-13 ソニー株式会社 Information processing apparatus and information processing method
US10735670B2 (en) 2016-02-22 2020-08-04 Sony Corporation Information processing apparatus and information processing method
CN105783873A (en) * 2016-02-24 2016-07-20 腾讯科技(深圳)有限公司 Target object measuring method and high-precision map generating method and device
CN110945510A (en) * 2017-08-31 2020-03-31 克朗斯股份公司 Method for spatial measurement by means of a measuring vehicle
JP2020531793A (en) * 2017-08-31 2020-11-05 クロネス アーゲー How to measure an area by measuring vehicle
US12235093B2 (en) 2017-08-31 2025-02-25 Krones Ag Method for designing packaging plants
JP2019078595A (en) * 2017-10-23 2019-05-23 株式会社クボタ Pipeline completion drawing generation system and pipeline completion drawing generation method, flight body used in pipeline completion drawing generation system, and pipe joint position calculation device
JP2019211257A (en) * 2018-05-31 2019-12-12 株式会社センシンロボティクス Inspection system
WO2022244444A1 (en) * 2021-05-19 2022-11-24 オムロン株式会社 Information processing system, information processing method, and program
JP2022178153A (en) * 2021-05-19 2022-12-02 オムロン株式会社 Information processing system, information processing method, program

Similar Documents

Publication Publication Date Title
CN111156998B (en) Mobile robot positioning method based on RGB-D camera and IMU information fusion
JP4142460B2 (en) Motion detection device
KR100728377B1 (en) Wi-Fi real-time update method of changed local facilities using laser scanner and wireless internet
CN112334733B (en) Calibration device for imaging device, monitoring device, working machine, and calibration method
US20150254861A1 (en) Apparatus and method for determining spatial information about environment
CN108375370A (en) A kind of complex navigation system towards intelligent patrol unmanned plane
CN111247389B (en) Data processing method and device for shooting equipment and image processing equipment
JP2019032330A (en) Inspection camera unit for inspecting the interior, method for inspecting the interior, and sensor unit
JP5019478B2 (en) Marker automatic registration method and system
JP4077385B2 (en) Global coordinate acquisition device using image processing
JP7004374B1 (en) Movement route generation method and program of moving object, management server, management system
CN109974687A (en) Co-located method, apparatus and system in a kind of multisensor room based on depth camera
CN116027351B (en) A handheld/backpack SLAM device and positioning method
JPH08285588A (en) Photographing apparatus and flight photographing apparatus using the apparatus
JP2023100642A (en) inspection system
JP2024008901A (en) 3D data generation system, 3D data generation method, and marker measure
JP6681101B2 (en) Inspection system
CN215767057U (en) Dynamic adjusting device for improving precision of rock mass of complex slope investigated by unmanned aerial vehicle
JP2023072353A (en) Mobile body travel route determination device, mobile body travel route determination method, and mobile body travel route determination program
CN114184194A (en) A method for autonomous navigation and positioning of unmanned aerial vehicles in denial environments
CN112129263A (en) Separated moving type stereo distance measuring camera and design method thereof
JPH10185563A (en) Photogrammetry target and photogrammetry using this photogrammetry target
JP6681102B2 (en) Inspection system
CN114648577B (en) Equipment detection method and equipment detection system
JP2024177053A (en) Information processing system and information processing method

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030630