WO2007119295A1 - 医療用画像処理装置及び医療用画像処理方法 - Google Patents

医療用画像処理装置及び医療用画像処理方法 Download PDF

Info

Publication number
WO2007119295A1
WO2007119295A1 PCT/JP2007/053585 JP2007053585W WO2007119295A1 WO 2007119295 A1 WO2007119295 A1 WO 2007119295A1 JP 2007053585 W JP2007053585 W JP 2007053585W WO 2007119295 A1 WO2007119295 A1 WO 2007119295A1
Authority
WO
WIPO (PCT)
Prior art keywords
surface model
candidate
reliability
image processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2007/053585
Other languages
English (en)
French (fr)
Inventor
Hideki Tanaka
Hirokazu Nishimura
Kenji Nakamura
Ryoko Inoue
Miho Sawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to EP07714978A priority Critical patent/EP1994876B1/en
Priority to CN2007800068267A priority patent/CN101389260B/zh
Publication of WO2007119295A1 publication Critical patent/WO2007119295A1/ja
Priority to US12/208,827 priority patent/US8184146B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to a medical image processing apparatus and a medical image processing method for processing the reliability of each part in a three-dimensional surface model generated from a two-dimensional image.
  • An endoscopic image obtained by an endoscope inserted into a body cavity is widely used for diagnosis of an observation site. Since an endoscopic image obtained by an endoscope is a two-dimensional image, a three-dimensional surface model is obtained from acquired image information as disclosed in, for example, JP-A-8-252217. There are devices that provide image information that is easier to diagnose by creating and displaying the created surface model.
  • the accuracy of the data portion of the surface model generated from the image data portion captured at a far distance is the data of the surface model generated from the image data portion captured at a close distance. Lower than the part.
  • the present invention has been made in view of the above points, and a medical image processing apparatus and a medical image capable of confirming or improving reliability when a surface model is used for detection of a lesion candidate or the like. An object is to provide a processing method.
  • a medical image processing apparatus comprises a surface model generating means for generating a three-dimensional surface model from a two-dimensional medical image, and dividing the surface model into a plurality of regions. And a region reliability calculation means for calculating the reliability of the data in each region.
  • the medical image processing method includes a surface model generation step for generating a three-dimensional surface model from a two-dimensional medical image, and dividing the surface model into a plurality of regions. And a region reliability calculating step for calculating data reliability in each of the plurality of regions.
  • FIG. 1 is a block diagram showing a configuration of an endoscope system.
  • FIG. 2 is a diagram showing a state where an image is taken by an endoscope inserted in a tubular part such as a large intestine.
  • FIG. 3 is a diagram showing an endoscopic image captured by an imaging device provided in the endoscope of FIG. 2.
  • FIG. 4 is a diagram showing a surface model generated from the endoscopic image of FIG. 3.
  • FIG. 5 is a block diagram showing image analysis processing functions by the CPU.
  • FIG. 6 is a flowchart showing a processing procedure for generating a surface model.
  • FIG. 7 is a diagram showing a positional relationship between a corresponding point on an object corresponding to each pixel of a captured image, a light source, and the like.
  • FIG. 8A is a diagram showing a state in which light with a light source power is reflected by an object surface.
  • FIG. 8B is a diagram showing a state in which light with a light source power is reflected by an object surface.
  • FIG. 9 is a diagram showing a plurality of normal vectors set around corresponding points.
  • FIG. 10 is a diagram showing that the vector m in FIG. 8B passes through a position on a two-dimensional image.
  • FIG. 11 is a diagram showing a surface model generated in step S 2 of FIG. 6.
  • FIG. 12 is a diagram showing processing contents for generating a button cell reliability map, data used, and the like.
  • FIG. 13 is an explanatory diagram of distance calculation in step S 12 of FIG.
  • FIG. 14 is a diagram showing processing contents for performing polyp candidate extraction determination and generated Z used images and the like.
  • FIG. 15A is an explanatory diagram of the operation of step S24 in FIG.
  • FIG. 15B is an operation explanatory diagram of step S24 in FIG.
  • FIG. 15C is an operation explanatory diagram of step S24 in FIG.
  • FIG. 15D is an operation explanatory diagram of step S24 in FIG.
  • FIG. 16 is a flowchart showing details of polyp candidate determination processing in step S26 of FIG.
  • FIG. 17 is an explanatory diagram of the processing of FIG.
  • FIG. 1 is a block diagram showing the configuration of an endoscope system
  • FIG. 2 is an image taken by an endoscope inserted into a tubular part such as a large intestine.
  • Fig. 3 shows an endoscopic image captured by the imaging device provided in the endoscope of Fig. 2
  • Fig. 4 shows a surface model generated from the endoscopic image of Fig. 3.
  • Fig. 5 is a block diagram showing the image analysis processing function by the CPU
  • Fig. 6 is a flowchart showing the processing procedure for generating the surface model
  • Fig. 7 is on the object corresponding to each pixel of the captured image.
  • Figure 8A shows the positional relationship between the corresponding points and the light source, etc.
  • Figure 8A shows how the light from the light source is reflected by the object surface
  • Figure 8B shows the light from the light source reflected by the object surface
  • Fig. 9 is a diagram showing multiple normal vectors set around corresponding points
  • Fig. 10 is a vector of Fig. 8B
  • Fig. 11 shows the surface model passing through the position on the 2D image
  • Fig. 11 shows the surface model generated in step S2 of Fig. 6,
  • Fig. 12 shows the contents and use of the process for generating the Botacel reliability map.
  • FIG. 13 is an explanatory diagram of distance calculation in step S12 of FIG. 12
  • FIG. 14 is a processing content for performing polyp candidate extraction determination and generation.
  • 15A is a diagram for explaining the operation of step S24 in FIG. 14, FIG.
  • FIG. 15B is a diagram for explaining the operation of step S24 in FIG. 14
  • FIG. 15C is a diagram for explaining the operation of step S24 in FIG. 14,
  • FIG. 16 is a flowchart showing the processing content of the polyp candidate determination in step S26 of FIG. 14, and
  • FIG. 17 is an explanatory diagram of the processing of FIG.
  • An endoscope system 1 shown in FIG. 1 includes an endoscope observation apparatus 2 and a personal that performs image processing on an endoscope image as a medical image obtained by the endoscope observation apparatus 2.
  • a medical image processing apparatus hereinafter simply abbreviated as “image processing apparatus” constituted by a computer or the like, and a display monitor 4 for displaying an image processed by the image processing apparatus 3.
  • the endoscope observation apparatus 2 includes an endoscope 6 that is inserted into a body cavity, a light source device 7 that supplies illumination light to the endoscope 6, and signal processing for the imaging means of the endoscope 6.
  • the endoscope 6 includes an insertion portion 11 that is inserted into a body cavity, and an operation portion 12 that is provided at the rear end of the insertion portion 11.
  • a light guide 13 that transmits illumination light is inserted into the insertion portion 11.
  • the rear end of the light guide 13 is connected to the light source device 7. Then, the illumination light supplied from the light source device 7 is transferred by the light guide 13 and emitted from the distal end surface attached to the illumination window provided at the distal end portion 14 of the insertion portion 11 (transmitted illumination light). Illuminate the subject such as the affected area.
  • An imaging device including an objective lens 15 attached to an observation window adjacent to the illumination window, and a charge coupled device (abbreviated as CCD) 16 as a solid-state imaging device disposed at an imaging position of the objective lens 15, for example. 17 is provided.
  • the optical image stored on the imaging surface of the CCD 16 is photoelectrically converted by the CCD 16.
  • the CCD 16 is connected to the CCU 8 through a signal line, and the CCD 16 outputs a photoelectrically converted image signal by applying the CCU 8 force CCD drive signal.
  • This image signal is signal-processed by a video processing circuit in the CCU 8 and converted into a video signal.
  • This video signal is output to the monitor 9, and an endoscopic image is displayed on the display surface of the monitor 9.
  • This video signal is also input to the image processing device 3.
  • the image processing device 3 includes an image input unit 21 to which a video signal corresponding to an endoscopic image input from the endoscope observation device 2 is input, and an image data input from the image input unit 21.
  • CPU 22 as a central processing unit for performing image processing on the data, and a processing program storage unit 23 for storing a processing program (control program) for executing image processing by CPU 22.
  • the image processing apparatus 3 includes an image storage unit 24 that stores image data input from the image input unit 21, an information storage unit 25 that stores information processed by the CPU 22, and the CPU 22.
  • a hard disk 27 as a storage device for storing processed image data and information via the storage device interface 26, a display processing unit 28 for performing display processing for displaying the image data and the like processed by the CPU 22, and a user Has an input operation unit 29 that also has the power of a keyboard or the like for inputting data such as an image processing parameter or performing an instruction operation.
  • the video signal generated by the display processing unit 28 is displayed on the display monitor 4, and a processed image subjected to image processing is displayed on the display surface of the display monitor 4.
  • the image input unit 21, the CPU 22, the processing program storage unit 23, the image storage unit 24, the information storage unit 25, the storage device interface 26, the display processing unit 28, and the input operation unit 29 are connected to each other via the data bus 30. Connected to!
  • the insertion portion 11 of the direct-view endoscope 6 is inserted into a tubular part (tubular organ) such as the large intestine 31 and the imaging device 17 Imaged
  • FIG. 3 shows an example of an endoscopic image captured by the direct-view type endoscope 6.
  • this endoscopic image there are wrinkles and raised convex portions.
  • the hatched portion indicates the dark lumen extending to the deep side.
  • a tubular organ such as the large intestine 31 is imaged by a direct-viewing type endoscope 6, and an object (specifically, a large intestine tube) is obtained from the captured two-dimensional endoscopic image.
  • An example of the estimated surface model is shown in Fig. 4, for example.
  • convex portions Gl and G2 corresponding to the convex portion of FIG. 3 are generated.
  • the surface or position data of each point (botacell as a small region as will be described later) in the generated three-dimensional surface model.
  • the CPU 22 constituting the image processing apparatus according to the present embodiment has an image processing function as shown in FIG.
  • the CPU 22 includes a surface model generation function 22a as a surface model generation means for performing a process of generating (estimating) a surface model as a three-dimensional shape from a two-dimensional endoscope image, and the surface of the generated surface model.
  • a botacell reliability map generation function 22b as a region reliability calculation means for generating a botacell reliability map that represents the reliability of the data in a portion of the data as a small area in each part of the data, and the surface of the surface model
  • a candidate for a polyp candidate (polyp candidate detection function) as a candidate detection means that extracts lesion candidates, specifically polyp candidates from the data, and performs a process of determining (or detecting) the possibility of a polyp ) 22c.
  • each surface data portion of the surface model is regarded as a set of botasels, and the reliability of the three-dimensional data in each botasel portion ( Botacell reliability) is calculated.
  • each function shown in FIG. 5 is realized by software.
  • the CPU 22 reads out the processing program stored (stored) in the processing program storage unit 23, and the CPU 22 performs processing according to this processing program, whereby a flowchart corresponding to the surface model generation function 22a shown in FIG. Execute processing etc.
  • the CPU 22 reads the processing program in the processing program storage unit 23 and starts processing according to the processing program. As shown in FIG. 6, in the first step S1, the CPU 22 acquires an endoscope image input from the CCU 8 of the endoscope observation apparatus 2 via the image input unit 21 as image data of the original image.
  • step S2 the CPU 22 performs pre-processing such as distortion correction (for example, described in JP-A-8-256295) and noise removal on the acquired image data.
  • step S3 the CPU 22 obtains the three-dimensional position of the object corresponding to the pixel in the image by the following procedure.
  • r 3 d — k 3 ⁇ 13
  • the vector of the three-dimensional position of the pixel corresponding points El, E2, E3 is klml, k2m2, k3m3 (ml, m2, m3: unit vector of size 1), and the light source Q from the viewpoint O
  • point P in FIG. 8A represents the pixel corresponding points El, E2, and E3 in FIG. 7 (therefore, the vector r represents the vectors rl, r2, and r3 in FIG. 7).
  • condition (a) distance between viewpoint O and light source Q ⁇ distance between viewpoint O and pixel corresponding points El, E2, E3, ie, I d I ⁇ I rm I (or I d I ⁇ I r I where m l to 3) and condition (b) The three-dimensional positions of pixel corresponding points E1, E2, E3 are close to each other (a), (b) In this case, the following approximate equation (4) is obtained.
  • An illumination window 13a to which the distal end surface (or illumination lens) of the light guide 13 is attached faces this distal end surface, and this force also emits illumination light. That is, the illumination window 13a such as the front end surface of the light guide 13 corresponds to the light source Q in FIGS. 7 and 8A.
  • the viewpoint O adjacent to the illumination window 13a is an observation window (imaging window) in which the objective lens 15 of the imaging means (imaging device 17) is arranged.
  • the luminance value I (x, y) of each pixel corresponding point P (x, y) is It can be expressed by the following formula (5).
  • h is the target surface diffusion
  • Iq is the luminous intensity of the light source Q
  • ⁇ is the angle between the normal vector n (x, y) of the surface of the object at point ⁇ and the light source direction r (x, y).
  • the light source direction r (x, y) at the point P can be expressed by the following equation (6).
  • the luminance value I (x, y) of each pixel on the image can be expressed by the following equation (8).
  • Equation (9) k (x, y) Is already known, k (x, y) is calculated from equation (8), and the three-dimensional position (X, ⁇ , Z) corresponding to each pixel (X, y) on the image is Calculated as shown in Equation (9) below.
  • the number of data points changes depending on the angle formed by the surface of each position P with the imaging surface 42, and the like. In this case, the number of data points is considered to be closely related to the amount of information that represents the reliability of the three-dimensional position of Botacel B.
  • the inner surface of the three-dimensional surface model shown in Fig. 11 has a portion (indicated by Gl and G2 in Fig. 11) where the inner surface portion is convex inward from the viewpoint O side.
  • the back inner part behind the part is hidden, and the back part is hidden and hidden, so-called occlusion. It becomes.
  • the CPU 22 scans the three-dimensional shape data generated in step S3 of Fig. 6 and performs interpolation processing on the occlusion portions HI, H2, etc. as shown in step S4. I do.
  • a coefficient w smaller than 1 is stored in association with the surface data for the data point of the surface position generated by the interpolation process.
  • the missing part is interpolated to generate a surface model as shown in FIG. 4, and this surface model data (referred to as surface model data) is stored in, for example, the information storage unit 25 in FIG.
  • surface model data (referred to as surface model data) is stored in, for example, the information storage unit 25 in FIG.
  • the CPU 22 performs the process of generating the botacell reliability map shown in FIG.
  • the CPU 22 performs initial setting (setting the following position parameter s to the initial value sini) in step S11, and then stores the surface model data in the information storage unit 25 in the next step S12.
  • each botagel Bxyz (abbreviated as Bs) is set on the surface model as shown in Fig. 13, and the center position and observation position (that is, the viewpoint O) of that bocellel Bs are set. ) To calculate the distance Ls.
  • This distance Ls can be calculated as an objective numerical value by fitting the diameter of the lumen-shaped portion of the captured endoscopic image with the average diameter value of the actually imaged large intestine 31.
  • the distance Ls between the center position of the botacel Bs and the observation position (or viewpoint O) is calculated, but as shown in Fig. 8B, the center of the botacell Bs is calculated using the value of the vector d of the OQ.
  • a distance (referred to as Lsq) between the position and the light source Q (illumination window) may be calculated.
  • the magnitude of the beta d may be Ls ⁇ Lsq, assuming that it is smaller than the distance Lsq, and the endoscope tip surface force may be regarded as the distance to the center position of the Botacel Bs as this distance Ls.
  • the box Bs has the coordinate position of its center as (Vx + 1/2, Vy + 1/2, Vz + 1/2), Vx ⁇ X ⁇ Vx + l, Vy ⁇ Y ⁇ Vy + l, Vz ⁇ Z ⁇ Vz + l.
  • the following processing is performed on this small area (subscript s is the position of the botasel Bs on the surface model with different three-dimensional coordinate positions (Vx + 1/2, Vy + 1/2, Vz + 1/2). Is shown in a simplified manner).
  • the CPU 22 obtains the number of constituent data points (abbreviated as the number of data points) Ns constituting the surface model data for each of the botasels Bs.
  • the number Ns of data points obtained by interpolation processing is multiplied by a coefficient w smaller than 1 to calculate the number Ns of data points.
  • the CPU 22 calculates the botacell reliability ps for the botacell Bs.
  • This / 0 s is, for example,
  • ex represents a factor for normalization
  • the number of data points Ns is the number of data points Nsi that is genuine using the interpolation process and the number of data points Nsh generated by the interpolation process (from 1 Is also the sum of the product multiplied by the coefficient w.
  • Ns Nsi + w Nsh (1 1)
  • the CPU 22 stores the calculated value of the button cell reliability p s in association with the position data of the button cell Bs in the button cell reliability map storage unit 25 b provided in the information storage unit 25.
  • the botacell reliability ps decreases as the light source Q or the distance Ls of the observation position (observation window) force increases, and the value decreases as the number of data points in the buttoncell Bs decreases. Get smaller. Therefore, it is an evaluation means for appropriately evaluating the reliability of points (small areas) of each part on the generated surface model.
  • step S15 the CPU 22 performs a condition determination as to whether or not the setting of the Botacel Bs has been performed on all of the surface model data (in other words, the condition of whether or not the final parameter value sfin has been reached). Make a decision). If this condition is not met, the parameter s is changed by one as shown in step S16, and the process returns to step S12.
  • each point on the surface model (bota cell as a small region) is stored in the button cell reliability map storage unit 25b.
  • the botacell reliability map with the calculated reliability in) is generated.
  • the surface shape of the generated surface model is displayed in a pseudo-colored manner, for example, with the botacel reliability ps of the calculated botacell reliability map.
  • a display image of a normal surface model and a surface model pseudo-colored with the botacell reliability ps are displayed side by side. In this case, they may be displayed in the same size.
  • the reliability of each region on the surface model can be presented in this way, when the surgeon performs lesion diagnosis or the like using the surface model, the reliability information can be provided, and the reliability can be provided. Can be confirmed and the reliability can be improved.
  • FIG. 14 is a block diagram showing a polyp candidate extraction / determination processing program and data used for it in the present embodiment.
  • the CPU 22 reads the polyp candidate extraction / determination processing program stored in the processing program storage unit 23 of FIG. 1, and starts the polyp candidate determination process 22c shown in FIG. 5 according to this program.
  • the CPU 22 takes in, for example, an R signal component of the original image 51 stored in the image storage unit 24 (see FIG. 1) in the image processing device 3 and extracts an edge.
  • an edge image 52 is generated by applying a bandpass filter to the R signal component. Edge extraction using a bandpass filter is a known technique. Alternatively, the edge image 52 may be generated using the luminance component of the original image 51 instead of the R signal component.
  • the CPU 22 performs binarization processing on the edge image 52.
  • a binarized image 53 is generated by this binarization processing.
  • the binarization processing is a large difference between the pixel value of each pixel of the edge image 52 and a specified or predetermined threshold value.
  • Each pixel of the binarized image 53 is determined to be 0 or 1 according to the small comparison result.
  • the CPU 22 applies a known thinning method to the binarized image 53 to generate a thinned image 54.
  • the CPU 22 performs extraction to extract candidate points having a predetermined feature amount, such as a bent edge shape such as a polyp candidate as a raised lesion from the thinned image 54 as a two-dimensional image.
  • a predetermined feature amount such as a bent edge shape such as a polyp candidate as a raised lesion
  • the CPU 22 extracts the two points at the edge of the edge of interest from the thinned image 54, the midpoint of the edge, and the midpoint on the straight line connecting the two edges on the edge, and candidate points for lesions in the two-dimensional image.
  • the information is saved as information 55.
  • Figure 15A shows a thin line image 54
  • the CPU 22 obtains the edge portion to be subjected to the determination process from the thin line image 54, and next extracts the two edge points 1 and t2 as shown in FIG. 15B.
  • the CPU 22 calculates the number of pixels at the edge as a line segment length D1 (not shown), and further reduces to 1/2
  • the CPU 22 extracts a straight line connecting tl and t2, and calculates a line segment length D2 (not shown).
  • the CPU 22 calculates the information on the calculated 2D image candidate points (the two points tl, t2 at the edge of the edge, the middle point t, and the two points tl, t2 on the edge). Save the point p).
  • step S25 shown in FIG. 14 the CPU 22 performs a process of extracting candidate point data on the three-dimensional image (surface model) corresponding to the candidate points on the two-dimensional image.
  • the coordinates of the candidate point on the 2D image on the 3D surface model (the edge end points tl and t2, its midpoint t, and the midpoint p on the straight line connecting the two end points on the edge) Acquire and save the coordinate information (3D) 56 of the candidate point.
  • the CPU 22 uses the candidate point information 56 to determine the possibility of a polyp candidate as a raised lesion (by image processing), that is, a polyp candidate determination process.
  • FIG. 16 shows this polyp candidate determination process. In the following description, the case is described where it is parallel to the linear force axis connecting the two points tl and t2 on the two-dimensional image.
  • the CPU 22 determines whether the candidate point 5 on the above-described three-dimensional surface model is 5 or not.
  • the information of the coordinates of 6 is acquired, and in the next step S32, the y coordinate py of the middle point p on the straight line connecting the two edge points tl, t2 of the edge is calculated, and the xz plane including this py and the two points tl, t2 Is calculated.
  • the midpoint p is approximated to have the same value as the y coordinate on the straight line connecting the two edge points tl and t2.
  • FIG. 17 shows the vicinity of candidate point 56 on the surface model in this case. This part corresponds to, for example, the part indicated by reference numeral G1 in FIG.
  • the CPU 22 draws a perpendicular line from the point t to the xz plane determined by the points tl, t2, and py, and calculates the height h of the perpendicular line. Then the next step S as shown in Figure 17
  • the CPU 22 determines the magnitude of the height h and a predetermined threshold value Tth. If h> Tth, the process proceeds to step S35. Otherwise, that is, if h ⁇ Tth, it is determined that the edge portion is not a candidate for polyp, and this process is terminated.
  • the point t in step S33 is a point (position) set as the midpoint between the points tl and t2 on the 2D image, and the point t on the 3D surface model
  • step S35 the CPU 22 determines that the edge part acquired in the process of step S24 in FIG. 14 is a polyp candidate.
  • the CPU 22 corresponds to the edge portion (points tl, t2, t, p (py), etc.) used to determine that it is a candidate for the polyp (of the botacel).
  • the botacell reliability is extracted from the botacel reliability map power, and the average value a is calculated.
  • the CPU 22 presents the portion determined to be a polyp candidate on the display monitor 4 or the like so as to share the user with a color different from other portions, for example.
  • the average value a is presented as information indicating the reliability of the determination.
  • the same processing is performed. Then, after performing the same process for all the edges, the polyp candidate determination process is terminated.
  • the image processing device 3 presents a colon polyp candidate as a raised lesion by colon examination, for example, information indicating the reliability of the determination result is simultaneously displayed. For example, the average value a is presented.
  • the average value a is calculated using the portion of the botacell reliability ps used when determining a polyp candidate, it is one of the evaluation means for appropriately evaluating the determination result of the polyp candidate. Obviously, the average value a is calculated using the portion of the botacell reliability ps used when determining a polyp candidate, it is one of the evaluation means for appropriately evaluating the determination result of the polyp candidate. Obviously, the average value a is calculated using the portion of the botacell reliability ps used when determining a polyp candidate, it is one of the evaluation means for appropriately evaluating the determination result of the polyp candidate. Become.
  • the surgeon can quantitatively determine the reliability of the corresponding colon polyp candidate.
  • the reliability of the determination function of the colorectal polyp candidate can be determined quantitatively, it is effective data or information when assisting the surgeon in determining the lesion.
  • values (luminance values) corresponding to dark portions and halation may be excluded, and the luminance value in that case may be reflected in the botacell reliability with a larger weighting coefficient.
  • a portion with a high luminance value is more reliable because it is less affected by noise or the like than a portion with a low luminance value. For this reason, luminance value information may be reflected in the botacell reliability.
  • the present embodiment can be similarly applied to a candidate for a depressed lesion.
  • the depth is calculated instead of the height h. If this depth is larger than the threshold value Tth ′, a candidate for a depressed lesion is determined, and in other cases, it is determined that the candidate is not a candidate.
  • determination is performed using information on the height threshold value Tth, but in addition to this, a curved surface shape is represented. Judgment (detection) may be performed using the shape index and curvedness, which are characteristic amounts.
  • the present invention is not limited to the case of a raised lesion, and a candidate for a depressed lesion may be determined.
  • the determination is not limited to the height threshold Tth alone, but may be determined (detected) using, for example, a curvedness threshold representing the size of the region.
  • a three-dimensional surface model is generated from a medical image such as a two-dimensional endoscope image by image processing, and the generated surface model data is used.
  • the reliability of the detection results is presented in consideration of the detection results or the reliability of each part of the surface model used in the determination results. To do. As a result, the surgeon has the industrial applicability of facilitating proper diagnosis.
  • the present invention has the characteristics described in the following supplementary notes.
  • a surface model generation method for generating a three-dimensional surface model from a two-dimensional medical image, and a region confidence that divides the surface model into a plurality of regions and calculates data reliability in each of the plurality of regions.
  • a medical image processing apparatus comprising a degree calculation unit.
  • the two-dimensional medical image is an endoscope image picked up by an endoscope, and the region reliability calculation means is provided between each region and an illumination window or an image pickup window of the endoscope.
  • candidate detection means for detecting a candidate having a predetermined feature amount from the two-dimensional medical image or the surface model is provided, and the candidate detected by the candidate detection means is detected by the candidate.
  • the reliability of the candidate detection result is calculated using the region reliability of each region in the used surface model.
  • the candidate detecting means extracts a portion having a protruding or depressed feature as a candidate, and detects or detects as a raised lesion or a depressed lesion when the height or depth of the extracted portion is equal to or greater than a threshold value.
  • the medical image processing apparatus according to appendix 4 wherein the medical image processing apparatus is characterized in that the determination is performed.
  • a surface model generation step for generating a 3D surface model from a 2D medical image, and an area for calculating the reliability of data in each of the plurality of areas by dividing the surface model into a plurality of areas.
  • a medical image processing method comprising: a reliability calculation step.
  • the two-dimensional medical image is an endoscope image captured by an endoscope, and the region reliability calculation step includes a step between each region and an illumination window or an imaging window of the endoscope.
  • Appendix 6 is characterized in that the region reliability is calculated using at least one of information on distance and information on the number of configuration data points used to configure the surface model included in the region. The medical image processing method as described.
  • a candidate detection step for detecting a candidate having a predetermined feature amount from the two-dimensional medical image or the surface model is provided, and the candidate detected by the candidate detection step is detected by the candidate. 7.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

　画像処理装置３では、内視鏡画像から３次元の表面モデルを生成し、生成された表面モデルの内面各部を含むように小領域のボクセルＢｓを設定し、各ボクセルＢｓと観察位置との距離Ｌｓを算出し、ボクセルＢｓ内の表面モデルの構成データ点数Ｎｓを取得して、各ボクセルの信頼度ρｓを算出してボクセル信頼度マップを生成し、ボクセル信頼度マップ記憶部２５ｂに記憶する。そして、画像処理により表面モデルを病変候補の検出等を行う場合に、用いたボクセル部分の信頼度を用いて検出結果に対する信頼度の情報を提示する。

Description

医療用画像処理装置及び医療用画像処理方法
技術分野
[0001] 本発明は、 2次元画像から生成された 3次元の表面モデルにおける各部の信頼度 を処理する医療用画像処理装置及び医療用画像処理方法に関する。
背景技術
[0002] 体腔内に挿入された内視鏡により得られる内視鏡画像は、観察部位の診断に広く 利用される。内視鏡により得られる内視鏡画像は、 2次元画像であるため、例えば特 開平 8 - 252217号公報に開示されて 、る従来例のように、取得した画像情報から 3 次元の表面モデルを作成して、作成した表面モデルを表示することにより、より診断 し易 、画像情報を提供する装置がある。
[0003] 上記のように 3次元の表面モデルを作成して表示した場合には、 2次元の内視鏡画 像の場合よりも診断し易い画像となる。しかし、 2次元の内視鏡画像から 3次元の表面 モデルを構築するため、例えば内視鏡が挿入されて観察された体腔内部位が内視 鏡の照明窓或いは観察 (撮像)窓力 遠く離れた距離になると、照明光源力 の照明 光の照射量が低下する。
[0004] このため、遠く離れた距離で、撮像された画像データ部分から生成された表面モデ ルのデータ部分の精度は、近 ヽ距離で撮像された画像データ部分から生成された 表面モデルのデータ部分より低下する。
[0005] また、体腔内、特に管腔形状の場合には、管腔部分に襞や隆起物があると、その 陰となる位置は視点となる位置（つまり、観察窓）からは見えない。このため、当該箇 所に対応する表面モデル上の位置を作成する場合には、その位置の近隣データ等 による推定値により作成するため、生成された表面モデルの精度が低下する。
[0006] 従来例においては、このような精度を考慮していないため、表面モデルを診断に利 用する場合、その信頼性の確認がし難い。また、画像処理により表面モデルを用い て病変部の特徴量を有する病変候補の検出や判定を行おうとする場合に、その信頼 '性の確認若しくは向上が困難になる。 [0007] 本発明は上述した点に鑑みてなされたもので、表面モデルを病変候補の検出等に 利用する場合における信頼性の確認若しくは向上を可能とする医療用画像処理装 置及び医療用画像処理方法を提供することを目的とする。
発明の開示
課題を解決するための手段
[0008] 本発明による医療用画像処理装置は、 2次元の医療用画像から 3次元の表面モデ ルの生成処理を行う表面モデル生成手段と、前記表面モデルを複数の領域に区分 けして、複数の各領域におけるデータの信頼度を算出する領域信頼度算出手段とを 具備したことを特徴として!/、る。
[0009] また、本発明による医療用画像処理方法は、 2次元の医療用画像から 3次元の表 面モデルの生成処理を行う表面モデル生成ステップと、前記表面モデルを複数の領 域に区分けして、複数の各領域におけるデータの信頼度を算出する領域信頼度算 出ステップとを具備したことを特徴として 、る。
図面の簡単な説明
[0010] [図 1]内視鏡システムの構成を示すブロック図である。
[図 2]大腸のような管状部位内に挿入された内視鏡により撮像する様子を示す図であ る。
[図 3]図 2の内視鏡に設けられた撮像装置により撮像された内視鏡画像を示す図であ る。
[図 4]図 3の内視鏡画像から生成される表面モデルを示す図である。
[図 5]CPUによる画像解析処理機能を示すブロック図である。
[図 6]表面モデルを生成する為の処理手順を示すフローチャートである。
[図 7]撮像された画像の各画素に対応する物体上の対応点と光源等との位置関係を 示す図である。
[図 8A]光源力もの光を物体の面で反射する様子などを示す図である。
[図 8B]光源力もの光を物体の面で反射する様子などを示す図である。
[図 9]対応点の周囲に設定される複数の法線ベクトルを示す図である。
[図 10]図 8Bのベクトル mが 2次元画像上の位置を通ることを示す図である。 [図 11]図 6のステップ S 2で生成される表面モデルを示す図である。
[図 12]ボタセル信頼度マップを生成する処理内容及び使用されるデータ等を示す図 である。
[図 13]図 12のステップ S 12による距離算出の説明図である。
[図 14]ポリープ候補抽出判定を行う処理内容及び生成 Z使用される画像等を示す 図である。
[図 15A]図 14のステップ S24の動作説明図である。
[図 15B]図 14のステップ S24の動作説明図である。
[図 15C]図 14のステップ S24の動作説明図である。
[図 15D]図 14のステップ S24の動作説明図である。
[図 16]図 14のステップ S26のポリープ候補判定の処理内容を示すフローチャートで ある。
[図 17]図 16の処理の説明図である。
発明を実施するための最良の形態
以下、図面を参照して本発明の実施の形態を説明する。
図 1〜図 17は本発明の実施の一形態に係り、図 1は内視鏡システムの構成を示す ブロック図、図 2は大腸のような管状部位内に挿入された内視鏡により撮像する様子 を示す図、図 3は図 2の内視鏡に設けられた撮像装置により撮像された内視鏡画像 を示す図、図 4は図 3の内視鏡画像から生成される表面モデルを示す図、図 5は CP Uによる画像解析処理機能を示すブロック図、図 6は表面モデルを生成する為の処 理手順を示すフローチャート、図 7は撮像された画像の各画素に対応する物体上の 対応点と光源等との位置関係を示す図、図 8Aは光源力ゝらの光を物体の面で反射す る様子などを示す図、図 8Bは光源力もの光を物体の面で反射する様子などを示す 図、図 9は対応点の周囲に設定される複数の法線ベクトルを示す図、図 10は図 8Bの ベクトル mが 2次元画像上の位置を通ることを示す図、図 11は図 6のステップ S 2で生 成される表面モデルを示す図、図 12はボタセル信頼度マップを生成する処理内容 及び使用されるデータ等を示す図、図 13は図 12のステップ S 12による距離算出の 説明図、図 14はポリープ候補抽出判定を行う処理内容及び生成 Z使用される画像 等を示す図、図 15Aは図 14のステップ S24の動作説明図、図 15Bは図 14のステツ プ S24の動作説明図、図 15Cは図 14のステップ S24の動作説明図、図 15Dは図 14 のステップ S24の動作説明図、図 16は図 14のステップ S 26のポリープ候補判定の 処理内容を示すフローチャート、図 17は図 16の処理の説明図である。
[0012] 図 1に示す内視鏡システム 1は、内視鏡観察装置 2と、この内視鏡観察装置 2により 得られた医療用画像としての内視鏡画像に対して画像処理を行うパーソナルコンビ ユータ等により構成される医療用画像処理装置 (以下、単に画像処理装置と略記） 3 と、この画像処理装置 3により画像処理された画像を表示する表示モニタ 4とから構 成される。
[0013] 内視鏡観察装置 2は、体腔内に挿入される内視鏡 6と、この内視鏡 6に照明光を供 給する光源装置 7と、内視鏡 6の撮像手段に対する信号処理を行うカメラコントロール ユニット（CCUと略記） 8と、この CCU8から出力される映像信号が入力されることによ り、撮像素子で撮影した内視鏡画像を表示するモニタ 9とを有する。
[0014] 内視鏡 6は、体腔内に挿入される挿入部 11と、この挿入部 11の後端に設けられた 操作部 12とを有する。また、挿入部 11内には照明光を伝送するライトガイド 13が挿 通されている。
[0015] このライトガイド 13の後端は、光源装置 7に接続される。そして、この光源装置 7から 供給される照明光をライトガイド 13により転送し、挿入部 11の先端部 14に設けた照 明窓に取り付けられた先端面から (伝送した照明光を）出射し、患部等の被写体を照 明する。
[0016] 照明窓に隣接する観察窓に取り付けた対物レンズ 15と、この対物レンズ 15の結像 位置に配置された固体撮像素子としての例えば電荷結合素子 (CCDと略記） 16とに よる撮像装置 17が設けてある。そして、この CCD 16の撮像面に結蔵された光学像 は、この CCD16により光電変換される。
[0017] この CCD16は、信号線を介して CCU8と接続され、この CCU8力 CCD駆動信号 が印加されることにより、 CCD16は光電変換した画像信号を出力する。この画像信 号は、 CCU8内の映像処理回路により信号処理され、映像信号に変換される。この 映像信号はモニタ 9に出力され、モニタ 9の表示面には、内視鏡画像が表示される。 この映像信号は、画像処理装置 3にも入力される。
[0018] この画像処理装置 3は、内視鏡観察装置 2から入力される内視鏡画像に対応する 映像信号が入力される画像入力部 21と、この画像入力部 21から入力された画像デ ータに対する画像処理を行う中央演算処理装置としての CPU22と、この CPU22〖こ より画像処理を実行させる処理プログラム (制御プログラム）を記憶する処理プロダラ ム記憶部 23とを有する。
[0019] また、この画像処理装置 3は、画像入力部 21から入力される画像データ等を記憶 する画像記憶部 24と、 CPU22により処理された情報等を記憶する情報記憶部 25と 、 CPU22により処理された画像データ及び情報等を記憶装置インターフェース 26を 介して記憶する記憶装置としてのハードディスク 27と、 CPU22により処理された画像 データ等を表示するための表示処理を行う表示処理部 28と、ユーザが画像処理の ノ ラメータ等のデータ入力や指示操作を行うキーボード等力もなる入力操作部 29と を有する。
[0020] そして、この表示処理部 28により生成された映像信号は、表示モニタ 4に表示され 、この表示モニタ 4の表示面には画像処理された処理画像が表示される。なお、画像 入力部 21、 CPU22、処理プログラム記憶部 23、画像記憶部 24、情報記憶部 25、 記憶装置インターフェース 26、表示処理部 28、入力操作部 29は、データバス 30を 介して互!、に接続されて!、る。
[0021] 本実施の形態においては、図 2に示すように、例えば大腸 31のような管状部位 (管 状器官）に直視型の内視鏡 6の挿入部 11が挿入され、撮像装置 17により撮像される
[0022] 図 3は、この直視型の内視鏡 6によって撮像された内視鏡画像の一例を示している 。この内視鏡画像には、襞や隆起性の凸部が存在する。尚、斜線で示す部分は深部 側に延びる管腔暗部を示す。
[0023] 本実施の形態では、大腸 31のような管状器官を直視型等の内視鏡 6によって撮像 し、撮像された 2次元の内視鏡画像から対象物 (具体的には大腸の管腔形状の内面 )の 3次元形状の表面モデルを推定する。推定された表面モデルの例を、例えば図 4 に示す。図 4には、図 3の凸部に対応する凸部 Gl、 G2が生成されている。 [0024] 図 3の 2次元の内視鏡画像の画像データから図 4に示すような 3次元形状としての 表面モデルを生成する場合、内視鏡 6の先端面の照明窓の位置力 の距離が大き い部分では、距離力 、さい部分と比較して照明強度が低下しているので、その部分 に対応して生成される表面モデルにおける 3次元データの精度が低下する。
[0025] また、管腔に襞や隆起した凸部があると、その陰となる位置は、視点位置となる観 察窓からは見えないため、推定などで生成される表面モデルの 3次元データの精度 が低下する。
[0026] 本実施の形態では、これらの点を考慮して、生成される 3次元の表面モデルにおけ る各点（後述するように小領域としてのボタセル)の面な 、しは位置のデータの信頼 度を表す信頼度マップを生成する。
[0027] そして、生成された 3次元の表面モデルの各部におけるそのデータの信頼度の情 報を、病変の検出若しくは判定等に有効に利用できるようにする。
[0028] このため、本実施の形態における画像処理装置を構成する CPU22は、図 5に示す ような画像処理機能を有する。
[0029] CPU22は、 2次元の内視鏡画像から 3次元形状としての表面モデルを生成 (推定） する処理を行う表面モデル生成手段としての表面モデル生成機能 22aと、生成され た表面モデルの表面データ各部における小領域としてのボタセルに対するそのボタ セル部分でのそのデータの信頼度を表すボタセル信頼度マップを生成する領域信 頼度算出手段としてのボタセル信頼度マップ生成機能 22bと、表面モデルの表面デ ータから病変候補、具体的にはポリープ候補を抽出して、ポリープである可能性の判 定処理 (或いは検出処理)を行う候補検出手段としてのポリープ候補判定機能 (ポリ ープ候補検出機能) 22cとを有する。
[0030] 本実施の形態ではこのように、 3次元の表面モデルを生成し、その表面モデルの表 面データ各部をボタセルの集合体と見なし、各ボタセル部分におけるその 3次元デー タの信頼度 (ボタセル信頼度)を算出する。
[0031] そして、例えば生成された 3次元の表面モデル力もポリープ等の病変を検出若しく は判定する画像処理を行う場合、この信頼度の情報を利用することにより、より信頼 性のある検出若しくは判定を行えるようにする。 [0032] また、術者は提示されたポリープ等の病変の検出若しくは判定の結果に、信頼度の 情報が提示されるため、ポリープ等の診断を行う際、より有効に利用できる。そして、 より的確な診断を行!、易くなる。
[0033] 本実施の形態においては、図 5に示した各機能をソフトウェア的に実現している。つ まり、処理プログラム記憶部 23に記憶 (格納）された処理プログラムを CPU22は読み 出し、 CPU22は、この処理プログラムに従って処理を行うことにより、図 6に示す表面 モデル生成機能 22aに対応するフローチャートの処理等を実行する。
[0034] 次に本実施の形態の動作を説明する。
画像処理装置 3の動作が開始すると、 CPU22は処理プログラム記憶部 23の処理 プログラムを読み出し、その処理プログラムに従った処理を開始する。図 6に示すよう に CPU22は最初のステップ S1において、内視鏡観察装置 2の CCU8から画像入力 部 21を経て入力される内視鏡画像を原画像の画像データとして取得する。
[0035] そして、次のステップ S2において CPU22は、取得された画像データに対して歪曲 収差補正 (例えば、特開平 8— 256295号公報に記載されるもの）や、ノイズ除去等 の前処理を行う。ステップ S3において CPU22は、画像内の画素に対応する対象物 体の 3次元位置を以下の手順で求める。
[0036] 図 7に示すように視点 Oにある撮像手段によって撮影された画像の 3画素に対応す る対象物体上の画素対応点 El、 E2, E3を抽出し、画素対応点 El、 E2, E3の 3次 元位置と光源 Q及び視点 Oとの位置関係から以下の式（1)が求められる。
[数 1] r i = d — k 1 m. 1 -> ->
r 2— d — k 2 ΠΙ 2 ( i ) ->
r 3 = d — k 3 Π13 ただし、画素対応点 El、 E2, E3の 3次元位置のベクトルを klml、 k2m2、 k3m3 ( ml, m2, m3 :大きさ 1の単位ベクトル）、視点 Oから光源 Qへのベクトルを d、光源 Q から 3画素対応点 El、 E2, E3の 3次元位置へのベクトルを rl、 r2、 r3とする。 [0037] 画素対応点 El、 E2, E3の 3次元位置で構成される平面の法線ベクトルを nとする と、式（1)よりベクトル nは、次の式（2)のようになり、ベクトル成分 kl、 k2、 k3の比率で 表される。
[数 2]
1 12 1 23 = k i k 2 k a (― ίη ι Χ m 2+— m2 m3+— m3 m i> ( 2 ) k 3 k i K 2 ただし、点 Elから点 E2へのベクトルを 112,点 E2から点 E3へのベクトルを 123, X は外積を表す。また、図 8Aに示すように撮像対象となる（大腸内面等の)対象物体の 表面は、全方向に均一に光を反射する拡散反射率と仮定すると、画素対応点 El、 E 2, E3の輝度値 II、 12, 13は、次の式（3)で表される。
[数 3]
I i = hIqcos ^ i/ S ri i 2
I 2 = hIqcos ]3 2/ 1 1 2 (つ、
I 3~ hIqCOS j3 3/ 1 Γ3 I 2 ただし、 hは対象物体の表面の拡散反射率、 は光源 Qの光度、 βは点 Ρにおける 対象物体の表面の法線ベクトル ηと光源 Q力 点 Ρに至るベクトル rとのなす角である
。なお、図 8Aの点 Pは、図 7の画素対応点 El、 E2, E3を代表している（このため、ベ タトル rは、図 7のベクトル rl、 r2、 r3を代表している）。
[0038] 次に以下の条件 (a)及び (b)を設定して、これらの条件 (a)及び (b)を満たす仮定 のもとで、撮像される画素に対応する対象物体の 3次元位置の算出を行う。
[0039] 今、条件（a)視点 Oと光源 Qの距離《視点 Oと画素対応点 El、 E2, E3の 3次元位 置との距離、つまり、 I d I 《 I rm I (或いは I d I 《 I r Iここで m= l〜3)、及び 条件 (b)画素対応点 E1、E2, E3の 3次元位置が近接している、の両条件 (a) , (b) が成立する場合、以下の近似式 (4)が得られる。
[数 4] k l ： k2 ： k 3 1/ I i ： 1/ I 2 ： 1/ f I 3 (4) 上記条件 (a)は、図 8Bに示すように dの絶対値に比べて rの絶対値が大きければ成 立する。また、条件 (b)は、食道等の管状の内面を撮像する場合においては、殆どの 場合において成立すると考えられる。なお、図 8Bは、挿入部の先端部 14における先 端面部分を拡大して示す。
[0040] この先端面には、ライトガイド 13の先端面 (或いは照明レンズ)が取り付けられた照 明窓 13aが臨み、ここ力も照明光を出射する。つまり、このライトガイド 13の先端面等 の照明窓 13aは、図 7及び図 8Aの光源 Qに相当する。また、この照明窓 13aに隣接 した視点 Oは、撮像手段 (撮像装置 17)の対物レンズ 15が配置された観察窓 (撮像 窓）となっている。
[0041] 上記式 (4)より kl、k2、k3の比率が求められ、法線ベクトル nが求められる。 画像 内の各画素に対応する対象物体の表面上の画素対応点は、隣接する画素対応点 が複数存在する為、図 9に示すように 1つの画素対応点 Paの周囲の点 Pb〜Peにお ける各 3点により形成される各面に対してそれぞれ法線ベクトル nl〜n4が求められる 。よって、これら複数の法線ベクトル nl〜n4の平均ベクトルを算出し、その平均べタト ルを画素対応点の法線ベクトルとしてもよ 、。
[0042] 図 8Aに示したように対象物体の表面を拡散反射と仮定し、さらに角 βを書き換える ことにより、各画素対応点 P (x, y)の輝度値 I (x, y)は以下のような式（5)で表すこと ができる。
[数 5]
I (x,y) = Iqcos β /r2 = hlq n (x,y) . r {x>y)/ | (χ,χ) 1 3 (5) ただし、 hは対象表面の拡散反射率、 Iqは光源 Qの光度、 βは点 Ρにおける対象物 体の表面の法線ベクトル n (x, y)と光源方向 r (x, y)のなす角である。
[0043] また、点 Pにおける光源方向 r (x, y)は、以下のような式 (6)で表すことができる。
[数 6] Γ (X,y)— k(X,y)m(X,y)一 Q ただし、図 8Bに示すように対物レンズ 15の視点 Oから光源 Qへのベクトルを d、視 点 Oから対象物体 (具体的には大腸の管腔表面）の位置 Pへの単位ベクトルを m (X, y)、距離 OPを k(x, y)とする。
ベクトル m(x, y)は、図 10に示すように（CCD16の）撮像面 42の画像上の位置（x , y)を通ることから、以下の式（7)に示すように、
[数 7]
Figure imgf000012_0001
となる。
ただし、 fは撮像装置 17の焦点距離である。従って画像上の各画素の輝度値 I(x, y)は次のような式 (8)で表すことができる。
[数 8]
-、， ラ 、 — "
y) = lq n ,y) . ( k ,y)m ,y)- d ) / I k (x.y)m(x,y)- d (8) 上記式（8)において k(x, y)以外は全て既知であることから、式（8)より k(x, y)を 算出し、画像上の各画素 (X, y)に対応する 3次元位置 (X, Υ, Z)を、以下の式（9) のように算出する。
[数 9]
Figure imgf000013_0001
このようにして、図 11に示すような 3次元形状としての表面モデルが生成される。図 11に示す 3次元の表面モデルの内面上の各位置 Pは、図 10に示したように撮像面 4 2の 2次元の画像上の位置 (x、 y)を通ると共に、この画像上の各位置 (X, y)のデー タを用いて生成される。このため、各位置 Pにおける小領域のボタセル B内に含まれ るこの部分を生成 (構成)するために用いられた 2次元の画像中のデータ点数は、視 点 O或いは撮像面 42からの距離が大きくなるほど少なくなる。
[0046] また、このデータ点数は、各位置 Pの面が撮像面 42と成す角度などにより、変化す ることになる。この場合のデータ点数がそのボタセル Bの 3次元位置の信頼度を表す 情報量に密接に関係すると考えられる。
[0047] このため本実施の形態においては、以下に説明するように生成された 3次元形状の 内面上に設定したボタセル Bに対して、その信頼度を表すボタセル信頼度を算出す る場合、このデータ点数を考慮する。このようにすることにより、生成された 3次元の表 面モデルを用いて、病変候補を検出或いは病変候補判定を行う場合、その検出結 果或いは判定結果の信頼度の情報を提供して、検出結果等に対する信頼性の確認 若しくは向上ができるようにして!/、る。
[0048] また、図 11に示す 3次元の表面モデルの内面は、その内面部分が内側に凸となつ ている部分（図 11で Gl, G2で示す）がある場合には、視点 O側から見た場合におけ るその部分より後方側となる背後の内面部分を隠す状態となり、この背後の部分は陰 となって隠れた状態、いわゆるォクルージョンとなり、ォクルージョン部分 HI, H2は データが欠落した部分となる。
[0049] そして、 CPU22は、図 6のステップ S3により生成した 3次元形状のデータをスキヤ ンして、ステップ S4に示すようにォクルージョン部分 HI, H2などに対する補間処理 を行う。この場合、補間処理により生成された表面位置のデータ点に対しては 1より小 さい係数 wを、その表面データと関連付けて格納する。
[0050] このようにして欠落部分が補間されて図 4に示すような表面モデルが生成され、この 表面モデルのデータ (表面モデルデータと言う）は、例えば図 1の情報記憶部 25に 格納される。
[0051] そして、 CPU22は図 12に示すボタセル信頼度マップ生成の処理を行う。この処理 が開始すると、 CPU22はステップ S 11にお 、て初期設定 (以下の位置パラメータ sを 初期値 siniに設定)を行った後、次のステップ S12において情報記憶部 25の表面モ デルデータ記憶部 25aに格納された表面モデルデータを用いて、図 13に示すように 表面モデル上に各ボタセル Bxyz (Bsと略記）を設定して、そのボタセル Bsの中心位 置と観察位置 (つまり視点 O)との距離 Lsを算出する。
[0052] この距離 Lsは、撮像された内視鏡画像の管腔形状部分の直径を実際に撮像され た大腸 31の平均的な直径の値を当てはめることにより客観的な数値として算出でき る。また、ここでは、ボタセル Bsの中心位置と観察位置 (或いは視点 O)との距離 Lsを 算出しているが、図 8Bに示すように、 OQのベクトル dの値を用いてボタセル Bsの中 心位置と光源 Q (照明窓）との距離 (Lsqとする）を算出するようにしても良い。また、ベ タトル dの大きさは、距離 Lsqに比較して小さいとして、 Ls^Lsqとしても良いし、この 距離 Lsとして内視鏡先端面力もボタセル Bsの中心位置までの距離と見なしても良い
[0053] 観察位置を視点 Oとして表面モデル生成の原点（0, 0, 0)に設定した場合、ボクセ ル Bsは、その中心の座標位置を (Vx+1/2, Vy+1/2, Vz + 1/2)で表すと、 Vx≤X< Vx+l,Vy≤Y〈Vy+l、 Vz≤Z〈Vz + lの一辺の長さ力 の小領域となる。この小領域 について、以下の処理が行われる（添え字 sは 3次元の座標位置 (Vx+1/2, Vy+1/ 2, Vz+1/2)が異なる表面モデル上のボタセル Bsの位置を簡略化して示している）。
[0054] そして、 CPU22は次のステップ S13において、各ボタセル Bsに対して表面モデル データを構成する構成データ点数 (データ点数と略記) Nsを取得する。この場合、補 間処理により構成されて ヽるデータ点数 Nshに対しては、 1より小さ ヽ係数 wを乗じて データ点数 Nsを算出する。 [0055] 次のステップ S 14において CPU22は、ボタセル Bsに対するボタセル信頼度 p sを 算出する。
この/ 0 sは、例えば、
s = ( l/Ls) (Ns/l - l - l) ( 10)
である。ここで、 exは正規ィ匕する因子を表し、また、データ点数 Nsは、補間処理を用 Vヽて ヽな 、真性のデータ点数 Nsiと、補間処理により生成されたデータ点数 Nshに（ 1よりも小さい)係数 wが乗算されたものとの和となる。
[0056] つまり、
Ns = Nsi +w Nsh ( 1 1)
となる。そして、 CPU22は、算出したボタセル信頼度 p sの値を情報記憶部 25に設 けたボタセル信頼度マップ記憶部 25bに、ボタセル Bsの位置データと関連付けて格 納する。
[0057] 上記ボタセル信頼度 p sは、光源 Q若しくは観察位置 (観察窓）力 の距離 Lsが大 きくなると、その値が小さくなり、かつそのボタセル Bs内のデータ点数が少ない程、そ の値が小さくなる。従って、生成された表面モデル上の各部の点（小領域）における 信頼度を適切に評価する評価手段となっている。
[0058] そして、次のステップ S 15において CPU22は、表面モデルデータの全てに対して ボタセル Bsの設定を行ったカゝ否かの条件判定を行う（換言すると最終のパラメータ値 sfinまで行ったかの条件判定を行う）。この条件に該当しない場合にはステップ S 16 に示すようにパラメータ sの値を 1つ変更してステップ S 12に戻る。
[0059] このようにして全ての表面モデルデータに対してボタセル信頼度 p sを算出する処 理を終了すると、ボタセル信頼度マップ記憶部 25bには表面モデル上の各点（小領 域としてのボタセル）における信頼度が算出されたボタセル信頼度マップが生成され る。
[0060] このようにして、生成されたボタセル信頼度マップによる利用方法として、大きく分け て主に 2つある。
[0061] その 1つは、生成された表面モデルの表面形状を、例えば算出されたボタセル信頼 度マップのボタセル信頼度 p sで擬似カラー化して表示する。 [0062] 例えば、通常の表面モデルの表示画像と、ボタセル信頼度 p sで擬似カラー化した 表面モデルとを並べて表示する。この場合、同じサイズで表示しても良い。
[0063] 上記表示の変形例として、術者等のユーザが、表面モデル上における病変候補と して注目する部位や領域を図示しな 、マウス等の指示手段で指示した場合、 CPU2 2は指示された領域部分に該当するボタセル信頼度をボタセル信頼度マップ力 読 み出して表示するようにしても良!、。
[0064] このように表面モデル上における各領域の信頼度を提示することができるので、術 者が表面モデルを用いて病変診断等を行う場合、その信頼性の情報を提供でき、信 頼性の確認を可能にすると共に信頼性を向上することができる。
[0065] 次に 2つ目の利用方法として、画像処理により、表面モデルを用いて病変候補の検 出或いは病変候補の病変判断を行う場合、その検出結果或いは判断結果に対する 信頼度の情報を提供する。
[0066] この場合の例として以下にボタセル信頼度マップを使用して大腸内のポリープ候補 を抽出し、さらに検出 (判定)する場合で説明する。
図 14は本実施の形態におけるポリープ候補抽出判定処理プログラムと、これに使 用されるデータを示すブロック図である。
[0067] この処理が開始すると、 CPU22は、図 1の処理プログラム記憶部 23に格納された ポリープ候補抽出判定処理プログラムを読み出し、このプログラムに従って図 5に示 すポリープ候補判定処理 22cを開始する。
[0068] 図 14に示すように最初のステップ S21において CPU22は、画像処理装置 3内に の画像記憶部 24 (図 1参照）に格納された原画像 51の例えば R信号成分を取り込み 、エッジ抽出処理を行う。この場合、例えば R信号成分に対してバンドパスフィルタを 適用することによりエッジ画像 52を生成する。バンドパスフィルタによるエッジ抽出手 法は公知の技術である。また、 R信号成分の代わりに、原画像 51の輝度成分を用い てエッジ画像 52を生成しても良 、。
[0069] 次のステップ S22において CPU22は、エッジ画像 52に対して 2値化処理を行う。
そして、この 2値化処理により、 2値化画像 53を生成する。本実施の形態における 2 値化処理は、エッジ画像 52の各画素の画素値と、規定の或いは所定の閾値との大 小比較結果により、 2値化画像 53の各画素を 0または 1に決定する。
[0070] 次のステップ S23において CPU22は、 2値化画像 53に対して公知の細線化手法 を適用して、細線化画像 54を生成する。
[0071] 次のステップ S24において CPU22は、 2次元画像としての細線化画像 54から例え ば隆起性病変としてのポリープの候補など屈曲したエッジ形状等、所定の特徴量を 有する候補点を抽出する抽出処理を行う。この場合、 CPU22は、細線化画像 54か ら注目するエッジの端の 2点とその中点、エッジ上の端 2点を結ぶ直線上の中点を抽 出して 2次元画像の病変の候補点の情報 55として保存する処理を行う。
[0072] この処理を図 15A〜図 15Dを参照して説明する。図 15Aは細線ィ匕画像 54を示し、
CPU22は、この細線ィ匕画像 54から判定処理を行おうとするエッジ部分を取得し、次 に図 15Bに示すように、エッジの端 2点 1と t2の抽出を行う。
[0073] 次に CPU22は、エッジの画素数を線分長 D1 (図示せず）として算出し、さらに 1/2
X D 1となる中点 図 15C)を算出する。
[0074] 次に CPU22は、 tlと t2を結ぶ直線を抽出し、その線分長 D2 (図示せず)を算出し
、その後 1/2 X D2となる中点 p (図 15D)を算出する。
[0075] 次に CPU22は、算出した 2次元画像の候補点の情報 (エッジの端の 2点 tl、 t2、そ の中点 t、エッジ上の端 2点 tl, t2を結ぶ直線上の中点 p)を保存する。
[0076] 次に図 14に示すステップ S25において CPU22は、 2次元画像上の候補点に対応 する 3次元画像 (表面モデル)上での候補点のデータを抽出する処理を行う。
[0077] つまり 3次元表面モデル上における 2次元画像上の候補点（エッジの端 2点 tl、 t2、 その中点 t、エッジ上の端 2点を結ぶ直線上の中点 p)の座標を取得し、その候補点 の座標の情報（3次元） 56を保存する。
[0078] そして次のステップ S26において CPU22は、候補点の情報 56を用いて（画像処理 による）隆起性病変としてのポリープ候補の可能性の判定、つまりポリープ候補判定 処理を行う。
[0079] このポリープ候補判定処理を図 16に示す。なお、以下の説明では、 2次元画像上 における 2点 tl及び t2を結ぶ直線力 軸と平行となっている場合で説明する。
[0080] 最初のステップ S31において CPU22は、上述の 3次元の表面モデル上の候補点 5 6の座標の情報を取得し、次のステップ S32においてエッジの端 2点 tl, t2を結ぶ直 線上の中点 pの y座標 pyを算出し、この pyと 2点 tl、 t2を含む xz平面を算出する。中 点 pはエッジの端 2点 tl, t2を結ぶ直線上の y座標と同じ値であると近似する。
[0081] この場合の表面モデル上における候補点 56付近を図 17に示す。なお、この部分 は例えば図 13の符号 G1で示す部分に該当する。
[0082] 次のステップ S33において CPU22は、点 tから点 tl、 t2、 pyで決定される xz平面 に垂線を引き、この垂線の高さ hを算出する。そして図 17に示すように次のステップ S
34において CPU22は、高さ hと所定の閾値 Tthとの大小を判定する。 h〉Tthであれ ば、ステップ S35に進み、これ以外、つまり h≤Tthであれば、そのエッジ部分はポリ ープ候補ではな 、と判定して、この処理を終了する。
[0083] なお、ステップ S33における点 tは 2次元画像上で点 tlと t2との中点に設定された 点 (位置）であり、 3次元の表面モデル上での点 tの周辺部にぉ 、ても垂線の値を求 め、その最大値を高さ hとして算出するようにしても良い。
[0084] ステップ S35において CPU22は、図 14のステップ S24の処理において取得したェ ッジ部分をポリープ候補であると判定する。
[0085] なお、上記 2点 tl, t2が X軸と平行でない場合には、上記高さ hの他に、点 tから yz 平面に至る高さ (hyとする）を算出して、これら 2つの 2乗した値の平方根を算出し、こ の算出値を閾値 Tthと大小比較すれば良 、。
[0086] 次のステップ S36にお 、て CPU22は、例えば上記ポリープ候補であると判定に用 いられたエッジ部分（点 tl, t2, t、p (py)など）に対応する（ボタセルの）ボタセル信 頼度をボタセル信頼度マップ力も抽出して、それらの平均値 aを算出する。
[0087] そして、次のステップ S37にお 、て CPU22は、ポリープ候補と判定した部分を例え ば他の部分とは異なる色等でユーザに分力るように表示モニタ 4等で提示すると共に
、その判定に対する信頼度を示す情報として、この平均値 aを提示する。
[0088] そして、細線ィ匕画像に別のエッジがあれば同様の処理を行う。そして、全てのエツ ジに対して同様の処理を行った後、ポリープ候補判定の処理を終了する。
[0089] このように画像処理装置 3により、例えば大腸検査による隆起性病変としての大腸 ポリープ候補を提示する際に、同時にその判定結果に対する信頼度を示す情報を、 例えば上記平均値 aで提示する。
[0090] この平均値 aは、ポリープ候補と判定する場合に用いられた部分のボタセル信頼 度 p sを用いて算出されているため、ポリープ候補の判定結果を適切に評価する評 価手段の 1つとなる。
[0091] 従って、術者は、該当する大腸ポリープ候補の信頼性を定量的に判断することが可 能となる。このように、大腸ポリープ候補の判定機能の信頼度を定量的に判断するこ とが可能になるため、術者による病変判定を補助する場合に有効な資料或いは情報 となる。
[0092] なお、上述の説明にお 、て、例えばボタセル信頼度 p sを算出する場合、 2次元画 像上における輝度値の情報も含めるようにしても良 、。
[0093] 例えば、暗部とハレーションに該当する値 (輝度値)を除外し、その場合における輝 度値が大き 、もの程大きな重み付け係数でボタセル信頼度に反映させるようにしても 良い。つまり、輝度値が大きい部分は、輝度値が低い部分よりもノイズなどによる影響 が少ないため、より信頼性が高い部分となる。このため、輝度値の情報をボタセル信 頼度に反映させるようにしても良い。
[0094] なお、上述した実施の形態における変形例として、ボタセル信頼度マップとして、表 面モデル上の全ての部分に対して (ボタセル信頼度の）マップを算出する場合に限ら ず、代表的な点のみで算出したものでも良い。或いは、病変の検出（判定）に用いる 部分のボタセル信頼度のみを算出するようにしても良!、。
[0095] なお、上述した例では、隆起性病変としてのポリープの候補を判定する場合で説明 したが、本実施の形態は陥凹性病変の候補に対しても同様に適用することができる。 この場合には高さ hの代わりに深さ を算出する。そして、この深さ が閾値 Tth ' より大きい場合には、陥凹性病変の候補の判定を行い、これ以外の場合には候補 でな 、と判定するようにすれば良 、。
[0096] また、上述した実施の形態にぉ 、ては、例えばポリープ候補判定処理として、高さ の閾値 Tthの情報を用いて判定を行うようにして 、るが、この他に曲面形状を表す特 徴量である Shape Index及び Curvednessを用いて、判定 (検出）するようにしても 良い。 [0097] この場合にも隆起性病変の場合に限らず、陥凹性病変の候補の判定を行うようにし ても良い。また、高さの閾値 Tthのみで判定する場合に限らず、その領域の大きさを 表す例えば Curvednessの閾値を用いて、判定 (検出）するようにしても良い。
[0098] また、上述した実施の形態の内容をその要旨を変更することなく組み合わせる等し て変形した場合も本発明に属する。
[0099] 以上説明したように本発明によれば、画像処理により、 2次元の内視鏡画像等の医 療用画像から 3次元の表面モデルを生成し、生成した表面モデルのデータを用いて ポリープ等の病変候補の検出若しくは病変の可能性を判定する場合、その検出結果 若しくは判定結果に用いた表面モデル各部のデータの信頼度を考慮して、検出結 果等に対する信頼度の情報を提示する。これにより、術者は、より診断を適切に行い 易くなるという産業上の利用可能性を有する。
[0100] また、本発明は、以下に記載する付記に述べる特徴を有するものである。
(付記 1)
2次元の医療用画像から 3次元の表面モデルの生成処理を行う表面モデル生成手 段と、前記表面モデルを複数の領域に区分けして、複数の各領域におけるデータの 信頼度を算出する領域信頼度算出手段とを具備したことを特徴とする医療用画像処 理装置。
[0101] (付記 2)
前記 2次元の医療用画像は、内視鏡により撮像された内視鏡画像であり、前記領 域信頼度算出手段は、前記各領域と前記内視鏡の照明窓若しくは撮像窓との間の 距離の情報、及び前記領域内に含まれる前記表面モデルを構成する構成データ点 数の情報との少なくとも一方の情報を用いて前記領域信頼度を算出することを特徴と する付記 1に記載の医療用画像処理装置。
[0102] (付記 3)
さらに前記 2次元の医療用画像若しくは前記表面モデルから、所定の特徴量を有 する候補を検出する候補検出手段を有し、前記候補検出手段により検出された候補 に対して、前記候補の検出に利用された前記表面モデルにおける前記各領域の領 域信頼度を用いて、前記候補の検出結果に対する信頼度を算出することを特徴とす る付記 1に記載の医療用画像処理装置。
[0103] (付記 4)
前記候補検出手段は、前記所定の特徴量を有する候補として、隆起性若しくは陥 凹性の特徴量を有する候補部位を検出することを特徴とする付記 3に記載の医療用 画像処理装置。
[0104] (付記 5)
前記候補検出手段は、隆起性若しくは陥凹性の特徴量を有する部分を候補として 抽出し、抽出した部分の高さ若しくは深さが閾値以上の場合に隆起性病変若しくは 陥凹性病変として検出又は判定することを特徴とする付記 4に記載の医療用画像処 理装置。
[0105] (付記 6)
2次元の医療用画像から 3次元の表面モデルの生成処理を行う表面モデル生成ス テツプと、前記表面モデルを複数の領域に区分けして、複数の各領域におけるデー タの信頼度を算出する領域信頼度算出ステップとを具備したことを特徴とする医療用 画像処理方法。
[0106] (付記 7)
前記 2次元の医療用画像は、内視鏡により撮像された内視鏡画像であり、前記領 域信頼度算出ステップは、前記各領域と前記内視鏡の照明窓若しくは撮像窓との間 の距離の情報、及び前記領域内に含まれる前記表面モデルの構成に利用された構 成データ点数の情報との少なくとも一方の情報を用いて前記領域信頼度を算出する ことを特徴とする付記 6に記載の医療用画像処理方法。
[0107] (付記 8)
さらに前記 2次元の医療用画像若しくは前記表面モデルから、所定の特徴量を有 する候補を検出する候補検出ステップを有し、前記候補検出ステップにより検出され た候補に対して、前記候補の検出に利用された前記表面モデルにおける前記各領 域の領域信頼度を用いて、前記候補の検出結果に対する信頼度を算出することを 特徴とする付記 6に記載の医療用画像処理方法。
[0108] (付記 9) 前記候補検出ステップは、前記所定の特徴量を有する候補として、隆起性若しくは 陥凹性の特徴量を有する候補部位を検出又は判定することを特徴とする付記 8に記 載の医療用画像処理方法。
以上説明したように本発明によれば、 3次元の表面モデルを病変候補の検出等を 行う場合における、信頼性の確認や信頼性の向上を図ることが可能となる。

Claims

請求の範囲
[1] 2次元の医療用画像から 3次元の表面モデルの生成処理を行う表面モデル生成手 段と、
前記表面モデルを複数の領域に区分けして、複数の各領域におけるデータの信頼 度を算出する領域信頼度算出手段と、
を具備したことを特徴とする医療用画像処理装置。
[2] 前記 2次元の医療用画像は、内視鏡により撮像された内視鏡画像であり、前記領 域信頼度算出手段は、前記各領域と前記内視鏡の照明窓若しくは撮像窓との間の 距離の情報、及び前記領域内に含まれる前記表面モデルを構成する構成データ点 数の情報との少なくとも一方の情報を用いて前記領域信頼度を算出することを特徴と する請求項 1に記載の医療用画像処理装置。
[3] 前記 2次元の医療用画像若しくは前記表面モデルから、所定の特徴量を有する候 補を検出する候補検出手段を有し、前記候補検出手段により検出された候補に対し て、前記候補の検出に利用された前記表面モデルにおける前記各領域の領域信頼 度を用いて、前記候補の検出結果に対する信頼度を算出することを特徴とする請求 項 1に記載の医療用画像処理装置。
[4] 前記候補検出手段は、前記所定の特徴量を有する候補として、隆起性若しくは陥 凹性の特徴量を有する候補部位を検出することを特徴とする請求項 3に記載の医療 用画像処理装置。
[5] 2次元の医療用画像から 3次元の表面モデルの生成処理を行う表面モデル生成ス テツプと、
前記表面モデルを複数の領域に区分けして、複数の各領域におけるデータの信頼 度を算出する領域信頼度算出ステップと、
を具備したことを特徴とする医療用画像処理方法。
[6] 前記 2次元の医療用画像は、内視鏡により撮像された内視鏡画像であり、前記領 域信頼度算出ステップは、前記各領域と前記内視鏡の照明窓若しくは撮像窓との間 の距離の情報、及び前記領域内に含まれる前記表面モデルの構成に利用された構 成データ点数の情報との少なくとも一方の情報を用いて前記領域信頼度を算出する ことを特徴とする請求項 5に記載の医療用画像処理方法。
前記 2次元の医療用画像若しくは前記表面モデルから、所定の特徴量を有する候 補を検出する候補検出ステップを有し、前記候補検出ステップにより検出された候補 に対して、前記候補の検出に利用された前記表面モデルにおける前記各領域の領 域信頼度を用いて、前記候補の検出結果に対する信頼度を算出することを特徴とす る請求項 5に記載の医療用画像処理方法。
PCT/JP2007/053585 2006-03-14 2007-02-27 医療用画像処理装置及び医療用画像処理方法 Ceased WO2007119295A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP07714978A EP1994876B1 (en) 2006-03-14 2007-02-27 Medical image processing apparatus and medical image processing method
CN2007800068267A CN101389260B (zh) 2006-03-14 2007-02-27 医疗用图像处理装置和医疗用图像处理方法
US12/208,827 US8184146B2 (en) 2006-03-14 2008-09-11 Medical image processing apparatus and medical image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006069816A JP4832927B2 (ja) 2006-03-14 2006-03-14 医療用画像処理装置及び医療用画像処理方法
JP2006-069816 2006-03-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/208,827 Continuation US8184146B2 (en) 2006-03-14 2008-09-11 Medical image processing apparatus and medical image processing method

Publications (1)

Publication Number Publication Date
WO2007119295A1 true WO2007119295A1 (ja) 2007-10-25

Family

ID=38589440

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/053585 Ceased WO2007119295A1 (ja) 2006-03-14 2007-02-27 医療用画像処理装置及び医療用画像処理方法

Country Status (5)

Country Link
US (1) US8184146B2 (ja)
EP (1) EP1994876B1 (ja)
JP (1) JP4832927B2 (ja)
CN (1) CN101389260B (ja)
WO (1) WO2007119295A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016136698A1 (ja) * 2015-02-27 2016-09-01 Hoya株式会社 画像処理装置
JP2018126632A (ja) * 2018-05-25 2018-08-16 Hoya株式会社 画像処理装置
JPWO2022209390A1 (ja) * 2021-03-31 2022-10-06

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2476102B1 (en) * 2009-09-11 2018-11-14 Koninklijke Philips N.V. Improvements to curved planar reformation
JP5220780B2 (ja) * 2010-02-05 2013-06-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
WO2012094013A1 (en) * 2011-01-07 2012-07-12 Landmark Graphics Corporation Systems and methods for the construction of closed bodies during 3d modeling
EP2672461A1 (de) * 2012-06-05 2013-12-11 a.tron3d GmbH Verfahren zum Fortsetzen von Aufnahmen zum Erfassen von dreidimensionalen Geometrien von Objekten
JP6196760B2 (ja) * 2012-08-10 2017-09-13 オリンパス株式会社 画像処理装置
EP3045104A4 (en) * 2013-09-13 2017-04-26 Olympus Corporation Image processing device, method, and program
KR20150049585A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 용종 검출 장치 및 그 동작방법
US10438382B2 (en) * 2017-03-27 2019-10-08 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN110740676B (zh) * 2017-06-15 2022-02-25 奥林巴斯株式会社 内窥镜系统、内窥镜图像处理方法以及记录介质
CN110769731B (zh) * 2017-06-15 2022-02-25 奥林巴斯株式会社 内窥镜系统、内窥镜用处理系统、图像处理方法
JP2019098005A (ja) * 2017-12-06 2019-06-24 国立大学法人千葉大学 内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法
CN111936030B (zh) * 2018-06-22 2024-09-20 奥林巴斯株式会社 界标估计方法、内窥镜装置及存储介质
JP2020022563A (ja) * 2018-08-06 2020-02-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
WO2020194693A1 (ja) * 2019-03-28 2020-10-01 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
WO2021176664A1 (ja) * 2020-03-05 2021-09-10 オリンパス株式会社 検査支援システム、検査支援方法、及び、プログラム
CN114903408A (zh) * 2022-04-22 2022-08-16 华伦医疗用品(深圳)有限公司 一种具有诊断成像的内窥镜成像系统
CN119969936B (zh) * 2025-04-16 2025-11-11 云南省第一人民医院 鼻腔内窥镜驱动方法、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08256295A (ja) 1994-12-21 1996-10-01 Olympus Optical Co Ltd 画像処理装置
JPH08252217A (ja) 1994-11-23 1996-10-01 General Electric Co <Ge> 内視鏡を模擬する方法及び被検体の内腔のビューを得るための仮想検査システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751341A (en) * 1993-01-05 1998-05-12 Vista Medical Technologies, Inc. Stereoscopic endoscope system
US6246784B1 (en) * 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
US6515657B1 (en) * 2000-02-11 2003-02-04 Claudio I. Zanelli Ultrasonic imager
JP2001324305A (ja) * 2000-05-17 2001-11-22 Minolta Co Ltd 画像対応位置検出装置および該装置を備える測距装置
US7260250B2 (en) * 2002-09-30 2007-08-21 The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services Computer-aided classification of anomalies in anatomical structures
US7150716B2 (en) * 2003-02-20 2006-12-19 Siemens Medical Solutions Usa, Inc. Measuring transducer movement methods and systems for multi-dimensional ultrasound imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08252217A (ja) 1994-11-23 1996-10-01 General Electric Co <Ge> 内視鏡を模擬する方法及び被検体の内腔のビューを得るための仮想検査システム
JPH08256295A (ja) 1994-12-21 1996-10-01 Olympus Optical Co Ltd 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1994876A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016136698A1 (ja) * 2015-02-27 2016-09-01 Hoya株式会社 画像処理装置
JP2016158681A (ja) * 2015-02-27 2016-09-05 Hoya株式会社 画像処理装置
US10521901B2 (en) 2015-02-27 2019-12-31 Hoya Corporation Image processing apparatus
JP2018126632A (ja) * 2018-05-25 2018-08-16 Hoya株式会社 画像処理装置
JPWO2022209390A1 (ja) * 2021-03-31 2022-10-06
US12561955B2 (en) 2021-03-31 2026-02-24 Fujifilm Corporation Endoscope system and method of operating the same

Also Published As

Publication number Publication date
EP1994876A4 (en) 2009-11-11
CN101389260A (zh) 2009-03-18
JP4832927B2 (ja) 2011-12-07
US8184146B2 (en) 2012-05-22
EP1994876B1 (en) 2011-07-13
JP2007244517A (ja) 2007-09-27
US20090073257A1 (en) 2009-03-19
EP1994876A1 (en) 2008-11-26
CN101389260B (zh) 2011-02-16

Similar Documents

Publication Publication Date Title
WO2007119295A1 (ja) 医療用画像処理装置及び医療用画像処理方法
CN101489466B (zh) 医疗用图像处理装置
US8295566B2 (en) Medical image processing device and medical image processing method
KR100890102B1 (ko) 의료 화상 처리 장치 및 의료 화상 처리 방법
CN101404924B (zh) 医疗用图像处理装置
US8165367B2 (en) Medical image processing apparatus and medical image processing method having three-dimensional model estimating
JP6840263B2 (ja) 内視鏡システム及びプログラム
WO2012153568A1 (ja) 医用画像処理装置及び医用画像処理方法
JP5078486B2 (ja) 医療用画像処理装置及び医療用画像処理装置の作動方法
CN101378692B (zh) 医疗用图像处理装置及医疗用图像处理方法
JP2006223376A (ja) 医用画像処理装置
CN101394780B (zh) 医疗用图像处理装置以及医疗用图像处理方法
JP2006187470A (ja) 医療画像処理装置
WO2008044365A1 (fr) Dispositif de traitement d&#39;image médicale et procédé de traitement d&#39;image médicale
JP4668624B2 (ja) 食道粘膜用画像処理装置
JP2011167529A (ja) 柵状欠陥検出装置および柵状血管検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07714978

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 200780006826.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2007714978

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE