WO2013132880A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
WO2013132880A1
WO2013132880A1 PCT/JP2013/050381 JP2013050381W WO2013132880A1 WO 2013132880 A1 WO2013132880 A1 WO 2013132880A1 JP 2013050381 W JP2013050381 W JP 2013050381W WO 2013132880 A1 WO2013132880 A1 WO 2013132880A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
information
image
image processing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/050381
Other languages
English (en)
French (fr)
Inventor
聡一 生熊
大西　順一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to CN201380001435.1A priority Critical patent/CN103561628B/zh
Priority to JP2013529489A priority patent/JP5378628B1/ja
Priority to EP13757661.7A priority patent/EP2700351A4/en
Publication of WO2013132880A1 publication Critical patent/WO2013132880A1/ja
Priority to US14/087,450 priority patent/US8894566B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A61B6/547—Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes

Definitions

  • the present invention relates to an endoscope system, and more particularly to an endoscope system that superimposes and displays the presence or absence of observation by an imaging unit on three-dimensional image information.
  • an endoscope apparatus has been widely used as a medical endoscope that observes an organ in a body cavity and performs a therapeutic treatment using a treatment tool as necessary.
  • the insertion portion of the endoscope is inserted into the lumen, and the distal end of the insertion portion quickly and accurately reaches the destination such as the lesion. It is necessary to let
  • Japanese Patent Laid-Open No. 2002-200030 discloses an endoscope that supports insertion of the insertion portion of the endoscope into a duct such as a bronchus. A position detection device is disclosed.
  • kidney stones the inside of the renal pelvis and kidney cup is observed with an endoscope, and the stone is removed with a treatment tool protruding from the distal end of the endoscope.
  • X-ray imaging is performed during the treatment to grasp the position of the endoscope in the renal pelvis and renal cup pathway.
  • an object of the present invention is to provide an endoscope system that allows a user to easily determine whether or not observation is performed with an endoscope.
  • An endoscope system constructs the 3D image information from a storage unit that stores image information for constructing 3D image information relating to a subject acquired in advance, and the image information.
  • a luminal organ extracting unit that extracts a predetermined luminal organ, an imaging unit that images the inside of the subject, a position information acquiring unit that acquires position information of the imaging unit, and 3 of the predetermined luminal organ
  • An alignment unit that combines the position information acquired by the position information acquisition unit with respect to the position information of the three-dimensional image coordinates, and a duct in the predetermined luminal organ based on the result of the alignment unit.
  • a determination unit that determines whether or not the imaging unit has passed, and an image processing unit that creates an image in which the determination information determined by the determination unit is superimposed on the three-dimensional image information of the predetermined luminal organ. Have.
  • FIG. 3 is a configuration diagram for explaining a detailed configuration of an image processing apparatus 7. It is a figure which shows the example of the position data memorize
  • 11 is an explanatory diagram for explaining an example of an image displayed on the display device 8;
  • FIG. 11 is an explanatory diagram for explaining another example of an image displayed on the display device 8.
  • FIG. 11 is an explanatory diagram for explaining another example of an image displayed on the display device 8.
  • FIG. 11 is an explanatory diagram for explaining another example of an image displayed on the display device 8.
  • FIG. 11 is an explanatory diagram for explaining another example of an image displayed on the display device 8.
  • FIG. 11 is an explanatory diagram for explaining another example of an image displayed on the display device 8.
  • FIG. 11 is an explanatory diagram for explaining another example of an image displayed on the display device 8.
  • FIG. 1 is a configuration diagram showing the configuration of the endoscope system according to the first embodiment.
  • an endoscope system 1 includes an endoscope 2, an endoscope device 3, a position detection device 4, an X-ray C arm device 5, a server 6, and an image processing device 7. And a display device 8.
  • the endoscope 2 includes a flexible elongated insertion portion 11 to be inserted into a subject, an operation portion 12 connected to a proximal end portion of the insertion portion 11, and a side surface of the operation portion 12. And an extended cable 13.
  • a connector (not shown) is provided at the proximal end portion of the cable 13 and is connected to the endoscope apparatus 3 via this connector.
  • the position detection device 4 is connected to the operation unit 12 of the endoscope 2 via a connector (not shown) provided at the proximal end portion of the cable 14, and via a connector (not shown) provided at the proximal end portion of the cable 15. It is connected to the X-ray C arm device 5.
  • An imaging element 10 such as a CCD constituting the imaging unit is provided at the distal end of the insertion unit 11 and images the inside of the subject.
  • An imaging signal imaged by the imaging device 10 is transmitted to the endoscope apparatus 3 via the operation unit 12 and the cable 13.
  • the endoscope apparatus 3 performs predetermined image processing on the transmitted imaging signal to generate endoscope image data.
  • the generated endoscopic image data is captured by the image processing device 7.
  • the insertion portion 11 is provided with a plurality of receiving coils (not shown) at a predetermined interval from the distal end portion to the proximal end portion.
  • Each of the plurality of receiving coils outputs an electrical signal in accordance with the magnetic field generated by the position detection device 4.
  • Each output electric signal is transmitted to the position detection device 4 via the operation unit 12 and the cable 14.
  • the position detection device 4 as the position information acquisition unit detects the position and direction of the distal end of the insertion unit 11 based on the electrical signal from the reception coil provided at the distal end portion among the electrical signals from the plurality of reception coils. For this purpose, the position and direction data of the distal end of the insertion portion 11, more specifically, the imaging portion are detected. Further, the position detection device 4 performs an operation for detecting the insertion shape of the insertion portion 11 based on electric signals from a plurality of receiving coils, and detects insertion shape data of the insertion portion 11. The detected position and direction data of the tip of the insertion unit 11 and the insertion shape data of the insertion unit 11 are captured by the image processing device 7.
  • the X-ray C-arm device 5 obtains intra-operative X-ray image data from multiple directions by rotating an X-ray C arm composed of an X-ray generator and an X-ray detector to an arbitrary angle. These intraoperative X-ray image data are captured by the image processing device 7.
  • the X-ray C arm is provided with a receiving coil (not shown) and outputs an electric signal in accordance with the magnetic field from the position detection device 4.
  • the output electrical signal is transmitted to the position detection device 4 via the cable 15.
  • the position detection device 4 generates X-ray imaging position data by detecting the position of the X-ray C arm based on the transmitted electrical signal.
  • the generated X-ray imaging position data is captured by the image processing device 7.
  • the server 6 stores preoperative multi-slice image data 16a to 16n such as CT or MRI. These preoperative multi-slice image data 16a to 16n are taken in by the image processing apparatus 7 via, for example, a hospital LAN. Note that the preoperative multi-slice image data 16a to 16n may be stored in a portable medium such as a CD-ROM and loaded into the image processing apparatus 7 via the portable medium.
  • the image processing device 7 includes endoscope image data from the endoscope device 3, position and direction data of the tip of the insertion unit 11 from the position detection device 4, insertion shape data of the insertion unit 11, X-ray imaging position data,
  • the X-ray image data from the X-ray C-arm device 5 and preoperative multi-slice image data 16a to 16n fetched from the server 6 are subjected to predetermined image processing to be described later, and the obtained image data is displayed on the display device 8. .
  • FIG. 2 is a configuration diagram for explaining a detailed configuration of the image processing device 7
  • FIG. 3 is a diagram illustrating an example of position data stored in the tip position storage unit
  • FIG. 4 is a display device.
  • FIG. 9 is an explanatory diagram for explaining an example of an image displayed in FIG. 5 to 8 are explanatory diagrams for explaining other examples of images displayed on the display device 8.
  • FIG. 9 is an explanatory diagram for explaining an example of an image displayed in FIG. 5 to 8 are explanatory diagrams for explaining other examples of images displayed on the display device 8.
  • image displayed on the display device 8 in FIG. 4 is two-dimensional data that is image-processed by the image processing unit 22 and finally displayed on the display device 8, but in the following description, 2 in FIG. The description will be made using the code of the dimension data.
  • the image processing apparatus 7 includes a memory unit 21, an image processing unit 22, a positioning unit 23, a tip position storage unit 24, a coordinate conversion unit 25, a determination unit 26, and an X-ray.
  • the image acquisition unit 27, the stone coordinate calculation unit 28, and the stone coordinate conversion unit 29 are configured.
  • the memory unit 21 as a storage unit stores preoperative multi-slice image data 16a to 16n, which is image information for constructing three-dimensional image information related to the subject acquired in advance from the server 6. These preoperative multi-slice image data 16a to 16n are read out by the image processing unit 22.
  • the image processing unit 22 constituting the luminal organ extracting unit constructs three-dimensional data 31 (see FIG. 4) from the preoperative multi-slice image data 16a to 16n read from the memory unit 21, and the ureter 40, the renal pelvis 41, A predetermined luminal organ including the kidney cups 42 to 49 is extracted, and the position coordinates are output to the alignment unit 23.
  • the image processing unit 22 may construct three-dimensional data including not only the ureter 40, the renal pelvis 41, and the renal cups 42 to 49 but also the bladder and urethra.
  • the image processing unit 22 generates three-dimensional data 32 obtained by rotating the constructed three-dimensional data 31 by an arbitrary angle so that the three-dimensional data can be observed from two directions.
  • the image processing unit 22 constituting the virtual endoscopic image generating unit generates a virtual endoscopic image 33 obtained by endoscopically viewing a predetermined luminal organ from a predetermined viewpoint from the three-dimensional data 31 or 32. . Further, the image processing unit 22 performs predetermined image processing on the endoscope image data captured from the endoscope apparatus 3 to generate an endoscope image 34. Then, the image processing unit 22 superimposes an insertion locus or the like of the distal end of the insertion unit 11 to be described later on the three-dimensional data 31 and 32, the virtual endoscopic image 33 and the endoscopic image 34, and the display device 8. Create an image to display.
  • the image processing unit 22 extracts the core line data of the lumen on the constructed three-dimensional data 31, and also extracts the coordinate value on the three-dimensional data of the end point of the core line data. Then, the image processing unit 22 outputs the coordinate value on the three-dimensional data of the core data to the alignment unit 23, and the coordinate value on the three-dimensional data of the end point of the core data is used as the renal cup coordinate data of the renal cups 42 to 49. To the determination unit 26.
  • the tip position storage unit 24 stores the position and direction data in the real space of the tip of the insertion unit 11 output from the position detection device 4 together with the time stamp TS.
  • the tip position storage unit 24 stores the position and direction data in the real space of the tip of the insertion unit 11 output from the position detection device 4 together with the time stamp TS.
  • A1, B1, and C1 are stored in association with the time stamp TS1 as position data.
  • the positioning unit 23 compares the position data stored in the tip position storage unit 24 with the core data from the image processing unit 22 and determines the real space coordinates in three dimensions. A conversion formula for converting to data coordinates is calculated.
  • the coordinate conversion unit 25 converts the position and direction data stored in the tip position storage unit 24 into values on the three-dimensional data coordinates based on the conversion formula calculated by the alignment unit 23.
  • the coordinate conversion unit 25 stores the position and direction data of the tip of the insertion unit 11 after conversion in the tip position storage unit 24 together with the position and direction data before conversion and the time stamp TS.
  • the coordinate conversion unit 25 converts the coordinate values A1, B1, C1 of the position data in the real space in the time stamp TS1 to 3 respectively based on the conversion formula calculated by the alignment unit 23.
  • the coordinate values D1, E1, and F1 on the dimension data are converted.
  • the position alignment unit 23 and the coordinate conversion unit 25 match the position information of the distal end of the insertion unit 11 acquired by the position detection device 4 with the position information of the three-dimensional image coordinates of a predetermined luminal organ.
  • the positioning part to be inserted is configured.
  • the alignment method is not limited to the above-described alignment method using the conversion formula, but the renal pelvis and kidney cup shape are extracted from the X-ray image captured from the X-ray C-arm device 5, and the X-ray from the position detection device is extracted.
  • the position coordinates of the renal pelvis and kidney cup extracted from the line imaging position data may be calculated and aligned with the position coordinates of the renal pelvis and kidney cup on the three-dimensional data.
  • the position detection of feature points on the patient's body surface and the alignment by specifying the characteristic points on the three-dimensional data or Japanese Patent Application Laid-Open No. 2009-279251
  • alignment may be performed by matching an endoscopic image and a virtual endoscopic image.
  • the determination unit 26 compares the coordinate value on the three-dimensional data 31 converted in this way with the kidney cup coordinate data extracted by the image processing unit 22, and the distal end of the insertion unit 11 becomes the kidney cups 42-49. It is determined whether it has been reached. Then, the determination unit 26 outputs the determination result to the image processing unit 22. Furthermore, the determination unit 26 may determine whether or not the imaging unit has passed through not only the kidney cups 42 to 49 but also a duct in a predetermined luminal organ.
  • the image processing unit 22 generates an insertion locus 50 of the distal end of the insertion unit 11 by connecting the coordinate values on the three-dimensional data 31 stored in the distal end position storage unit 24 with a solid line. Is superimposed on the three-dimensional data 31 and 32.
  • the image processing unit 22 generates tip position information 51 at the current position of the tip of the insertion unit 11 (tip of the insertion locus 50) and superimposes it on the three-dimensional data 31 and 32.
  • the image processing unit 22 generates determination information 52 for determining whether or not the kidney cups 42 to 49 are observed based on the determination result from the determination unit 26 and superimposes the determination information 52 on the three-dimensional data 31 and 32. .
  • the determination information 52 for example, as shown in FIG. 4, the kidney cups 42 to 46 that the distal end of the insertion portion 11 has reached are indicated by black circles, and the kidney cups 47 to 49 that have not reached are indicated by white circles.
  • the image processing unit 22 converts the three-dimensional data 31 and 32 obtained by superimposing the insertion locus 50, the tip position information 51, and the determination information 52 on the three-dimensional data 31 and 32 into two-dimensional data so that it can be displayed on the display device 8. To the display device 8. The image processing unit 22 also superimposes the insertion locus 50, the tip position information 51, and the determination information 52 on the virtual endoscopic image 33 and the endoscopic image 34, and outputs them to the display device 8. In the example of FIG. 4, only the insertion locus 50 is superimposed and displayed on the virtual endoscopic image 33 and the endoscopic image 34.
  • the determination information 52 is not limited to the black and white circles in FIG.
  • the image processing unit 22 may change the color of the portion where the tip of the insertion unit 11 has reached (in FIG. 5, the portion where the color has been changed is indicated by hatching). Good.
  • the colors of the ureter 40, renal pelvis 41, and kidney cups 42 to 46 that have reached the tip of the insertion portion 11 are changed to colors different from those of the kidney cups 47 to 49 that have not reached the tip of the insertion portion 11. is doing.
  • the image processing unit 22 changes the display mode of the three-dimensional data 31 and 32, the virtual endoscopic image 33, and the endoscopic image 34 based on the determination information 52.
  • the image processing unit 22 is based on the position and direction data stored in the distal end position storage unit 24, and the direction of the distal end of the insertion unit 11 (in the case of a direct-view type endoscope, the viewing direction of the endoscopic image). And an arrow 54 indicating the upward direction of the endoscope image are generated and superimposed on the three-dimensional data 31. Thereby, the user can easily recognize the insertion / extraction direction of the insertion unit 11 and the direction of viewing in the endoscopic image.
  • the X-ray image acquisition unit 27 acquires intraoperative X-ray image data from the X-ray C arm device 5 and outputs the acquired data to the image processing unit 22 and the stone coordinate calculation unit 28.
  • the image processing unit 22 performs predetermined image processing on the X-ray image data from the X-ray image acquisition unit 27 to generate an X-ray image 35 and performs control to display the generated X-ray image 35 on the display device 8. .
  • an X-ray image 35 is displayed on the display device 8 instead of the three-dimensional data 32 of FIG.
  • the stone coordinate calculation unit 28 receives the X-ray image data from the X-ray image acquisition unit 27 and the X-ray imaging position data from the position detection device 4.
  • the stone coordinate calculation unit 28 analyzes the X-ray image data, and calculates the positions of predetermined structures on the X-ray image 35, that is, the stones 55 and 56 in the example of FIG. Then, the stone coordinate calculation unit 28 calculates the existence range of the stones 55 and 56 on the real space coordinates from the positions of the stones 55 and 56 on the X-ray image 35 and the X-ray imaging position data.
  • the stone coordinate calculation unit 28 narrows down the existence ranges of the stones 55 and 56 from the existence ranges of the stones 55 and 56, respectively.
  • the positions and shapes of the three-dimensional stones 55 and 56 are calculated.
  • the calculated existence range of the stones 56 and 56 is output to the stone coordinate conversion unit 29.
  • the stone coordinate calculation unit 28 constitutes an extraction unit that extracts a predetermined structure from the X-ray image data.
  • the stone coordinate conversion unit 29 converts the existence range of the stones 55 and 56 on the real space coordinates into the existence range of the stones 55 and 56 on the three-dimensional data coordinates based on the conversion formula calculated by the alignment unit 23.
  • the stone coordinate conversion unit 29 outputs the coordinates of the existing ranges of the converted stones 55 and 56 to the determination unit 26 as stone coordinate data.
  • the coordinate conversion unit 25 converts the existence range of the stones 55 and 56 on the real space coordinates into the existence range of the stones 55 and 56 on the three-dimensional data coordinates without providing the stone coordinate conversion unit 29. May be.
  • the determination unit 26 compares the position and direction data for which the reset flag is not set out of the converted position and direction data stored in the tip position storage unit 24 with the stone coordinate data from the stone coordinate conversion unit 29. Then, it is determined whether or not the tip of the insertion portion 11 has reached each stone 55 and 56. The determination unit 26 outputs the determination result to the image processing unit 22.
  • the image processing unit 22 superimposes determination information indicating whether or not the tip of the insertion unit 11 has reached the stones 55 and 56 based on the converted position and direction data.
  • the determination information for example, the image processing unit 22 adds a color different from that of the stone 56 determined to have reached the tip of the stone 55 determined to have reached the tip of the insertion unit 11.
  • the image processing unit 22 may erase the stone 55 determined to have reached the tip of the insertion unit 11 from the three-dimensional data 31 based on the determination result.
  • the image processing unit 22 superimposes the insertion shape 57 of the insertion unit 11 on the three-dimensional data 31.
  • the insertion shape 57 calculates positions on real space coordinates from electrical signals from a plurality of receiving coils provided at predetermined intervals in the insertion portion 11, and converts these position data into three-dimensional data using a conversion formula. Convert to coordinate data.
  • the image processing unit 22 generates an insertion shape 57 by connecting these coordinate data with a solid line, and superimposes the insertion shape 57 on the three-dimensional data 31.
  • the image processing unit 22 performs image processing on the three-dimensional data 31 on which the stones 55 and 56 and the insertion shape 57 are superimposed and displayed in accordance with a user instruction, and generates a two-dimensional image for display on the display device 8. Output to device 8.
  • the image processing unit 22 not only superimposes the stones 55 and 56 and the insertion shape 57 on the three-dimensional data 31, but also stores the insertion locus 50, the tip position information 51, and the determination information 52 at the tip of the insertion unit 11 described above. You may superimpose.
  • a method of superimposing the determination information 52 a method of displaying the stone 55 determined to have reached or passed the tip in a semi-transparent manner on the three-dimensional data 31 may be used.
  • the image processing unit 22 may superimpose the insertion shape 57 on the X-ray image 35 and display it on the display device 8.
  • a reset signal is input to the image processing device 7.
  • a reset flag is set for all data stored in the tip position storage unit 24.
  • a reset signal is input at the time of the time stamp TS4
  • a reset flag is set before the time stamps TS1 to TS4.
  • data with a reset flag set is indicated by “ ⁇ ”
  • data with no reset flag set is indicated by “ ⁇ ”.
  • the data after the time stamp ST5 in which the reset flag is not set is the position data of the distal end of the insertion section 11 newly stored in the distal end position storage section 24 after the reset signal is input.
  • the image processing unit 22 resets the display of data for which the reset flag is set among the data stored in the tip position storage unit 24. For example, as illustrated in FIG. 8, the image processing unit 22 changes the display of the insertion locus 50 displayed before the reset from a solid line to a dotted line (insertion locus 50 a), and changes the determination information 52 from a black circle to a white circle. . Then, the image processing unit 22 displays the locus of the distal end of the insertion unit 11 after reset (after time stamp ST5) with a solid line (insertion locus 50b), and determines the kidney cup 47 that the distal end of the insertion unit 11 has reached after reset. The information 52 is changed from a white circle to a black circle. Note that the image processing unit 22 may not change the colors of the insertion locus 50a and the insertion locus 50b before and after resetting, or may not display the insertion locus 50a before resetting.
  • the image processing unit 22 does not display the insertion locus 50 in the ureter 40, the renal pelvis 41, and the kidney cups 42 to 49 where the insertion unit 11 passes once. May be.
  • FIG. 9 is an explanatory diagram for explaining an example of processing of the image processing unit 22 for improving visibility.
  • the image processing unit 22 displays the insertion locus 50 when the insertion portion 11 is removed from the kidney cup 43 when the insertion locus 50 is displayed when the insertion portion 11 is inserted into the kidney cup 43. Do not do.
  • the insertion locus 50 that is not displayed is indicated by a sparse broken line. More specifically, the determination unit 26 determines whether or not the current position of the distal end of the insertion unit 11 has passed once. When the determination unit 26 determines that the current position has passed once, the insertion locus 50 in the image processing unit 22 is determined. Do not display.
  • the determination unit 26 determines whether or not the place has passed once by using the core data of the lumen on the three-dimensional data 31. Specifically: First, for each position coordinate of the distal end of the insertion unit 11 stored in the distal end position storage unit 24, the closest point on the core data is set as a locus point. Next, the insertion trajectory is displayed on the core data in a range where the trajectory point exists in the core data. In this way, the tube through which the distal end of the insertion portion 11 has passed once is displayed by displaying the insertion locus on the core wire regardless of which position the scope actually passes in the lumen. When passing through the cavity again, the visibility can be improved without displaying the insertion locus 50 twice.
  • the determination unit 26 calculates the distance between the past position of the distal end of the insertion unit 11 stored in the distal end position storage unit 24 and the current position of the distal end of the insertion unit 11, and is the closest among the calculated distances. It is determined whether the distance value is greater than a predetermined threshold value. When it is determined that the calculated nearest distance value is larger than the predetermined threshold, it is determined that the place has not passed once, and the insertion locus 50 is displayed in the image processing unit 22.
  • FIG. 10 is an explanatory diagram for describing another example of the processing of the image processing unit 22 for improving the visibility.
  • the “insertion locus 50” will be described as being divided into “past insertion locus 50k” and “current insertion locus 50g”.
  • the past insertion locus 50 k As shown by an arrow A in FIG. 10, in the case where the insertion unit 11 is inserted into another path in the three-dimensional data 31 that is parallel to the insertion locus 50 and located on the back side in FIG. 10, the past insertion locus 50 k
  • the current insertion locus 50g and the tip position information 51 (or the insertion shape 57) are displayed on the back side. In such a case, the user cannot confirm the current position of the insertion portion 11, and visibility is deteriorated.
  • the current insertion locus 50g and the tip position information 51 that are hidden in the past insertion locus 50k are indicated by sparse broken lines.
  • the image processing unit 22 displays the current insertion locus 50g and the tip position information 51 (indicated by a solid line) on the near side of the past insertion locus 50k, as indicated by an arrow B in FIG. The visibility of the route is improved.
  • the image processing unit 22 determines the tip position information 51 as the past insertion locus when the past insertion locus 50k and the current insertion locus 50g have the same length.
  • the current insertion locus 50g (displayed with a broken line) is displayed transparently.
  • the image processing unit 22 displays the current insertion locus on the back side of the past insertion locus 50k. 50 g and tip position information 51 are displayed.
  • the image processing unit 22 performs such display control and generates a past insertion locus 50k and a current insertion locus 50g so as to be distinguishable. By such processing of the image processing unit 22, it is possible to prevent the current drawing path (insertion locus 50g) from being hidden and displayed by the past insertion locus 50k that has already been generated, and to improve visibility.
  • the display control is not limited to such display control, and may be display control in which the past insertion locus 50k of the portion in front of the current insertion locus 50g is displayed translucently.
  • the image processing apparatus 7 further includes a storage unit (not shown), and the insertion locus 50 of the distal end of the insertion unit 11, that is, the position data of the distal end of the insertion unit 11 stored in the distal end position storage unit 24 is stored in a storage unit (not shown).
  • the image processing unit 22 reads the position data of the previous examination stored in the storage unit and displays the insertion locus 50 of the previous examination.
  • the image processing unit 22 changes the insertion trace 50 of the previous examination to a display mode different from the insertion trace 50 of the current examination. For example, the image processing unit 22 displays the insertion locus 50 of the previous examination with a dotted line, or displays the color of the insertion locus 50 of the previous examination with a color different from the insertion locus 50 of the current examination. Furthermore, the image processing unit 22 may perform the above-described process of FIG. 10 in order to prevent the insertion trace 50 of the current examination from being hidden and displayed by the insertion trace 50 of the previous examination.
  • the image processing unit 22 may perform the following as a method for improving the visibility of the insertion unit 11.
  • the insertion path 50 of the path on the near side may be displayed thinly, and the insertion path 50 of the path on the back side may be displayed thickly.
  • the image processing unit 22 displays the insertion locus 50 into the kidney cup 48 thickly, and the kidney cup 47.
  • the insertion locus 50 is displayed thinly.
  • the image processing unit 22 may perform the same processing on the tip position information 51. For example, when the current position of the insertion unit 11 exists in the path on the near side, the image processing unit 22 displays the tip position information 51 with a thin line or a small diameter, and the current position of the insertion unit 11 is on the back side. In the case of existing in the path, the line of the tip position information 51 is displayed with a thick line or a large diameter. As a result, the current position and insertion locus in the back are less likely to become invisible due to obstacles such as the insertion locus in front, and the visibility of the user is improved.
  • FIG. 11 is a flowchart illustrating an example of the flow of preoperative image processing.
  • the image processing apparatus 7 loads preoperative multi-slice image data 16a to 16n into the memory unit 21 (step S1).
  • the image processing unit 22 reconstructs the preoperative multi-slice image data 16a to 16n in the memory unit 21 into the three-dimensional data 31 (step S2).
  • the image processing unit 22 creates the core data of the lumen on the three-dimensional data 31 (step S3), and outputs the coordinate value of the core data on the three-dimensional data 31 to the alignment unit 23 (step S4).
  • the image processing unit 22 outputs the coordinate value on the three-dimensional data 31 of the end point of the core line data to the determination unit 26 as the kidney cup coordinate data (step S5), and ends the process.
  • FIG. 12 is a flowchart illustrating an example of the flow of the alignment process.
  • the position detection device 4 calculates the position and direction of the distal end of the insertion portion 11 of the endoscope 2 as a coordinate value in real space (step S11).
  • the image processing device 7 stores the position and direction data of the distal end of the insertion unit 11 of the endoscope 2 acquired from the position detection device 4 in the distal end position storage unit 24 together with the time stamp ST (step S12).
  • step S13 it is determined whether or not there is an instruction for alignment. If it is determined that there is no alignment instruction, the determination is NO, the process returns to step S11, and the same processing is repeated. On the other hand, if it is determined that there is an instruction for alignment, the result is YES, and the alignment unit 23 compares the position data in which the reset flag is not set out of the position data stored in the tip position storage unit 24 with the core wire data. Then, a conversion formula for converting the real space coordinates into the three-dimensional data coordinates is calculated (step S14), and the process is terminated.
  • FIG. 13 is a flowchart illustrating an example of a flow of analysis processing of a predetermined structure.
  • the image processing device 7 acquires X-ray image data from the X-ray C arm device 5 and also acquires X-ray imaging position data from the position detection device 4 (step S21).
  • the stone coordinate calculation unit 28 analyzes the X-ray image data and calculates the positions of the stones 55 and 56 on the X-ray image 35 (step S22).
  • the stone coordinate calculation unit 28 calculates the existence range of the stones 55 and 56 on the real space coordinates from the positions of the stones 55 and 56 on the X-ray image 35 and the X-ray imaging position data (step S23).
  • step S24 it is determined whether or not there is an X-ray image taken from another direction (step S24). If there is no X-ray image taken from another direction, the determination is NO and the process proceeds to step S26. On the other hand, if there is an X-ray image taken from a different direction, the determination is YES, and the existence ranges of the stones 56 and 56 are narrowed down from the existence ranges of the stones 55 and 56 (step S25).
  • the stone coordinate conversion unit 29 converts the existence range of the stones 55 and 56 on the real space coordinates into the existence range of stones on the three-dimensional data coordinates by the conversion formula calculated by the alignment unit 23 (step S26). Finally, the stone coordinate conversion unit 29 outputs the converted coordinates (stone existence range) to the determination unit 26 as stone coordinate data (step S27), and ends the process.
  • FIG. 14 is a flowchart illustrating an example of the flow of navigation processing.
  • the image processing device 7 acquires the position and direction data (hereinafter also referred to as pre-conversion position / direction data) of the distal end of the insertion portion 11 of the endoscope 2 from the position detection device 4 and stores them in the distal end position storage unit 24.
  • the coordinate conversion unit 25 converts the pre-conversion position / direction data stored in the tip position storage unit 24 into a value on a three-dimensional data coordinate based on the conversion formula (step S32).
  • the coordinate conversion unit 25 stores the converted value as post-conversion position / direction data in the tip position storage unit 24 together with the pre-conversion position / direction data and the time stamp TS (step S33).
  • the determination unit 26 compares the position and direction data in which the reset flag is not set among the converted position / direction data stored in the distal end position storage unit 24, the kidney cup coordinate data, and the stone coordinate data, and compares the kidney cup 42 with each kidney cup 42. To 49 and each of the stones 55 and 56 are determined whether the tip of the insertion portion 11 has reached (step S34). Based on the converted position / direction data, the image processing unit 22 inserts, on the three-dimensional data 31, the insertion locus 50 of the tip of the insertion unit 11, tip position information 51 (the current position of the tip of the insertion unit 11), and a step. The determination information 52 determined in S34 is superimposed and displayed (step S35). The image processing unit 22 processes the three-dimensional data according to the user's instruction, creates a two-dimensional image for display, outputs it to the display device 8 (step S36), and ends the process.
  • FIG. 15 is a flowchart illustrating an example of the flow of reset processing.
  • step S41 it is determined whether or not a reset signal has been input. If it is determined that the reset signal is not received, the determination is NO and the process returns to step S41 and the same process is repeated. On the other hand, if it is determined that a reset signal has been input, the determination is YES, a reset flag is set for all data stored in the tip position storage unit 24, and the process returns to step S41 to repeat the same processing. (Step S42).
  • the endoscope system 1 constructs the three-dimensional data 31 of a predetermined luminal organ composed of the ureter 40, the renal pelvis 41, and the kidney cups 42 to 49, and inserts the insertion unit into the three-dimensional data 31. 11 on the insertion locus 50, tip position information 51 on the tip of the insertion portion 11, and determination information 52 indicating whether or not the tip of the insertion portion 11 has arrived are superimposed and displayed on the display device 8.
  • the user can easily recognize whether or not the inside of the predetermined luminal organ has been examined using the endoscope 2.
  • the user can easily determine whether or not the observation is performed with the endoscope.
  • FIG. 16 is a configuration diagram illustrating a configuration of an endoscope system according to the second embodiment.
  • the endoscope system 1a is configured by deleting the X-ray C arm device 5, the server 6, the cable 15, and the preoperative multi-slice image data 16a to 16n from the endoscope system 1 of FIG. Has been. Further, the endoscope system 1a is configured by using an image processing device 7a instead of the image processing device 7 of FIG.
  • FIG. 17 is a configuration diagram for explaining a detailed configuration of the image processing apparatus 7a.
  • the image processing device 7a includes an image processing unit 22a, a tip position storage unit 24a, a threshold value determination unit 60, and a trajectory image storage unit 61.
  • position data in the real space of the tip of the insertion unit 11 output from the position detection device 4 is stored together with the time stamp TS.
  • the direction data and the insertion shape data detected by the position detection device 4 are also stored in the distal end position storage unit 24a.
  • the image processing unit 22a uses the position data stored in the tip position storage unit 24a as it is, maps the coordinate value on the three-dimensional data, and generates an insertion locus. At this time, based on the determination result of the threshold determination unit 60, the image processing unit 22a does not display an insertion locus at a place once passed.
  • the threshold value determination unit 60 calculates the distance between the past position of the distal end of the insertion unit 11 stored in the distal end position storage unit 24a and the current position of the distal end of the insertion unit 11, and the closest distance among the calculated distances It is determined whether the value of is greater than a predetermined threshold. That is, the threshold determination unit 60 determines whether or not the current position of the distal end of the insertion unit 11 is away from a predetermined threshold from a position that has passed in the past. The threshold determination unit 60 outputs the determination result to the image processing unit 22a.
  • the image processing unit 22a determines that the location has not passed once and displays the insertion locus.
  • the threshold determination unit 60 determines that the closest distance value is equal to or less than a predetermined threshold
  • the image processing unit 22a determines that the location has passed once and does not display the insertion locus.
  • the image processing unit 22a stores, in the trajectory image storage unit 61, the position data (coordinate values) determined to be an insertion trajectory image, more specifically, a place that has not been passed once.
  • the image processing unit 22a reads the position data stored in the trajectory image storage unit 61 and displays the insertion trajectory stored in the previous inspection on the display device 8.
  • the user compares the insertion trajectory stored during the previous examination with the insertion trajectory displayed during the current examination so that there is no omission of inspection.
  • the inside of the luminal organ can be observed.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

　内視鏡システム１は、術前マルチスライス画像データ１６ａ～１６ｎを記憶するメモリ部２１と、術前マルチスライス画像データ１６ａ～１６ｎから３次元データ３１を構築し、所定の管腔臓器を抽出する画像処理部２２と、撮像部の位置情報を取得する位置検出４と、撮像部の位置情報を３次元データ３１の座標に合わせ込む位置合わせ部２３と、所定の管腔臓器の３次元データ３１の管路に対して撮像部の通過の有無を判定する判定部２６とを有する。そして、画像処理部２２は、所定の管腔臓器の３次元データ３１上に判定部２６により判定された判定情報５２を重畳した画像を作成する。

Description

内視鏡システム
　本発明は、内視鏡システムに関し、特に、３次元画像情報上に撮像部による観察の有無を重畳表示する内視鏡システムに関する。
　従来、内視鏡装置は、体腔内臓器の観察や、必要に応じて処置具を用いて治療処置を行う医療用内視鏡として、広く用いられている。このような内視鏡装置で観察や治療処置を行う場合、内視鏡の挿入部を管腔内に挿入していき、挿入部の先端部を病変部等の目的地に早くかつ正確に到達させる必要がある。
　このような内視鏡の挿入部を目的地まで到達させるナビゲーション技術として、例えば、特開２００２－２０００３０公報には、気管支等の管路へ内視鏡の挿入部の挿入を支援する内視鏡位置検出装置が開示されている。
　一方、腎臓結石では、腎盂、腎杯内を内視鏡で観察し、内視鏡の先端から突出する処置具により結石を取り除く処置が行われる。この腎盂、腎杯の内視鏡を用いた処置では、処置中にＸ線撮影を行い、腎盂、腎杯経路内の内視鏡の位置を把握している。
　しかしながら、Ｘ線画像は２次元画像であるため、３次元的な腎盂、腎杯形状における内視鏡の位置を正確に把握することができない。そこで、上述した気管支のナビゲーション技術を腎盂、腎杯内での処置に適用することが考えられる。
　しかしながら、従来の気管支のナビゲーション技術をそのまま腎盂、腎杯のナビゲーションに適用しただけでは、以下のような課題を解決するには不十分であった。まず、内視鏡の挿入部を目的地まで到達させるナビゲーションでは、見落としなく全ての腎杯を観察して残石等がないことを確認できない。また、内視鏡の挿入部の現在位置が分かっただけでは、全部の腎杯を観察したか否かは把握できない。
　そこで、本発明は、内視鏡で観察したか否かをユーザが容易に判別することができる内視鏡システムを提供することを目的とする。
　本発明の一態様の内視鏡システムは、予め取得した被検体に関する３次元画像情報を構築するための画像情報を記憶する記憶部と、前記画像情報から前記３次元画像情報を構築することで、所定の管腔臓器を抽出する管腔臓器抽出部と、前記被検体内を撮像する撮像部と、前記撮像部の位置情報を取得する位置情報取得部と、前記所定の管腔臓器の３次元画像座標の位置情報に対して、前記位置情報取得部で取得された位置情報を合わせ込む位置合わせ部と、前記位置合わせ部の結果に基づき、前記所定の管腔臓器内の管路に対して前記撮像部の通過の有無を判定する判定部と、前記所定の管腔臓器の３次元画像情報上に前記判定部により判定された判定情報を重畳した画像を作成する画像処理部と、を有する。
第１の実施の形態に係る内視鏡システムの構成を示す構成図である。 画像処理装置７の詳細な構成を説明するための構成図である。 先端位置記憶部に記憶される位置データの例を示す図である。 表示装置８に表示される画像の例を説明するための説明図である。 表示装置８に表示される画像の他の例を説明するための説明図である。 表示装置８に表示される画像の他の例を説明するための説明図である。 表示装置８に表示される画像の他の例を説明するための説明図である。 表示装置８に表示される画像の他の例を説明するための説明図である。 視認性を向上させる画像処理部２２の処理の例を説明するための説明図である。 視認性を向上させる画像処理部２２の処理の他の例を説明するための説明図である。 術前画像処理の流れの例を示すフローチャートである。 位置合わせ処理の流れの例を示すフローチャートである。 所定の構造物の解析処理の流れの例を示すフローチャートである。 ナビゲーション処理の流れの例を示すフローチャートである。 リセット処理の流れの例を示すフローチャートである。 第２の実施の形態に係る内視鏡システムの構成を示す構成図である。 画像処理装置７ａの詳細な構成を説明するための構成図である。
　以下、図面を参照して本発明の実施の形態について詳細に説明する。
（第１の実施の形態）
　まず、図１に基づき、本発明の第１の実施の形態に係る内視鏡システムの構成について説明する。図１は、第１の実施の形態に係る内視鏡システムの構成を示す構成図である。
　図１に示すように、内視鏡システム１は、内視鏡２と、内視鏡装置３と、位置検出装置４と、Ｘ線Cアーム装置５と、サーバ６と、画像処理装置７と、表示装置８とを有して構成されている。
　内視鏡２は、被検体内に挿入される可撓性を有する細長の挿入部１１と、この挿入部１１の基端部に連設された操作部１２と、この操作部１２の側面より延設されたケーブル１３とを有して構成されている。ケーブル１３の基端部には、図示しないコネクタが設けられており、このコネクタを介して内視鏡装置３に接続される。
　また、位置検出装置４からは、ケーブル１４及びケーブル１５が延設されている。位置検出装置４は、ケーブル１４の基端部に設けられた図示しないコネクタを介して内視鏡２の操作部１２に接続され、ケーブル１５の基端部に設けられた図示しないコネクタを介してＸ線Ｃアーム装置５に接続される。
　挿入部１１の先端部には、撮像部を構成するＣＣＤ等の撮像素子１０が設けられており、被検体内を撮像する。撮像素子１０で撮像された撮像信号は、操作部１２及びケーブル１３を介して内視鏡装置３に送信される。
　内視鏡装置３は、送信された撮像信号に所定の画像処理を施し、内視鏡画像データを生成する。生成された内視鏡画像データは、画像処理装置７により取り込まれる。
　また、挿入部１１には、先端部から基端部まで所定の間隔で図示しない複数の受信コイルが設けられている。複数の受信コイルのそれぞれは、位置検出装置４が発生する磁界に応じて電気信号を出力する。出力された各電気信号は、操作部１２及びケーブル１４を介して位置検出装置４に送信される。
　位置情報取得部としての位置検出装置４は、複数の受信コイルからの電気信号のうち、先端部に設けられた受信コイルからの電気信号に基づき、挿入部１１の先端の位置及び方向を検出するための演算を行い、挿入部１１の先端の、より具体的には撮像部の位置及び方向データを検出する。また、位置検出装置４は、複数の受信コイルから電気信号に基づき、挿入部１１の挿入形状を検出するための演算を行い、挿入部１１の挿入形状データを検出する。検出された挿入部１１の先端の位置及び方向データと、挿入部１１の挿入形状データとは、画像処理装置７により取り込まれる。
　Ｘ線Ｃアーム装置５は、Ｘ線発生部及びＸ線検出部から構成されるＸ線Ｃアームを、任意の角度に回転させることにより、多方向から術中のＸ線画像データを得る。これらの術中のＸ線画像データは、画像処理装置７により取り込まれる。
　また、Ｘ線Ｃアームには図示しない受信コイルが設けられており、位置検出装置４からの磁界に応じて電気信号を出力する。出力された電気信号は、ケーブル１５を介して位置検出装置４に送信される。位置検出装置４は、送信された電気信号に基づき、Ｘ線Ｃアームの位置等を検出することで、Ｘ線撮影位置データを生成する。生成されたＸ線撮影位置データは、画像処理装置７により取り込まれる。
　サーバ６には、例えば、ＣＴまたはＭＲＩ等の術前マルチスライス画像データ１６ａ～１６ｎが格納されている。これらの術前マルチスライス画像データ１６ａ～１６ｎは、例えば、院内のＬＡＮを介して画像処理装置７により取り込まれる。なお、術前マルチスライス画像データ１６ａ～１６ｎは、例えば、ＣＤ－ＲＯＭ等の可搬媒体に記憶され、この可搬媒体を介して画像処理装置７に取り込まれる構成であってもよい。
　画像処理装置７は、内視鏡装置３からの内視鏡画像データ、位置検出装置４からの挿入部１１の先端の位置及び方向データ、挿入部１１の挿入形状データ、Ｘ線撮影位置データ、Ｘ線Ｃアーム装置５からのＸ線画像データ、及びサーバ６から取り込んだ術前マルチスライス画像データ１６ａ～１６ｎに後述する所定の画像処理を施し、得られた画像データを表示装置８に表示する。
　次に、画像処理装置７の詳細な構成と、表示装置８に表示される画像について説明する。
　図２は、画像処理装置７の詳細な構成を説明するための構成図であり、図３は、先端位置記憶部に記憶される位置データの例を示す図であり、図４は、表示装置８に表示される画像の例を説明するための説明図である。また、図５～図８は、表示装置８に表示される画像の他の例を説明するための説明図である。
　なお、図４の表示装置８に表示される画像は、画像処理部２２で画像処理され、表示装置８に最終的に表示される２次元データであるが、以下の説明では、図４の２次元データの符号を用いて説明を行う。
　図２に示すように、画像処理装置７は、メモリ部２１と、画像処理部２２と、位置合わせ部２３と、先端位置記憶部２４と、座標変換部２５と、判定部２６と、Ｘ線画像取得部２７と、石座標算出部２８と、石座標変換部２９とを有して構成されている。
　記憶部としてのメモリ部２１は、サーバ６から予め取得した被検体に関する３次元画像情報を構築するための画像情報である術前マルチスライス画像データ１６ａ～１６ｎを記憶する。これらの術前マルチスライス画像データ１６ａ～１６ｎは、画像処理部２２により読み出される。
　管腔臓器抽出部を構成する画像処理部２２は、メモリ部２１から読み出した術前マルチスライス画像データ１６ａ～１６ｎから３次元データ３１（図４参照）を構築し、尿管４０、腎盂４１、腎杯４２～４９を含む所定の管腔臓器を抽出し、その位置座標を位置合わせ部２３に出力する。なお、画像処理部２２は、尿管４０、腎盂４１、腎杯４２～４９だけでなく、膀胱や尿道を含めた３次元データを構築してもよい。画像処理部２２は、２方向から３次元データを観察できるようにするために、構築した３次元データ３１を任意の角度、回転させた３次元データ３２を生成する。
　仮想内視鏡画像生成部を構成する画像処理部２２は、３次元データ３１または３２から、所定の管腔臓器を所定の視点から内視鏡的に見た仮想内視鏡画像３３を生成する。さらに、画像処理部２２は、内視鏡装置３から取り込んだ内視鏡画像データに対して所定の画像処理を施し、内視鏡画像３４を生成する。そして、画像処理部２２は、３次元データ３１、３２、仮想内視鏡画像３３及び内視鏡画像３４に対して、後述する挿入部１１の先端の挿入軌跡等を重畳し、表示装置８に表示する画像を作成する。
　さらに、画像処理部２２は、構築した３次元データ３１上の管腔の芯線データを抽出するとともに、芯線データの終点の３次元データ上の座標値を抽出する。そして、画像処理部２２は、芯線データの３次元データ上の座標値を位置合わせ部２３に出力し、芯線データの終点の３次元データ上の座標値を腎杯４２～４９の腎杯座標データとして判定部２６に出力する。
　先端位置記憶部２４には、図３に示すように、位置検出装置４から出力された挿入部１１の先端の実空間上での位置及び方向データがタイムスタンプＴＳとともに記憶される。図３の例では、位置データのみを記載しており、タイムスタンプＴＳ１には、位置データとしてＡ１、Ｂ１、Ｃ１が対応付けられて記憶されている。
　位置合わせ部２３は、ユーザから位置合わせの指示が行われると、先端位置記憶部２４に記憶されている位置データと、画像処理部２２からの芯線データとを比較し、実空間座標を３次元データ座標に変換する変換式を算出する。
　座標変換部２５は、位置合わせ部２３で算出された変換式に基づき、先端位置記憶部２４に記憶されている位置及び方向データを３次元データ座標上の値に変換する。そして、座標変換部２５は、変換後の挿入部１１の先端の位置及び方向データを、変換前の位置及び方向データ、タイムスタンプＴＳとともに先端位置記憶部２４に記憶する。例えば、図３の例では、座標変換部２５は、タイムスタンプＴＳ１における実空間上の位置データの座標値Ａ１，Ｂ１，Ｃ１を、位置合わせ部２３で算出された変換式に基づいて、それぞれ３次元データ上の座標値Ｄ１，Ｅ１，Ｆ１に変換する。
　このように、位置合わせ部２３及び座標変換部２５により、所定の管腔臓器の３次元画像座標の位置情報に対して、位置検出装置４で取得された挿入部１１の先端の位置情報を合わせ込む位置合わせ部を構成する。
　なお、位置合わせの方法は、上述した変換式を用いた位置合わせ方法だけでなく、Ｘ線Ｃアーム装置５から取り込んだＸ線画像から腎盂、腎杯形状を抽出し、位置検出装置からのＸ線撮影位置データから抽出した腎盂、腎杯の位置座標を算出し、３次元データ上の腎盂、腎杯の位置座標と位置合わせを行うようにしてもよい。また、特開２００５－３１２７７０号公報に開示されているように、患者の体表の特徴点の位置検出と、３次元データ上での特徴点指定とによる位置合わせや、特開２００９－２７９２５１号公報に開示されているように、内視鏡画像と仮想内視鏡画像とのマッチングによる位置合わせを行ってもよい。
　判定部２６は、このように変換された３次元データ３１上の座標値と、画像処理部２２で抽出された腎杯座標データとを比較し、挿入部１１の先端が腎杯４２～４９に到達したか否かを判定する。そして、判定部２６は、判定結果を画像処理部２２に出力する。更に、判定部２６は、腎杯４２～４９だけでなく、所定の管腔臓器内の管路に対して撮像部の通過の有無を判定するようにしても良い。
　画像処理部２２は、先端位置記憶部２４に記憶されている３次元データ３１上の座標値を実線で繋いでいくことで、挿入部１１の先端の挿入軌跡５０を生成し、この挿入軌跡５０を３次元データ３１及び３２に重畳する。
　また、画像処理部２２は、挿入部１１の先端の現在位置（挿入軌跡５０の先端）に先端位置情報５１を生成し、３次元データ３１及び３２に重畳する。
　さらに、画像処理部２２は、判定部２６からの判定結果に基づき、腎杯４２～４９を観察したか否かを判定するための判定情報５２を生成し、３次元データ３１及び３２に重畳する。判定情報５２は、例えば、図４に示すように、挿入部１１の先端が到達した腎杯４２～４６を黒丸で示し、到達していない腎杯４７～４９を白丸で示している。
　画像処理部２２は、３次元データ３１及び３２に挿入軌跡５０、先端位置情報５１及び判定情報５２を重畳した３次元データ３１及び３２を、表示装置８に表示できるように２次元データに変換し、表示装置８に出力する。また、画像処理部２２は、仮想内視鏡画像３３及び内視鏡画像３４にも、挿入軌跡５０、先端位置情報５１及び判定情報５２を重畳し、表示装置８に出力する。なお、図４の例では、挿入軌跡５０のみが仮想内視鏡画像３３及び内視鏡画像３４に重畳表示されている。
　なお、判定情報５２は、図４の黒丸及び白丸に限定されるものではない。画像処理部２２は、例えば、図５に示すように、挿入部１１の先端が到達した箇所の色を変更する（図５では、色を変えた箇所を斜線で示している）ようにしてもよい。図５の例では、挿入部１１の先端が到達した尿管４０、腎盂４１、腎杯４２～４６の色を挿入部１１の先端が到達していない腎杯４７～４９とは異なる色に変更している。このように、画像処理部２２は、判定情報５２に基づき、３次元データ３１、３２、仮想内視鏡画像３３及び内視鏡画像３４の表示態様を変更する。
　また、画像処理部２２は、先端位置記憶部２４に記憶されている位置及び方向データに基づき、挿入部１１の先端の向き（直視型の内視鏡の場合、内視鏡画像の視線方向）を示す矢印５３、及び内視鏡画像の上方向を示す矢印５４を生成し、３次元データ３１に重畳表示する。これにより、ユーザは、挿入部１１の挿抜方向や内視鏡画像で見ている方向を認識し易くなる。
　次に、所定の構造物を表示させる処理について図６を用いて説明する。
　Ｘ線画像取得部２７は、Ｘ線Ｃアーム装置５から術中のＸ線画像データを取得し、画像処理部２２及び石座標算出部２８に出力する。画像処理部２２は、Ｘ線画像取得部２７からのＸ線画像データに所定の画像処理を施してＸ線画像３５を生成し、生成したＸ線画像３５を表示装置８に表示する制御を行う。例えば、図６の例では、図４の３次元データ３２に代えて、Ｘ線画像３５が表示装置８に表示されている。
　石座標算出部２８には、Ｘ線画像取得部２７からのＸ線画像データと、位置検出装置４からのＸ線撮影位置データとが入力される。石座標算出部２８は、Ｘ線画像データの解析を行い、Ｘ線画像３５上の所定の構造物、図６の例では石５５及び５６の位置を算出する。そして、石座標算出部２８は、Ｘ線画像３５上の石５５及び５６の位置とＸ線撮影位置データとから実空間座標上の石５５及び５６の存在範囲を算出する。また、石座標算出部２８は、複数の方向、例えば、２方向から撮影したＸ線画像データがある場合には、それぞれの石５５及び５６の存在範囲から石５５及び５６の存在範囲を絞り込み、３次元的な石５５及び５６の位置及び形状を算出する。算出された石５６及び５６の存在範囲は、石座標変換部２９に出力される。このように、石座標算出部２８は、Ｘ線画像データから所定の構造物を抽出する抽出部を構成する。
　石座標変換部２９は、位置合わせ部２３が算出した変換式に基づき、実空間座標上の石５５及び５６の存在範囲を３次元データ座標上の石５５及び５６の存在範囲に変換する。石座標変換部２９は、変換後の石５５及び５６の存在範囲の座標を石座標データとして判定部２６に出力する。なお、石座標変換部２９を設けずに、座標変換部２５が、実空間座標上の石５５及び５６の存在範囲を３次元データ座標上の石５５及び５６の存在範囲に変換する構成であってもよい。
　判定部２６は、先端位置記憶部２４に記憶されている変換後の位置及び方向データのうち、リセットフラグが立っていない位置及び方向データと、石座標変換部２９からの石座標データとを比較し、各石５５及び５６に挿入部１１の先端が到達したか否かを判定する。判定部２６は、この判定結果を画像処理部２２に出力する。
　画像処理部２２は、変換された位置及び方向データをもとに、挿入部１１の先端が石５５及び５６に到達したか否かを示す判定情報を重畳する。画像処理部２２は、判定情報として、例えば、挿入部１１の先端が到達したと判定した石５５に対して、先端が到達していないと判定した石５６と異なる色を付けるようにする。なお、画像処理部２２は、判定結果に基づき、挿入部１１の先端が到達したと判定した石５５を３次元データ３１上から消去するようにしてもよい。
　また、画像処理部２２は、挿入部１１の挿入形状５７を３次元データ３１に重畳する。挿入形状５７は、挿入部１１に所定の間隔で設けられている複数の受信コイルからの電気信号から実空間座標上での位置を算出し、これらの位置データを変換式で３次元データ上の座標データに変換する。そして、画像処理部２２は、これらの座標データを実線で繋ぐことで挿入形状５７を生成し、３次元データ３１に重畳する。
　画像処理部２２は、ユーザの指示に従い、石５５、５６、及び挿入形状５７が重畳表示された３次元データ３１を画像処理し、表示装置８に表示するための２次元画像を作成し、表示装置８に出力する。
　なお、画像処理部２２は、３次元データ３１に石５５、５６及び挿入形状５７を重畳するだけでなく、上述した、挿入部１１の先端の挿入軌跡５０、先端位置情報５１及び判定情報５２を重畳してもよい。判定情報５２の重畳方法の一例としては、先端が到達または通過したと判定した石５５を３次元データ３１上で半透明に表示するなどの方法でもよい。また、画像処理部２２は、図７に示すように、挿入形状５７をＸ線画像３５に重畳し、表示装置８に表示するようにしてもよい。
　次に、リセット処理について図３及び図８を用いて説明する。
　操作部１２に設けられた図示しないスイッチを用いてユーザがリセットを行うと、リセット信号が画像処理装置７に入力される。リセット信号が入力されると、先端位置記憶部２４に記憶されている全てのデータにリセットフラグを立てる。例えば、タイムスタンプＴＳ４の時点でリセット信号が入力されると、タイムスタンプＴＳ１～ＴＳ４までにリセットフラグが立つ。図３の例では、リセットフラグが立ったデータを「○」で示し、リセットフラグが立っていないデータを「－」で示している。リセットフラグが立っていないタイムスタンプＳＴ５以降のデータは、リセット信号が入力された後に、先端位置記憶部２４に新たに記憶された挿入部１１の先端の位置データである。
　画像処理部２２は、先端位置記憶部２４に記憶されているデータのうちリセットフラグが立っているデータの表示をリセットする。画像処理部２２は、例えば、図８に示すように、リセット前に表示されていた挿入軌跡５０の表示を実線から点線（挿入軌跡５０ａ）に変更し、判定情報５２を黒丸から白丸に変更する。そして、画像処理部２２は、リセット後（タイムスタンプＳＴ５以降）の挿入部１１の先端の軌跡を実線（挿入軌跡５０ｂ）で表示し、リセット後に挿入部１１の先端が到達した腎杯４７の判定情報５２を白丸から黒丸に変更する。なお、画像処理部２２は、リセット前後で挿入軌跡５０ａと挿入軌跡５０ｂとの色を変更したり、リセット前の挿入軌跡５０ａの表示を行わないようにしてもよい。
　このような腎盂４１及び腎杯４２～４９の処置では、石５５及び５６のサイズが大きい場合、図示しない処置具を用いて石５５及び５６を細かく砕いてから取り除くことなる。この場合、細かく砕いた石が一度検査を行った腎杯（例えば、図４の腎杯４２～４６）のいずれかに入ってしまう可能性があるため、一度検査を行った腎杯４２～４６についても、再度検査をする必要がある。そこで、リセット処理を行うことで挿入軌跡５０や判定情報５２をリセットし、検査漏れがないように、再度、腎杯４２～４６の検査を行えるようにしている。
　また、画像処理部２２は、視認性を向上させるために、尿管４０、腎盂４１、及び腎杯４２～４９において、挿入部１１が一度通った場所に挿入軌跡５０の表示を行わないようにしてもよい。
　図９は、視認性を向上させる画像処理部２２の処理の例を説明するための説明図である。
　画像処理部２２は、図９に示すように、腎杯４３に挿入部１１を挿入する時に挿入軌跡５０の表示を行った場合、腎杯４３から挿入部１１を抜去する時に挿入軌跡５０の表示を行わないようにする。なお、図９の例では、表示を行わない挿入軌跡５０を疎破線で示している。より具体的には、判定部２６は、挿入部１１の先端の現在の位置が一度通った場所か否かを判定して、一度通った場所と判定した場合に画像処理部２２において挿入軌跡５０の表示を行わないようにする。
　判定部２６は、一度通った場所か否かの判定について、３次元データ３１上の管腔の芯線データを用いて判定する。具体的には以下のようにする。まず、先端位置記憶部２４に記憶された挿入部１１の先端の位置座標のそれぞれについて、最も近い芯線データ上の点を軌跡点とする。次に芯線データのうち、軌跡点がある範囲の芯線データ上に挿入軌跡を表示する。こうすることにより、管腔内において、スコープが実際にどの位置を通ったかは関係なく、どの位置を通っても芯線上に挿入軌跡を表示することで、挿入部１１の先端が一度通った管腔を再度通る場合に挿入軌跡５０を二重に表示することなく視認性を向上させることができる。
　一度通った場所と判定した場合に挿入軌跡５０の表示を行わないようにする別の方法を記載する。これは芯線情報を使用しない方法である。まず、判定部２６は、先端位置記憶部２４に記憶された挿入部１１の先端の過去の位置と、挿入部１１の先端の現在の位置との距離を算出し、算出した距離のうち最も近い距離の値が、所定の閾値より大きいか否かを判定する。そして、算出した最も近い距離の値が所定の閾値より大きいと判定した場合、一度通った場所でないと判定し、画像処理部２２において挿入軌跡５０を表示する。一方、算出した最も近い距離の値が所定の閾値以下と判定した場合、一度通った場所であると判定し、画像処理部２２において挿入軌跡５０を表示しないようにする。このような画像処理部２２の処理により、同じ場所を何度も軌跡表示することがなくなるため、視認性を向上させることができる。
　また、画像処理部２２は、図１０に示す処理を行い、挿入部１１の視認性を向上させてもよい。図１０は、視認性を向上させる画像処理部２２の処理の他の例を説明するための説明図である。
　図１０および以下の説明において混乱を防ぐため「挿入軌跡５０」を「過去の挿入軌跡５０ｋ」と「現在の挿入軌跡５０ｇ」に分けて説明する。図１０の矢印Ａに示すように、３次元データ３１において、挿入軌跡５０に平行、かつ、図１０に向かって奥側にある別の経路に挿入部１１を挿入する場合、過去の挿入軌跡５０ｋの背面側に現在の挿入軌跡５０ｇ及び先端位置情報５１（あるいは、挿入形状５７）が表示される。このような場合、ユーザは挿入部１１の現在位置を確認できなくなり、視認性が悪くなる。なお、図１０の矢印Ａの例では、過去の挿入軌跡５０ｋに隠れている現在の挿入軌跡５０ｇ及び先端位置情報５１を疎破線で示している。
　そこで、画像処理部２２は、図１０の矢印Ｂに示すように、現在の挿入軌跡５０ｇ及び先端位置情報５１（実線で表示）を過去の挿入軌跡５０ｋより手前側に表示することで、現在の経路の視認性を向上させるようにしている。
　また、画像処理部２２は、図１０の矢印Ｃに示すように、過去の挿入軌跡５０ｋと、現在の挿入軌跡５０ｇとの長さが同じとなった場合、先端位置情報５１を過去の挿入軌跡５０ｋより手前側に表示し、現在の挿入軌跡５０ｇ（破線で表示）を透過表示する。さらに、画像処理部２２は、図１０の矢印Ｄに示すように、挿入部１１の先端の位置が過去の挿入軌跡５０ｋに隠れなくなった場合、過去の挿入軌跡５０ｋの背面側に現在の挿入軌跡５０ｇ及び先端位置情報５１を表示する。
　画像処理部２２は、このような表示制御を行い、過去の挿入軌跡５０ｋと、現在の挿入軌跡５０ｇとを識別可能に生成する。このような画像処理部２２の処理により、現在の描写経路（挿入軌跡５０ｇ）が既に生成された過去の挿入軌跡５０ｋにより隠れて表示されなくなることを防止でき、視認性を向上させることができる。このような表示制御に限らず、現在の挿入軌跡５０ｇの手前にある部分の過去の挿入軌跡５０ｋを半透明に表示するような表示制御でも良い。
　また、画像処理装置７に図示しない記憶部をさらに設け、挿入部１１の先端の挿入軌跡５０、すなわち、先端位置記憶部２４に記憶された挿入部１１の先端の位置データを図示しない記憶部に記憶する。そして、画像処理部２２は、再検査を行う場合、その記憶部に記憶された以前の検査の位置データを読み出し、以前の検査の挿入軌跡５０を表示する。
　この場合、画像処理部２２は、以前の検査の挿入軌跡５０を現在の検査の挿入軌跡５０とは異なる表示態様に変更する。画像処理部２２は、例えば、以前の検査の挿入軌跡５０を点線で表示したり、以前の検査の挿入軌跡５０の色を現在の検査の挿入軌跡５０とは異なる色で表示する。さらに、画像処理部２２は、現在の検査の挿入軌跡５０が以前の検査の挿入軌跡５０により隠れて表示されなくなることを防止するために、上述した図１０の処理を行ってもよい。
　また、画像処理部２２は、挿入部１１の視認性を向上させる方法として以下のようにしても良い。３次元データ３１上で手前側の経路の挿入軌跡５０を細く表示し、奥側の経路の挿入軌跡５０を太く表示してもよい。例えば、図４の３次元データ３１では、腎杯４８が腎杯４７より奥側の経路に存在するので、画像処理部２２は、腎杯４８への挿入軌跡５０を太く表示し、腎杯４７への挿入軌跡５０を細く表示する。
　更に、画像処理部２２は、先端位置情報５１についても同様の処理を行ってもよい。画像処理部２２は、例えば、挿入部１１の現在位置が手前側の経路に存在する場合、先端位置情報５１の線を細く、あるいは、径を小さく表示し、挿入部１１の現在位置が奥側の経路に存在する場合、先端位置情報５１の線を太く、あるいは、径を大きく表示する。これにより、奥にある現在位置や挿入軌跡が、手前にある挿入軌跡等の障害物により見えなくなることが少なくなり、ユーザの視認性が向上する。
　次に、このように構成された内視鏡システム１の動作について説明する。
　最初に術前画像処理について説明する。図１１は、術前画像処理の流れの例を示すフローチャートである。
　まず、画像処理装置７が術前マルチスライス画像データ１６ａ～１６ｎをメモリ部２１に取り込む（ステップＳ１）。次に、画像処理部２２がメモリ部２１の術前マルチスライス画像データ１６ａ～１６ｎを３次元データ３１に再構築する（ステップＳ２）。画像処理部２２が３次元データ３１上の管腔の芯線データを作成し（ステップＳ３）、芯線データの３次元データ３１上の座標値を位置合わせ部２３に出力する（ステップＳ４）。最後に、画像処理部２２は、芯線データの終点の３次元データ３１上の座標値を腎杯座標データとして判定部２６に出力し（ステップＳ５）、処理を終了する。
　次に、位置合わせ処理について説明する。図１２は、位置合わせ処理の流れの例を示すフローチャートである。
　まず、位置検出装置４が内視鏡２の挿入部１１の先端の位置及び方向を実空間上の座標値で算出する（ステップＳ１１）。画像処理装置７は、位置検出装置４から取得した内視鏡２の挿入部１１の先端の位置及び方向データをタイムスタンプＳＴとともに先端位置記憶部２４に記憶する（ステップＳ１２）。
　次に、位置合わせの指示があるか否かが判定される（ステップＳ１３）。位置合わせの指示がないと判定された場合、ＮＯとなり、ステップＳ１１に戻り、同様の処理を繰り返す。一方、位置合わせの指示があると判定された場合、ＹＥＳとなり、位置合わせ部２３が先端位置記憶部２４に記憶されている位置データのうちリセットフラグが立っていない位置データと芯線データとを比較し、実空間座標を３次元データ座標に変換する変換式を算出し（ステップＳ１４）、処理を終了する。
　次に、所定の構造物（石５５及び５６）の解析処理について説明する。図１３は、所定の構造物の解析処理の流れの例を示すフローチャートである。
　まず、画像処理装置７は、Ｘ線Ｃアーム装置５からＸ線画像データを取得するとともに、位置検出装置４からＸ線撮影位置データを取得する（ステップＳ２１）。石座標算出部２８は、Ｘ線画像データの解析を行い、Ｘ線画像３５上の石５５及び５６の位置を算出する（ステップＳ２２）。次に、石座標算出部２８は、Ｘ線画像３５上の石５５及び５６の位置とＸ線撮影位置データとから実空間座標上の石５５及び５６の存在範囲を算出する（ステップＳ２３）。
　次に、別の方向から撮影したＸ線画像があるか否かが判定される（ステップＳ２４）。別の方向から撮影したＸ線画像がない場合、ＮＯとなり、ステップＳ２６に進む。一方、別の方向から撮影したＸ線画像がある場合、ＹＥＳとなり、それぞれの石５５及び５６の存在範囲から石５６及び５６の存在範囲を絞り込む（ステップＳ２５）。石座標変換部２９は、位置合わせ部２３の算出した変換式により、実空間座標上の石５５及び５６の存在範囲を３次元データ座標上の石の存在範囲に変換する（ステップＳ２６）。最後に、石座標変換部２９は、変換後の座標（石の存在範囲）を石座標データとして判定部２６に出力し（ステップＳ２７）、処理を終了する。
　次に、ナビゲーション処理について説明する。図１４は、ナビゲーション処理の流れの例を示すフローチャートである。
　まず、画像処理装置７は位置検出装置４から内視鏡２の挿入部１１の先端の位置及び方向データ（以下、変換前位置方向データともいう）を取得し、先端位置記憶部２４に記憶する（ステップＳ３１）。座標変換部２５は、先端位置記憶部２４に記憶されている変換前位置方向データを、変換式に基づき３次元データ座標上の値に変換する（ステップＳ３２）。座標変換部２５は、変換後の値を、変換後位置方向データとして変換前位置方向データ及びタイムスタンプＴＳとともに先端位置記憶部２４に記憶する（ステップＳ３３）。
　判定部２６は、先端位置記憶部２４に記憶されている変換後位置方向データのうちリセットフラグが立っていない位置及び方向データと腎杯座標データと石座標データとを比較し、各腎杯４２～４９と、各石５５及び５６とに挿入部１１の先端が到達したかを判定する（ステップＳ３４）。画像処理部２２は、変換後位置方向データをもとに、３次元データ３１上に、挿入部１１の先端の挿入軌跡５０、先端位置情報５１（挿入部１１の先端の現在位置）、及びステップＳ３４で判定された判定情報５２を重畳表示する（ステップＳ３５）。画像処理部２２は、ユーザの指示に従い、３次元データを処理し、表示するための２次元画像を作成し、表示装置８に出力し（ステップＳ３６）、処理を終了する。
　次に、リセット信号が入力されたときのリセット処理について説明する。図１５は、リセット処理の流れの例を示すフローチャートである。
　まず、リセット信号が入ったか否かが判定される（ステップＳ４１）。リセット信号が入っていないと判定された場合、ＮＯとなり、ステップＳ４１に戻り同様の処理を繰り返す。一方、リセット信号が入ったと判定された場合、ＹＥＳとなり、先端位置記憶部２４に記憶されている全てのデータにリセットフラグを立てステップＳ４１に戻り同様の処理を繰り返す。（ステップＳ４２）。
　以上のように、内視鏡システム１は、尿管４０、腎盂４１、腎杯４２～４９により構成される所定の管腔臓器の３次元データ３１を構築するとともに、３次元データ３１に挿入部１１の先端の挿入軌跡５０、挿入部１１の先端の先端位置情報５１、及び、挿入部１１の先端が到達した否かを示す判定情報５２を重畳し、表示装置８に表示するようにした。この結果、ユーザは、内視鏡２を用いて所定の管腔臓器内を全て検査したか否かを容易に認識することができる。
　よって、本実施の形態の内視鏡システムによれば、内視鏡で観察したか否かをユーザが容易に判別することができる。
（第２の実施の形態）
　次に、第２の実施の形態について説明する。
　第２の実施の形態では、３次元データがなく挿入経路が分からない場合に、挿入軌跡を生成する内視鏡システムについて説明する。図１６は、第２の実施の形態に係る内視鏡システムの構成を示す構成図である。
　図１６に示すように、内視鏡システム１ａは、図１の内視鏡システム１からＸ線Ｃアーム装置５、サーバ６、ケーブル１５及び術前マルチスライス画像データ１６ａ～１６ｎが削除されて構成されている。また、内視鏡システム１ａは、図１の画像処理装置７に代わり、画像処理装置７ａを用いて構成されている。
　図１７は、画像処理装置７ａの詳細な構成を説明するための構成図である。
　画像処理装置７ａは、画像処理部２２ａと、先端位置記憶部２４ａと、閾値判定部６０と、軌跡画像記憶部６１とを有して構成されている。
　先端位置記憶部２４ａには、位置検出装置４から出力された挿入部１１の先端の実空間上での位置データがタイムスタンプＴＳとともに記憶される。また、挿入部１１の先端の方向や挿入部１１の挿入形状を表示装置８に表示する場合、位置検出装置４で検出された方向データ及び挿入形状データも先端位置記憶部２４ａに記憶される。
　画像処理部２２ａは、先端位置記憶部２４ａに記憶された位置データをそのまま用いて、３次元データ上に座標値をマッピングし、挿入軌跡を生成する。この際、画像処理部２２ａは、閾値判定部６０の判定結果に基づき、一度通った場所には挿入軌跡を表示しないようにする。
　閾値判定部６０は、先端位置記憶部２４ａに記憶された挿入部１１の先端の過去の位置と、挿入部１１の先端の現在の位置との距離を算出し、算出した距離のうち最も近い距離の値が、所定の閾値より大きいか否かを判定する。すなわち、閾値判定部６０は、挿入部１１の先端の現在の位置が過去に通った位置から所定の閾値より離れているか否かを判定している。閾値判定部６０は、この判定結果を画像処理部２２ａに出力する。
　画像処理部２２ａは、最も近い距離の値が所定の閾値より大きいと閾値判定部６０が判定した場合、一度通った場所でないと判定し、挿入軌跡を表示する。一方、画像処理部２２ａは、最も近い距離の値が所定の閾値以下と閾値判定部６０が判定した場合、一度通った場所であると判定し、挿入軌跡を表示しないようにする。
　また、画像処理部２２ａは、挿入軌跡の画像を、より具体的には、一度通った場所でないと判定された位置データ（座標値）を軌跡画像記憶部６１に記憶する。再検査を行う際には、画像処理部２２ａは、軌跡画像記憶部６１に記憶された位置データを読み出し、以前の検査の際に記憶された挿入軌跡を表示装置８に表示する。
　これにより、ユーザは、３次元データがない場合においても、以前の検査の際に記憶された挿入軌跡と、現在の検査の際に表示される挿入軌跡とを比較し、検査漏れがないように、管腔臓器内を観察することができる。
　なお、本明細書における各フローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
　本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
　本出願は、２０１２年３月６日に日本国に出願された特願２０１２－４９４６７号公報を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (10)

  1. 　予め取得した被検体に関する３次元画像情報を構築するための画像情報を記憶する記憶部と、
    　前記画像情報から前記３次元画像情報を構築することで、当該３次元画像情報内に存在する所定の管腔臓器を抽出する管腔臓器抽出部と、
    　前記被検体内を撮像する撮像部と、
    　前記撮像部の位置情報を取得する位置情報取得部と、
    　前記所定の管腔臓器の３次元画像座標の位置情報に対して、前記位置情報取得部で取得された位置情報を合わせ込む位置合わせ部と、
    　前記位置合わせ部の結果に基づき、前記所定の管腔臓器内の管路に対して前記撮像部の通過の有無を判定する判定部と、
    　前記所定の管腔臓器の３次元画像情報上に前記判定部により判定された判定情報を重畳した画像を作成する画像処理部と、
    　を有することを特徴とする内視鏡システム。
  2. 　前記画像処理部は、前記撮像部の位置情報から軌跡情報を生成し、前記所定の管腔臓器の３次元画像情報または前記撮像部により撮像された画像に対して前記軌跡情報を重畳した画像を作成することを特徴とする請求項１に記載の内視鏡システム。
  3. 　前記所定の管腔臓器を所定の視点から内視鏡的に見た仮想内視鏡画像を生成する仮想内視鏡画像生成部を更に備え、
    　前記画像処理部は、前記撮像部の位置情報から軌跡情報を生成し、前記所定の管腔臓器の３次元画像情報、前記仮想内視鏡画像または前記撮像部により撮像された画像に対して前記軌跡情報を重畳して表示させることを特徴とする請求項１に記載の内視鏡システム。
  4. 　前記画像処理部は、前記軌跡情報において過去の軌跡情報と現在の軌跡情報とを識別可能に生成することを特徴とする請求項２に記載の内視鏡システム。
  5. 　前記画像処理部は、前記判定情報に基づき前記所定の管腔臓器の３次元画像情報または前記撮像部により撮像された画像の表示態様を変更することを特徴とする請求項２に記載の内視鏡システム。
  6. 　前記画像処理部は、前記所定の管腔臓器内において前記撮像部先端が到達した箇所の判定情報を当該撮像部先端が到達していない箇所の判定情報とは異なる色にて重畳した画像を作成することを特徴とする請求項５に記載の内視鏡システム。
  7. 　前記判定部は、前記撮像部先端の位置座標の各々について、前記３次元画像情報における所定の管腔臓器の芯線データに最も近い点を軌跡点と判定し、
    　前記画像処理部は、前記軌跡点が存在する範囲の芯線データ上に挿入軌跡を重畳することを特徴とする請求項１に記載の内視鏡システム。
  8. 　前記判定部は、前記撮像部先端の過去の位置と現在の位置との距離情報に基づいて通過の有無を判定することを特徴とする請求項１に記載の内視鏡システム。
  9. 　前記被検体に対して照射されたＸ線情報を取得するＸ線画像取得部と、
    　前記Ｘ線情報から所定の構造物を抽出する抽出部とを更に備え、
    　前記位置合わせ部は、前記所定の管腔臓器の３次元画像情報に対して前記所定の構造物を合わせ込み、
    　前記画像処理部は、前記所定の管腔臓器の３次元画像情報上に前記所定の構造物を重畳して表示させることを特徴とする請求項１に記載の内視鏡システム。
  10. 　前記判定部は、前記所定の構造物に対して前記撮像部の通過の有無を判定し、
    　前記画像処理部は、前記判定部が前記所定の構造物に対して前記撮像部が通過したと判定した場合、前記３次元画像情報上において前記所定の構造物の表示態様を変更した画像を作成することを特徴とする請求項９に記載の内視鏡システム。
PCT/JP2013/050381 2012-03-06 2013-01-11 内視鏡システム Ceased WO2013132880A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201380001435.1A CN103561628B (zh) 2012-03-06 2013-01-11 内窥镜系统
JP2013529489A JP5378628B1 (ja) 2012-03-06 2013-01-11 内視鏡システム
EP13757661.7A EP2700351A4 (en) 2012-03-06 2013-01-11 ENDOSCOPIC SYSTEM
US14/087,450 US8894566B2 (en) 2012-03-06 2013-11-22 Endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012049467 2012-03-06
JP2012-049467 2012-03-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/087,450 Continuation US8894566B2 (en) 2012-03-06 2013-11-22 Endoscope system

Publications (1)

Publication Number Publication Date
WO2013132880A1 true WO2013132880A1 (ja) 2013-09-12

Family

ID=49116367

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/050381 Ceased WO2013132880A1 (ja) 2012-03-06 2013-01-11 内視鏡システム

Country Status (5)

Country Link
US (1) US8894566B2 (ja)
EP (1) EP2700351A4 (ja)
JP (1) JP5378628B1 (ja)
CN (1) CN103561628B (ja)
WO (1) WO2013132880A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014050684A (ja) * 2012-08-08 2014-03-20 Toshiba Corp 医用画像診断装置、画像処理装置及び画像処理方法
WO2015046152A1 (ja) * 2013-09-27 2015-04-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2015049962A1 (ja) * 2013-10-02 2015-04-09 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2016098665A1 (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 医療機器システム、医療機器システムの作動方法
US10085705B2 (en) 2014-09-19 2018-10-02 Olympus Corporation Medical observation system
JP2020518366A (ja) * 2017-05-04 2020-06-25 ボストン サイエンティフィック サイムド，インコーポレイテッドＢｏｓｔｏｎ Ｓｃｉｅｎｔｉｆｉｃ Ｓｃｉｍｅｄ，Ｉｎｃ． 医療システム及びそれと関連した方法
US10918443B2 (en) 2014-07-15 2021-02-16 Olympus Corporation Navigation system and operation method of navigation system
JPWO2022107492A1 (ja) * 2020-11-17 2022-05-27
CN116211260A (zh) * 2023-05-09 2023-06-06 西南医科大学附属医院 一种基于变焦扫描的肾结石形态三维成像系统及方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106028903B (zh) * 2014-06-10 2018-07-24 奥林巴斯株式会社 内窥镜系统、内窥镜系统的工作方法
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
US11779192B2 (en) * 2017-05-03 2023-10-10 Covidien Lp Medical image viewer control from surgeon's camera
CN110740676B (zh) * 2017-06-15 2022-02-25 奥林巴斯株式会社 内窥镜系统、内窥镜图像处理方法以及记录介质
CN111937377B (zh) * 2018-04-09 2022-06-21 奥林巴斯株式会社 内窥镜业务辅助系统、内窥镜业务辅助方法和记录介质
CN109953776B (zh) * 2019-04-09 2023-11-17 江南大学 肾盂尿液微生态采集仪
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
CN115209783B (zh) * 2020-02-27 2026-03-03 奥林巴斯株式会社 处理装置、内窥镜系统以及摄像图像的处理方法
JP7254742B2 (ja) * 2020-03-26 2023-04-10 Hoya株式会社 プログラム、情報処理方法、情報処理装置及び診断支援システム
USD1051380S1 (en) 2020-11-17 2024-11-12 Adaptivendo Llc Endoscope handle
USD1070082S1 (en) 2021-04-29 2025-04-08 Adaptivendo Llc Endoscope handle
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle
JP7720190B2 (ja) * 2021-07-28 2025-08-07 株式会社エビデント 挿入支援システム、挿入支援方法、およびプログラム
USD1066659S1 (en) 2021-09-24 2025-03-11 Adaptivendo Llc Endoscope handle
CN117137410B (zh) * 2023-10-31 2024-01-23 广东实联医疗器械有限公司 医用内窥镜图像处理方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002200030A (ja) 2000-12-27 2002-07-16 Olympus Optical Co Ltd 内視鏡位置検出装置
JP2005312770A (ja) 2004-04-30 2005-11-10 Olympus Corp 超音波診断装置
JP2009056239A (ja) * 2007-09-03 2009-03-19 Olympus Medical Systems Corp 内視鏡装置
JP2009279251A (ja) 2008-05-23 2009-12-03 Olympus Medical Systems Corp 医療機器
WO2010122823A1 (ja) * 2009-04-20 2010-10-28 オリンパスメディカルシステムズ株式会社 被検体内検査システム
JP2012024518A (ja) * 2010-07-28 2012-02-09 Fujifilm Corp 内視鏡観察を支援する装置および方法、並びに、プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4009639B2 (ja) * 2002-07-31 2007-11-21 オリンパス株式会社 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム
US7697972B2 (en) * 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
JP2007508913A (ja) * 2003-10-21 2007-04-12 ザ ボード オブ トラスティーズ オブ ザ リーランド スタンフォード ジュニア ユニヴァーシティ 術中ターゲティングのシステムおよび方法
EP1691666B1 (en) * 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
WO2005082226A1 (ja) * 2004-02-27 2005-09-09 Olympus Corporation 内視鏡
US7889905B2 (en) * 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US7889227B2 (en) * 2005-09-15 2011-02-15 Siemens Aktiengesellschaft Intuitive user interface for endoscopic view visualization
US7824328B2 (en) * 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
US20100030063A1 (en) * 2008-07-31 2010-02-04 Medtronic, Inc. System and method for tracking an instrument
US8568302B2 (en) * 2008-11-11 2013-10-29 Intuitive Surgical Operations, Inc. Method and system for steerable medical device path definition and following during insertion and retraction
WO2010060039A2 (en) * 2008-11-21 2010-05-27 Mayo Foundation For Medical Education And Research Colonoscopy tracking and evaluation system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002200030A (ja) 2000-12-27 2002-07-16 Olympus Optical Co Ltd 内視鏡位置検出装置
JP2005312770A (ja) 2004-04-30 2005-11-10 Olympus Corp 超音波診断装置
JP2009056239A (ja) * 2007-09-03 2009-03-19 Olympus Medical Systems Corp 内視鏡装置
JP2009279251A (ja) 2008-05-23 2009-12-03 Olympus Medical Systems Corp 医療機器
WO2010122823A1 (ja) * 2009-04-20 2010-10-28 オリンパスメディカルシステムズ株式会社 被検体内検査システム
JP2012024518A (ja) * 2010-07-28 2012-02-09 Fujifilm Corp 内視鏡観察を支援する装置および方法、並びに、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2700351A4

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014050684A (ja) * 2012-08-08 2014-03-20 Toshiba Corp 医用画像診断装置、画像処理装置及び画像処理方法
WO2015046152A1 (ja) * 2013-09-27 2015-04-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
CN105530852A (zh) * 2013-09-27 2016-04-27 奥林巴斯株式会社 内窥镜系统
JP5993515B2 (ja) * 2013-09-27 2016-09-14 オリンパス株式会社 内視鏡システム
CN105530852B (zh) * 2013-09-27 2017-08-25 奥林巴斯株式会社 内窥镜系统
US10413157B2 (en) 2013-09-27 2019-09-17 Olympus Corporation Endoscope system with image pasting on planar model
WO2015049962A1 (ja) * 2013-10-02 2015-04-09 オリンパスメディカルシステムズ株式会社 内視鏡システム
JPWO2015049962A1 (ja) * 2013-10-02 2017-03-09 オリンパス株式会社 内視鏡システム
US9662042B2 (en) 2013-10-02 2017-05-30 Olympus Corporation Endoscope system for presenting three-dimensional model image with insertion form image and image pickup image
US10918443B2 (en) 2014-07-15 2021-02-16 Olympus Corporation Navigation system and operation method of navigation system
US10085705B2 (en) 2014-09-19 2018-10-02 Olympus Corporation Medical observation system
US10694929B2 (en) 2014-12-15 2020-06-30 Olympus Corporation Medical equipment system and operation method of medical equipment system
WO2016098665A1 (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 医療機器システム、医療機器システムの作動方法
US12082882B2 (en) 2017-05-04 2024-09-10 Boston Scientific Scimed, Inc. Medical systems and related methods
US12594124B2 (en) 2017-05-04 2026-04-07 Boston Scientific Scimed, Inc. Medical systems and related methods
JP2020518366A (ja) * 2017-05-04 2020-06-25 ボストン サイエンティフィック サイムド，インコーポレイテッドＢｏｓｔｏｎ Ｓｃｉｅｎｔｉｆｉｃ Ｓｃｉｍｅｄ，Ｉｎｃ． 医療システム及びそれと関連した方法
JP2023076486A (ja) * 2017-05-04 2023-06-01 ボストン サイエンティフィック サイムド，インコーポレイテッド 医療システム及びそれと関連した方法
JP7613813B2 (ja) 2017-05-04 2025-01-15 ボストン サイエンティフィック サイムド，インコーポレイテッド 医療システム及びそれと関連した方法
JP7580694B2 (ja) 2017-05-04 2024-11-12 ボストン サイエンティフィック サイムド，インコーポレイテッド 医療システム及びそれと関連した方法
WO2022107492A1 (ja) * 2020-11-17 2022-05-27 富士フイルム株式会社 プロセッサ装置、プロセッサ装置の作動方法、プロセッサ装置用プログラム、及び内視鏡システム
CN116507261A (zh) * 2020-11-17 2023-07-28 富士胶片株式会社 处理器装置、处理器装置的工作方法、处理器装置用程序及内窥镜系统
JP7766618B2 (ja) 2020-11-17 2025-11-10 富士フイルム株式会社 プロセッサ装置、プロセッサ装置の作動方法、プロセッサ装置用プログラム、及び内視鏡システム
US12569116B2 (en) 2020-11-17 2026-03-10 Fujifilm Corporation Processor device, operation method of processor device, non-transitory computer readable medium, and endoscope system for displaying movement trajectory of endoscope
JPWO2022107492A1 (ja) * 2020-11-17 2022-05-27
CN116211260B (zh) * 2023-05-09 2023-07-21 西南医科大学附属医院 一种基于变焦扫描的肾结石形态三维成像系统及方法
CN116211260A (zh) * 2023-05-09 2023-06-06 西南医科大学附属医院 一种基于变焦扫描的肾结石形态三维成像系统及方法

Also Published As

Publication number Publication date
JP5378628B1 (ja) 2013-12-25
CN103561628B (zh) 2016-08-17
JPWO2013132880A1 (ja) 2015-07-30
US20140088357A1 (en) 2014-03-27
CN103561628A (zh) 2014-02-05
US8894566B2 (en) 2014-11-25
EP2700351A4 (en) 2015-07-29
EP2700351A1 (en) 2014-02-26

Similar Documents

Publication Publication Date Title
JP5378628B1 (ja) 内視鏡システム
CN103068294B (zh) 医疗设备
JP5918548B2 (ja) 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
JP4728456B1 (ja) 医療機器
JP6371729B2 (ja) 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
US9641808B2 (en) Navigating attachment for optical devices in medicine, and method
EP2904958A1 (en) Endoscopic system
CN106659365B (zh) 导航系统、导航系统的工作方法
KR101478623B1 (ko) 니들의 가이드 라인을 제공하는 초음파 시스템 및 방법
US9918614B2 (en) Endoscope system with angle-of-view display information overlapped on three-dimensional image information
US9345394B2 (en) Medical apparatus
US10085705B2 (en) Medical observation system
JP2006149482A (ja) 超音波診断装置
JP2013255735A (ja) 内視鏡システムおよび内視鏡画像生成方法
JPWO2016039292A1 (ja) 内視鏡システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013529489

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13757661

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE