WO2023152829A1 - 支援システム、支援装置、被支援装置 - Google Patents

支援システム、支援装置、被支援装置 Download PDF

Info

Publication number
WO2023152829A1
WO2023152829A1 PCT/JP2022/005122 JP2022005122W WO2023152829A1 WO 2023152829 A1 WO2023152829 A1 WO 2023152829A1 JP 2022005122 W JP2022005122 W JP 2022005122W WO 2023152829 A1 WO2023152829 A1 WO 2023152829A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
annotation
instructor
unit
instruction content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/005122
Other languages
English (en)
French (fr)
Inventor
貴皓 菅野
脩登 正野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Riverfield Inc
Original Assignee
Riverfield Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Riverfield Inc filed Critical Riverfield Inc
Priority to CN202280077469.8A priority Critical patent/CN118284382A/zh
Priority to PCT/JP2022/005122 priority patent/WO2023152829A1/ja
Priority to EP22925850.4A priority patent/EP4470496A4/en
Priority to JP2023543415A priority patent/JP7401157B1/ja
Publication of WO2023152829A1 publication Critical patent/WO2023152829A1/ja
Priority to US18/773,703 priority patent/US20240371063A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles

Definitions

  • the present invention relates to a technique for a practitioner to be remotely instructed by an instructor.
  • a support system is known that allows a practitioner to perform a treatment on a patient while receiving instructions from a remote instructor.
  • This support system is used, for example, when an inexperienced surgeon (practitioner) performs an operation under the guidance of an experienced instructor (instructor).
  • a monitor that displays an image captured by an endoscope inserted into a patient (hereinafter referred to as an endoscopic image) is installed at a remote location, and an instructor at the remote location is provided.
  • the doctor inputs instructions while observing the endoscopic image displayed on the monitor.
  • a composite image obtained by superimposing the instructions input by the supervising doctor at a remote location on the endoscopic image is displayed, and the surgeon receives instructions from the supervising doctor at a remote location. Operate on a patient.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a support system that enables a remote instructor to provide appropriate support to a practitioner.
  • a support system is a support system comprising a device to be supported and a support device provided apart from the device to be supported, wherein the support device detects an instructor's instruction content in three dimensions. and a data transmission unit for transmitting instruction content information indicating the instruction content detected by the three-dimensional position detection unit, wherein the supported device receives the transmitted instruction content information.
  • a first image generating unit for generating a three-dimensional annotation image indicating the instruction content of the instructor; and a first image synthesizing unit that generates
  • the instruction content of the instructor at the remote location is displayed in three dimensions. Therefore, the practitioner can more accurately understand the instructions given by the instructor.
  • a remote leader can provide appropriate support to the practitioner.
  • FIG. 10 is a diagram showing a synthesized image in which a hand model image is superimposed on an endoscopic image
  • FIG. 10 is a diagram showing a synthesized image obtained by superimposing a hand model image and an annotation image on an endoscopic image
  • FIG. 10 is a diagram showing a synthesized image in which an annotation image is superimposed on an endoscopic image
  • It is a block diagram which shows an example of a structure of a treatment side apparatus.
  • It is a block diagram which shows an example of a structure of the guidance side apparatus.
  • FIG. 10 is a diagram showing the functional composition of a support system in a 1st embodiment, and the flow of data.
  • FIG. 10 is a diagram showing a synthesized image in which a hand model image is superimposed on an endoscopic image
  • FIG. 10 is a diagram showing a synthesized image obtained by superimposing a hand model image and an annotation image on an endoscopic image
  • FIG. 10 is a diagram showing a synthesized image in which an annotation
  • FIG. 4 is a diagram for explaining a three-dimensional virtual space when generating a three-dimensional hand model image; It is a figure explaining the generation method of a three-dimensional hand model image.
  • FIG. 4 is a diagram for explaining a three-dimensional virtual space when generating a three-dimensional hand model image and an annotation image;
  • FIG. 4 is a diagram for explaining a method of generating a 3D hand model image and an annotation image;
  • FIG. 4 is a diagram for explaining a three-dimensional virtual space when generating a three-dimensional annotation image; It is a figure explaining the generation method of a three-dimensional annotation image.
  • FIG. 4 is a diagram for explaining a three-dimensional virtual space when generating a three-dimensional hand model image; It is a figure explaining the generation method of a three-dimensional annotation image.
  • FIG. 10 is a diagram showing a composite image obtained by superimposing a hand model image and an annotation image based on 3D image data on a composite image based on treatment-side composite image data;
  • FIG. 10 is a diagram illustrating a method of generating a three-dimensional annotation image during parallax adjustment; It is a figure explaining the functional structure of the support system in 2nd Embodiment, and the flow of data.
  • FIG. 1 is a diagram for explaining the support system 1.
  • FIG. 2 is a diagram showing an endoscopic image 50.
  • FIG. 3 is a diagram showing a synthesized image 53 in which a hand model image 51 is superimposed on an endoscopic image 50.
  • FIG. 4 is a diagram showing a composite image 54 obtained by superimposing a hand model image 51 and an annotation image 52 on an endoscopic image 50.
  • FIG. 5 is a diagram showing a synthesized image 55 in which an annotation image 52 is superimposed on the endoscopic image 50.
  • FIG. 1 is a diagram for explaining the support system 1.
  • FIG. FIG. 2 is a diagram showing an endoscopic image 50.
  • FIG. 3 is a diagram showing a synthesized image 53 in which a hand model image 51 is superimposed on an endoscopic image 50.
  • FIG. 4 is a diagram showing a composite image 54 obtained by superimposing a hand model image 51 and an annotation image 52 on an endoscopic image 50.
  • FIG. 5 is a diagram showing a synthesized
  • the hand model image 51 and the annotation image 52 are actually 3D (three-dimensional) images, they are shown as 2D (two-dimensional) images in FIGS.
  • the endoscopic image 50 may be a 3D image or a 2D image, but is shown as a 2D image in FIGS.
  • the support system 1 includes a treatment-side device 2 used by a practitioner 4 in an operating room Rm1, and a guidance-side device 3 used by a trainer 6 in a guidance room Rm2 separated from the operating room Rm1. and Therefore, the treatment-side device 2 and the instruction-side device 3 are separated from each other.
  • the practitioner 4 is a surgeon of the patient 5, and the instructor 6 is a preceptor who instructs the practitioner 4.
  • the practitioner 4 confirms the instruction by the instructor 6.
  • An operation can be performed on the patient 5 while
  • the treatment-side device 2 includes an endoscope 11 and a 3D monitor 12.
  • the instructor device 3 includes a 3D monitor 21 and a 3D position detector 22 .
  • the 3D monitor 12 and the 3D monitor 21 are flat panels such as LCD (Liquid Crystal Display), and polarizing filters with different polarization directions are alternately superimposed on odd-numbered lines (horizontal pixel columns) and even-numbered lines. It is a monitor capable of displaying a 3D (three-dimensional) image by a so-called line-by-line method.
  • the 3D monitor 12 and the 3D monitor 21 for example, right-rotating circular polarizing filters are superimposed on odd-numbered lines, and left-handed circular polarizing filters are superimposed on even-numbered lines.
  • the practitioner 4 wears polarized glasses 7 and views the 3D monitor 12 .
  • the polarizing glasses 7 are attached with polarizing filters having different polarizing directions for the right eye side and the left eye side.
  • the polarizing glasses 7 have, for example, a right-hand circular polarizing filter attached to the right eye side and a left-hand circular polarizing filter attached to the left eye side.
  • the right eye sees only the images of the odd-numbered lines, and the left eye sees only the images of the even-numbered lines.
  • the instructor 6 wears the polarizing glasses 7 and views the 3D monitor 21
  • the right eye sees only the images of the odd-numbered lines, and the left eye sees only the images of the even-numbered lines. appear.
  • the 3D monitor 12 and the 3D monitor 21 show different images (parallax images) to the right and left eyes of the operator 4 and the instructor 6 through the polarizing glasses 7, respectively, so that the 3D image can be viewed. is possible.
  • the 3D monitor 12 and the 3D monitor 21 can also show the practitioner 4 and the instructor 6 a 2D image by displaying the same image on the odd-numbered lines and the even-numbered lines.
  • the endoscope 11 is inserted into the body cavity of the patient 5 in the treatment-side device 2, for example, so that an endoscope image 50 inside the body cavity as shown in FIG. 2 is displayed on the 3D monitor 12. be.
  • the practitioner 4 can confirm the endoscopic image 50 on the 3D monitor 12 .
  • the endoscope image 50 may be a 3D image or a 2D image.
  • the endoscopic image 50 is also displayed on the 3D monitor 21 of the instruction-side device 3 in the instruction room Rm2.
  • the instructor 6 can check the endoscopic image 50 on the 3D monitor 21 while staying in the instruction room Rm2.
  • the instruction-side device 3 can three-dimensionally detect the position (coordinates) of the hand of the instructor 6 by means of the three-dimensional position detection unit 22, as will be described later in detail. Based on the position of the hand of the instructor 6 detected by the three-dimensional position detection unit 22, the instructor-side device 3 displays a three-dimensional hand model image 51 imitating the hand of the instructor 6 on the endoscope image 50. indicate. That is, the instruction-side device 3 displays on the 3D monitor 21 a composite image 53 in which the hand model image 51 is superimposed on the endoscopic image 50 as shown in FIG. As a result, the instructor 6 can input instructions while three-dimensionally confirming the movement of his/her own hand with respect to the endoscopic image 50 using the hand model image 51 .
  • the instructor-side device 3 it is possible to operate and input instruction contents by a predetermined movement (gesture) of the instructor 6's hand detected by the three-dimensional position detection unit 22. According to the input, the instructor-side device 3 displays an annotation image 52 indicating the content of the instruction (operation input) of the instructor 6 on the endoscopic image 50 .
  • the instruction-side device 3 displays on the 3D monitor 21 a composite image 54 in which the hand model image 51 and the annotation image 52 are superimposed on the endoscope image 50 as shown in FIG.
  • the instructor 6 can three-dimensionally confirm the contents of his or her instructions for the endoscopic image 50 by means of the annotation image 52 .
  • the treatment-side device 2 displays on the 3D monitor 12 a composite image 55 in which an annotation image 52 is superimposed on an endoscopic image 50 as shown in FIG.
  • the operator 4 can operate the patient 5 while three-dimensionally confirming the contents of the instruction of the instructor 6 displayed on the 3D monitor 12 .
  • FIG. 6 is a block diagram showing an example of the configuration of the treatment-side device 2.
  • the treatment-side device 2 includes a CPU (Central Processing Unit) 13, a ROM (Read Only Memory) 14, a RAM (Random Access Memory) 15, a GPU ( This configuration includes a computer having a graphics processing unit) 16 .
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • GPU This configuration includes a computer having a graphics processing unit 16 .
  • the CPU 13 executes various processes according to programs stored in the ROM 14 or storage unit 19 .
  • the RAM 15 also stores data necessary for the CPU 13 to execute various processes.
  • the GPU 16 performs drawing processing (for example, shader processing) using 3D computer graphics according to the drawing command from the CPU 13, and stores the image after the drawing processing in a frame buffer (not shown). The GPU 16 then outputs the image stored in the frame buffer to the 3D monitor 12 .
  • drawing processing for example, shader processing
  • the CPU 13, ROM 14, RAM 15 and GPU 16 are interconnected via a bus 17.
  • An endoscope 11 , a 3D monitor 12 , a communication section 18 and a storage section 19 are also connected to the bus 17 .
  • the communication unit 18 performs wired or wireless communication with the instructor device 3 .
  • the storage unit 19 is composed of a storage medium such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive). For example, various information can be stored in the storage unit 19 .
  • the storage unit 19 can also be used to store program data for the CPU 13 to execute various processes.
  • FIG. 7 is a block diagram showing an example of the configuration of the instruction-side device 3.
  • the instructor device 3 includes a computer having a CPU 23, a ROM 24, a RAM 25, and a GPU 26 in addition to the 3D monitor 21 and the three-dimensional position detector 22.
  • FIG. 7 is a block diagram showing an example of the configuration of the instruction-side device 3.
  • the instructor device 3 includes a computer having a CPU 23, a ROM 24, a RAM 25, and a GPU 26 in addition to the 3D monitor 21 and the three-dimensional position detector 22.
  • FIG. 7 is a block diagram showing an example of the configuration of the instruction-side device 3.
  • the instructor device 3 includes a computer having a CPU 23, a ROM 24, a RAM 25, and a GPU 26 in addition to the 3D monitor 21 and the three-dimensional position detector 22.
  • FIG. 7 is a block diagram showing an example of the configuration of the instruction-side device 3.
  • the instructor device 3 includes a computer having a CPU 23, a ROM 24, a RAM 25, and
  • the CPU 23 executes various processes according to programs stored in the ROM 24 or the storage unit 29 .
  • the RAM 25 also stores data necessary for the CPU 23 to execute various processes.
  • the GPU 26 performs drawing processing (for example, shader processing) using 3D computer graphics according to drawing commands from the CPU 23, and stores the image after the drawing processing in a frame buffer (not shown). The GPU 26 then outputs the image stored in the frame buffer to the 3D monitor 21 .
  • drawing processing for example, shader processing
  • the CPU 23, ROM 24, RAM 25 and GPU 26 are interconnected via a bus 27.
  • a 3D monitor 21 , a three-dimensional position detection unit 22 , a communication unit 28 and a storage unit 29 are also connected to the bus 27 .
  • the communication unit 28 performs wired or wireless communication with the treatment-side device 2 .
  • the storage unit 29 is composed of a storage medium such as an HDD or SSD. For example, various information can be stored in the storage unit 29 .
  • the storage unit 29 can also be used to store program data for the CPU 23 to execute various processes.
  • FIG. 8 is a diagram for explaining the functional configuration and data flow of the support system 1 in the first embodiment.
  • the GPU 16 of the treatment-side device 2 functions as an image generator 31 and an image synthesizer 32 .
  • the communication unit 18 of the treatment-side device 2 functions as a data transmission unit 33 .
  • the communication unit 28 of the instruction-side device 3 functions as a data transmission unit 41. Also, the GPU 26 of the instruction-side device 3 functions as an image generator 42 and an image synthesizer 43 .
  • the endoscope 11 has an imaging device, performs predetermined signal processing on the captured image signal obtained by the imaging device, generates an endoscopic image 50, and image data of the endoscopic image 50 (hereinafter referred to as endoscopic image data). (referred to as mirror image data Id) is output to the image synthesizing unit 32 .
  • endoscopic image data is a 3D image
  • the endoscope 11 has two imaging elements, and the two endoscopic images 50 (parallax image) will be generated.
  • the image generating unit 31 generates an annotation image 52 based on the instruction content information CI transmitted from the instruction-side device 3, and the image data of the annotation image 52 (hereinafter referred to as 3D image data Pd1) is sent to the image synthesizing unit. 32.
  • the instruction content information CI includes information such as coordinates, line type, color, and line width designated by operation input.
  • the image synthesizing unit 32 synthesizes an image based on various types of input image data.
  • the image synthesizing unit 32 generates a synthesized image 55 by synthesizing an endoscopic image 50 based on the endoscopic image data Id and an annotation image 52 based on the 3D image data Pd1.
  • the image synthesizing unit 32 then outputs the image data of the synthetic image 55 (hereinafter referred to as treatment-side synthetic image data Cd1) to the data transmitting unit 33 and the 3D monitor 12 .
  • treatment-side synthetic image data Cd1 the image data of the synthetic image 55
  • the image synthesizing unit 32 outputs the endoscope image data Id to the data transmitting unit 33 and the 3D monitor 12 without generating the synthesized image 55 .
  • the 3D monitor 12 displays the endoscopic image 50 and the synthesized image 55 .
  • the data transmission unit 33 transmits various data to the instructor device 3.
  • the data transmission unit 33 transmits the endoscopic image data Id input from the image synthesizing unit 32 and the treatment-side synthetic image data Cd1.
  • the three-dimensional position detection unit 22 includes a sensor that three-dimensionally measures the position (coordinates) of the hand of the instructor 6, and is, for example, a Leap Motion Controller manufactured by Ultraleap.
  • the three-dimensional position detection unit 22 has an infrared irradiation unit, a stereo infrared camera, and the like. Acquire stereo infrared images.
  • the three-dimensional position detection unit 22 performs image analysis on the obtained stereo infrared image to determine the positions of the joints of the hands (fingers, palms, etc.) of the instructor 6 and the tips of the fingers in the three-dimensional space. Positions (hereinafter referred to simply as positions of hands of instructor 6) are detected in three dimensions. Note that the position here is a position indicated by three-dimensional coordinates with reference to a predetermined origin position.
  • the three-dimensional position detection unit 22 three-dimensionally detects the instruction content of the instructor 6 based on the position information PI (operation input). For example, when the three-dimensional position detection unit 22 detects a gesture in which the tip of the thumb and the tip of the index finger of the leader 6 are in contact based on the detected position information PI, the tip of the thumb and the tip of the index finger Detects the trajectory of movement while in contact with the device as the instruction content.
  • the three-dimensional position detection unit 22 outputs position information PI indicating the detected position of the hand of the instructor 6 to the image generation unit 42, and outputs instruction content information CI indicating the detected instruction content of the instructor 6 to the image generation unit. 42 and the data transmission unit 41 .
  • the data transmission unit 41 transmits various data to the treatment-side device 2 .
  • the data transmission section 41 transmits the instruction content information CI input from the three-dimensional position detection section 22 .
  • the image generation unit 42 generates a hand model image 51 or a hand model image 51 and an annotation image 52 based on the position information PI and the instruction content information CI input from the three-dimensional position detection unit 22, and generates these images.
  • Data (hereinafter referred to as 3D image data Pd2) is output to the image synthesizing section 43 .
  • the image synthesizing unit 43 synthesizes an image based on various types of input image data. For example, the image synthesizing unit 43 synthesizes the hand model image 51 based on the 3D image data Pd2 or the hand model image 51 and the annotation image 52 with the endoscopic image 50 based on the endoscopic image data Id. Images 53, 54 are generated. Then, the image synthesizing unit 43 outputs image data of the synthesized images 53 and 54 thus generated (hereinafter referred to as instruction-side synthesized image data Cd2) to the 3D monitor 21 . Note that the image composition unit 43 outputs the endoscope image data Id to the 3D monitor 21 without generating the composite images 53 and 54 when the 3D image data Pd2 is not input.
  • the 3D monitor 21 displays an endoscope image 50 and synthesized images 53 and 54 .
  • the endoscope image data Id obtained by the endoscope 11 is input to the image synthesizing unit 32 of the treatment-side device 2 .
  • the image synthesis unit 32 outputs the endoscope image data Id to the 3D monitor 12 and the data transmission unit 33 when the 3D image data Pd1 is not input from the image generation unit 31 .
  • the 3D monitor 12 displays an endoscopic image 50 based on the endoscopic image data Id (see FIG. 2). Thereby, the operator 4 can operate while observing the condition inside the body cavity of the patient 5 on the 3D monitor 12 .
  • the data transmission unit 33 transmits the endoscopic image data Id input from the image synthesizing unit 32 to the teaching device 3 .
  • the image synthesizing unit 43 in the instruction-side device 3 receives the endoscopic image data Id from the treatment-side device 2 (data transmission unit 33).
  • the image synthesizing unit 43 outputs the endoscope image data Id to the 3D monitor 21 when the 3D image data Pd2 is not input from the image generating unit 42 .
  • the 3D monitor 21 displays an endoscopic image 50 based on the endoscopic image data Id (see FIG. 2).
  • the instructor 6 can share the viewpoint with the operator 4 who is in the operating room Rm1 while being in the instruction room Rm2, and can observe the state of the body cavity of the patient 5 and the situation of the operation by the operator 4. be able to.
  • the instructor 6 moves his/her hand within the detection range of the 3D position detection unit 22 while confirming the endoscope image 50 on the 3D monitor 21 .
  • the three-dimensional position detection unit 22 detects the position of the hand of the instructor 6 and outputs position information PI to the image generation unit 42 .
  • the image generation unit 42 When the position information PI is input from the three-dimensional position detection unit 22 to the image generation unit 42, the image generation unit 42 generates a three-dimensional hand model image 51 (see FIG. 3) based on the input position information PI. do.
  • FIG. 9 is a diagram for explaining the three-dimensional virtual space when the three-dimensional hand model image 51 is generated.
  • 10A and 10B are diagrams for explaining a method for generating the three-dimensional hand model image 51.
  • FIG. Based on the position information PI input from the three-dimensional position detection unit 22, the image generation unit 42 generates a hand model 63 (polygon ).
  • a right-eye virtual camera 61 is arranged at a position corresponding to the right eye
  • a left-eye virtual camera 62 is arranged at a position corresponding to the left eye.
  • the image generating unit 42 captures the three-dimensional virtual space 60 with the right-eye virtual camera 61 and the left-eye virtual camera 62 to generate a right-eye virtual image 71 and a left-eye virtual image 71 as shown in the upper part of FIG. A virtual image 72 is generated respectively.
  • patterns hatchching, dots, etc.
  • These patterns are not present in the right-eye virtual image 71 and left-eye virtual image 72 .
  • the right-eye virtual image 71 and the left-eye virtual image 72 have the same number of pixels in the horizontal direction as the number of pixels in the 3D monitor 21, and the number of pixels in the vertical direction is half the number of pixels in the 3D monitor 21. ing.
  • the image generation unit 42 After generating the right-eye virtual image 71 and the left-eye virtual image 72, the image generation unit 42 generates the right-eye virtual image 71 and the left-eye virtual image 72 for each horizontal line as shown in the lower part of FIG. Alternately arranged hand model images 51 are generated. That is, the image generation unit 42 generates the three-dimensional hand model image 51 by a line-by-line method. The image generator 42 then outputs the 3D image data Pd2 of the hand model image 51 to the image synthesizer 43 .
  • the 3D monitor 21 is a monitor capable of displaying a 3D image by a so-called line-by-line method in which different polarizing filters are alternately superimposed on odd-numbered lines and even-numbered lines.
  • the instructor 6 wearing the polarizing glasses 7 can see only the right-eye virtual image 71 with the right eye, Only the eye virtual image 72 will be visible to the left eye. Then, the right-eye virtual image 71 and the left-eye virtual image 72 are virtually captured by the right-eye virtual camera 61 and the left-eye virtual camera 62, which are horizontally separated in the three-dimensional virtual space 60, respectively. Since it is a captured image, it is a so-called parallax image.
  • the instructor 6 can view the hand model image 51 three-dimensionally by viewing the right-eye virtual image 71 with the right eye and viewing the left-eye virtual image 72 with the left eye.
  • the image synthesizing unit 43 adds a hand model based on the 3D image data Pd2 supplied from the image generating unit 42 to the endoscopic image 50 based on the endoscopic image data Id received from the treatment-side device 2 (data transmitting unit 33).
  • a composite image 53 is generated by superimposing the image 51 .
  • the image synthesizing unit 43 outputs the instruction-side synthetic image data Cd2 of the generated synthetic image 53 to the 3D monitor 21 .
  • the synthesized image 53 is displayed on the 3D monitor 21 based on the instruction side synthesized image data Cd2 input from the image synthesizing section 43.
  • the instructor 6 can three-dimensionally confirm the position (movement) of his/her hand with respect to the endoscopic image 50 .
  • the three-dimensional position detection unit 22 detects the predetermined movement as instruction content.
  • the three-dimensional position detection unit 22 then outputs instruction content information CI indicating the detected instruction content to the data transmission unit 41 and the image generation unit 42 .
  • the image generation unit 42 receives the position information PI and the instruction content information CI from the three-dimensional position detection unit 22. , a three-dimensional hand model image 51 and annotation image 52 (see FIG. 4) are generated.
  • FIG. 11 is a diagram for explaining the three-dimensional virtual space when the three-dimensional hand model image 51 and annotation image 52 are generated.
  • 12A and 12B are diagrams for explaining a method of generating the three-dimensional hand model image 51 and the annotation image 52.
  • FIG. 9 and 10 are the same, so description thereof will be omitted.
  • the image generation unit 42 arranges a hand model 63 in the three-dimensional virtual space 60 based on the position information PI, and creates an instruction content model 64 representing instruction content based on the instruction content information CI. Place (polygon).
  • the image generating unit 42 captures the three-dimensional virtual space 60 with the right-eye virtual camera 61 and the left-eye virtual camera 62 to generate a right-eye virtual image 73 and a left-eye virtual image 73 as shown in the upper part of FIG. A virtual image 74 is obtained respectively.
  • the image generation unit 42 After generating the right-eye virtual image 73 and the left-eye virtual image 74, the image generation unit 42 generates the right-eye virtual image 73 and the left-eye virtual image 74 for each horizontal line as shown in the lower part of FIG. Alternately arranged hand model images 51 and annotation images 52 are generated. That is, the image generator 42 generates the three-dimensional hand model image 51 and the annotation image 52 in a line-by-line manner. The image generator 42 then outputs the 3D image data Pd2 of the hand model image 51 and the annotation image 52 to the image synthesizer 43 .
  • the image synthesizing unit 43 adds a hand model based on the 3D image data Pd2 input from the image generating unit 42 to the endoscopic image 50 based on the endoscopic image data Id received from the treatment-side device 2 (data transmitting unit 33).
  • a composite image 54 is generated by superimposing the image 51 and the annotation image 52 .
  • the image synthesizing unit 43 outputs the instruction-side synthetic image data Cd2 of the generated synthetic image 54 to the 3D monitor 21 .
  • the synthetic image 54 is displayed on the 3D monitor 21 based on the instructor-side synthetic image data Cd2 input from the image synthesizing section 43.
  • the instructor 6 can three-dimensionally confirm the instruction content input by a predetermined movement (gesture) of his/her own hand.
  • the image generation unit 42 generates the hand model image 51 and the annotation image 52 using shader processing of the GPU 26. Therefore, the instructor device 3 can display the synthesized images 53 and 54 on the 3D monitor 21 at, for example, 60 Hz, and the delay time until the synthesized images 53 and 54 are displayed is extremely short. That is, the synthesized images 53 and 54 are displayed on the 3D monitor 21 with little time lag.
  • the instructor 6 can confirm the position of his own hand and the content of instructions (operation input) in three dimensions without feeling a time lag.
  • the data transmission unit 41 also transmits the instruction content information CI input from the three-dimensional position detection unit 22 to the treatment-side device 2 .
  • instruction content information CI having a smaller communication capacity than the 3D image data Pd2 generated by the image generation unit 42 is transmitted, thereby transmitting data from the guidance-side device 3 to the treatment-side device 2. Reduces communication delays when
  • the image generation unit 31 in the treatment-side device 2 receives instruction content information CI from the guidance-side device 3 (data transmission unit 41).
  • the image generator 31 generates a three-dimensional annotation image 52 (see FIG. 5) based on the received instruction content information CI.
  • FIG. 13 is a diagram for explaining the three-dimensional virtual space when generating the three-dimensional annotation image 52.
  • FIG. 14A and 14B are diagrams for explaining a method of generating the three-dimensional annotation image 52.
  • FIG. 9 to 12 are the same, description thereof will be omitted.
  • the image generator 31 arranges the instruction content model 64 in the three-dimensional virtual space 60 as shown in FIG.
  • the image generation unit 31 captures the three-dimensional virtual space 60 with the right-eye virtual camera 61 and the left-eye virtual camera 62 to generate a right-eye virtual image 75 and a left-eye virtual image 75 as shown in the upper part of FIG. A virtual image 76 is obtained respectively.
  • the image generation unit 31 After generating the right-eye virtual image 75 and the left-eye virtual image 76, the image generation unit 31 generates the right-eye virtual image 75 and the left-eye virtual image 76 for each horizontal line as shown in the lower part of FIG. Alternating annotation images 52 are generated. That is, the image generation unit 31 generates the three-dimensional annotation image 52 by a line-by-line method. The image generator 31 then outputs the 3D image data Pd1 of the annotation image 52 to the image synthesizer 32 .
  • the image synthesizing unit 32 superimposes (synthesizes) an annotation image 52 based on the 3D image data Pd1 input from the image generating unit 31 on the endoscopic image 50 based on the endoscopic image data Id input from the endoscope 11. ) to generate a combined image 55 .
  • the image synthesizing unit 32 then outputs treatment-side synthetic image data Cd1 of the generated synthetic image 55 to the 3D monitor 12 and the data transmitting unit 33 .
  • the composite image 55 is displayed on the 3D monitor 12 based on the treatment-side composite image data Cd1 input from the image synthesizing section 32.
  • the practitioner 4 can three-dimensionally confirm the instruction content of the instructor 6 .
  • the image generation unit 31 generates the annotation image 52 using the shader processing of the GPU 16. Therefore, the treatment-side device 2 can display the composite image 55 on the 3D monitor 12 at, for example, 60 Hz, and the delay time until the display of the composite image 55 is extremely short. That is, the synthesized image 55 is displayed on the 3D monitor 12 with little time lag.
  • the operator 4 in the operating room Rm1 can operate on the patient 5 while checking the instruction content of the instructor 6 in the guidance room Rm2 on the 3D monitor 12 without feeling a time lag.
  • the data transmission unit 33 transmits the treatment-side synthetic image data Cd1 input from the image synthesis unit 32 to the instruction-side device 3.
  • FIG. 15 is a diagram showing a composite image 56 in which the hand model image 51 and the annotation image 52 based on the 3D image data Pd2 are superimposed on the composite image 55 based on the treatment-side composite image data Cd1.
  • the image synthesizing unit 43 When receiving the treatment-side composite image data Cd1 from the treatment-side device 2 (data transmission unit 33), the image synthesizing unit 43 generates a composite image 55 (endoscopic image) based on the treatment-side composite image data Cd1, as shown in FIG. 50 and the annotation image 52), the hand model image 51 and the annotation image 52 based on the 3D image data Pd2 input from the image generation unit 42 are superimposed to generate a composite image 56.
  • the image synthesizing unit 43 outputs the instruction-side synthetic image data Cd2 of the generated synthetic image 56 to the 3D monitor 21 .
  • the 3D monitor 21 displays a composite image 56 based on the generated instruction-side composite image data Cd2.
  • the instructor 6 can three-dimensionally confirm on the 3D monitor 21 whether or not the annotation images 52 displayed based on the treatment-side combined image data Cd1 and the 3D image data Pd2 are aligned.
  • the instructor 6 can confirm the deviation of the annotation image 52 as shown in FIG. 15 on the 3D monitor 21, for example.
  • the image generator 42 displays the annotation image 52 based on the 3D image data Pd2 differently from the annotation image 52 based on the treatment-side combined image data Cd1 (3D image data Pd1).
  • the composite image 56 may be generated in such a manner that the For example, as shown in FIG. 15, by displaying the annotation image 52 based on the 3D image data Pd2 with a dashed line, the annotation image 52 based on the treatment-side composite image data Cd1 (3D image data Pd1) is displayed (solid line). It can be displayed on the 3D monitor 21 separately.
  • displaying and confirming both the annotation image 52 based on the treatment-side combined image data Cd1 (3D image data Pd1) and the annotation image 52 based on the 3D image data Pd2 has the following meaning.
  • the instruction content information CI transmitted from the instructor-side device 3 may be partially lost when it is received by the treatment-side device 2 due to factors such as communication failure, or may be set between the devices (2, 3). , and the difference in resolution between the 3D monitors 12 and 21 is not adjusted, and the display coordinates of the annotation image 52 and the like may be misaligned. In this case, an image such as that shown in FIG. 15 may be displayed on the 3D monitor 21 due to the deviation of the display coordinates.
  • the image generation unit 31 of the treatment-side apparatus 2 normally generates an annotation image 52 as shown in FIG. 5 based on the received instruction content information CI.
  • 3D image data Pd1 in which only a portion of the annotation image 52 is displayed (hereinafter also referred to as missing 3D image data Pd1) is generated due to a partial loss of the instruction content information CI.
  • the image synthesizing unit 32 synthesizes the annotation image 52 based on the missing 3D image data Pd1 and the endoscopic image 50 based on the endoscopic image data Id.
  • a composite image 55 is generated in which only the parts are superimposed.
  • the 3D monitor 12 displays a composite image 55 in which a part of the annotation image 52 is missing.
  • the instruction content of the instructor 6 is not accurately reflected on the 3D monitor 12, and the practitioner 4 performs the treatment without grasping all of the instruction content of the instructor 6.
  • the instruction-side device 3 synthesizes the composite image 55 based on the treatment-side composite image data Cd1 received from the treatment-side device 2 and the annotation image 52 based on the 3D image data Pd2 input from the image generation unit 42. It will be.
  • the annotation image 52 based on the treatment-side combined image data Cd1 (missing 3D image data Pd1) and the annotation image 52 based on the 3D image data Pd2 completely overlap, the instructor 6 There is a possibility that the absence of the annotation image 52 in the display of the 3D monitor 12 cannot be confirmed.
  • the image generation unit 42 generates the annotation image 52 displayed with broken lines based on the instruction content information CI.
  • the instructor 6 can confirm that the portion of the annotation image 52 displayed only by broken lines is not displayed on the 3D monitor 12 of the treatment-side device 2 .
  • the instructor 6 can easily compare the content of his instruction with the content displayed on the 3D monitor 12 viewed by the practitioner 4.
  • the instructor 6 can see both the images based on the 3D image data Pd1 and Pd2 by looking at the synthesized image 56 based on the instruction-side synthesized image data Cd2, and the contents of his/her instruction can be transmitted to the operator 4. It is possible to check whether or not the message is transmitted correctly. If the instructor 6 can recognize that the instruction by the image is not correctly transmitted, he/she can take necessary measures.
  • a dashed line and a solid line are used for the distinction.
  • the display mode is not limited to this as long as the 3D image data Pd1 and Pd2 can be distinguished from each other, and the 3D image data Pd1 and Pd2 can be distinguished by different line types such as line widths, colors, brightness, and the like. Also, it is possible to distinguish by highlighting one of them. It is also conceivable to distinguish and display the portions of the annotation image 52 based on the treatment-side composite image data Cd1 (3D image data Pd1) and the annotation image 52 based on the 3D image data Pd2 that do not match each other.
  • the image generation unit 31 and the image generation unit 42 shift the position of the right-eye virtual camera 61 or the left-eye virtual camera 62 in the horizontal direction to capture the three-dimensional hand model image 51 and the annotation image 52 . parallax can be adjusted. For example, when the practitioner 4 inputs a predetermined operation to an operation unit (not shown), the image generation unit 31 moves the right-eye virtual camera 61 and the left-eye virtual camera 62 away from each other. Then, a right-eye virtual image 77 and a left-eye virtual image 78 as shown in the upper part of FIG. 16 are captured. Then, the image generator 31 generates an annotation image 52 as shown in the lower part of FIG. 16 based on the right-eye virtual image 77 and the left-eye virtual image 78 .
  • the image generation unit 31 and the image generation unit 42 shift the positions of the right-eye virtual image and the left-eye virtual image in the horizontal direction.
  • Parallax adjustment of the annotation image 52 can be performed.
  • the hand model image 51 and the annotation image 52 can be three-dimensionally arranged with respect to the endoscopic image 50 at appropriate positions.
  • the support system 1 according to the second embodiment differs from the first embodiment in that a hand model image 51 is displayed on the 3D monitor 12 of the treatment-side device 2 .
  • FIG. 17 is a diagram for explaining the functional configuration and data flow of the support system 1 in the second embodiment.
  • the position information PI is output to the image generator 42 and the data transmitter 41 .
  • the data transmission unit 41 transmits the position information PI to the treatment-side apparatus 2 together with the instruction content information CI.
  • the image generator 31 of the treatment-side device 2 Upon receiving the position information PI, the image generator 31 of the treatment-side device 2 generates a hand model 63 in the three-dimensional virtual space 60 based on the position information PI, similarly to the image generator 42 in the first embodiment. Place (see FIG. 9).
  • the image generating unit 31 captures the three-dimensional virtual space 60 with the right-eye virtual camera 61 and the left-eye virtual camera 62 to generate a right-eye virtual image 71 and a left-eye virtual image 71 as shown in the upper part of FIG. A virtual image 72 is obtained respectively.
  • the image generating unit 31 After generating the right-eye virtual image 71 and the left-eye virtual image 72, the image generating unit 31 generates the right-eye virtual image 71 and the left-eye virtual image 72 for each horizontal line as shown in the lower part of FIG. Three-dimensional hand model images 51 arranged alternately are generated. The image generator 31 then outputs the 3D image data Pd1 of the hand model image 51 to the image synthesizer 32 .
  • the image synthesizing unit 32 superimposes a hand model image 51 based on the 3D image data Pd1 input from the image generating unit 31 on the endoscopic image 50 based on the endoscopic image data Id input from the endoscope 11.
  • a composite image 53 (see FIG. 3) is generated, and treatment-side composite image data Cd1 of the composite image 53 is output to the 3D monitor 12 . Therefore, the 3D monitor 12 displays a composite image 53 based on the treatment-side composite image data Cd1.
  • the practitioner 4 can confirm the actual hand position (movement) of the instructor 6 in three dimensions.
  • the image generation unit 31 of the treatment-side apparatus 2 upon receiving the position information PI and the instruction content information CI, the image generation unit 31 of the treatment-side apparatus 2 generates the position information PI A hand model 63 is arranged based on , and an instruction content model 64 is arranged based on the instruction content information CI (see FIG. 11).
  • the image generating unit 31 captures the three-dimensional virtual space 60 with the right-eye virtual camera 61 and the left-eye virtual camera 62 to generate a right-eye virtual image 73 and a left-eye virtual image 73 as shown in the upper part of FIG. A virtual image 74 is obtained respectively.
  • the image generating unit 31 After generating the right-eye virtual image 73 and the left-eye virtual image 74, the image generating unit 31 generates the right-eye virtual image 73 and the left-eye virtual image 74 for each horizontal line as shown in the lower part of FIG. A three-dimensional hand model image 51 and an annotation image 52 arranged alternately are generated. The image generator 31 then outputs the 3D image data Pd1 of the hand model image 51 and the annotation image 52 to the image synthesizer 32 .
  • the image synthesizing unit 32 combines an endoscopic image 50 based on the endoscopic image data Id input from the endoscope 11 with a hand model image 51 and an annotation image based on the 3D image data Pd1 input from the image generating unit 31. 52 are superimposed to generate a composite image 54 (see FIG. 4), and treatment-side composite image data Cd1 of the composite image 54 is output to the 3D monitor 12 . Therefore, the 3D monitor 12 displays a composite image 54 based on the treatment-side composite image data Cd1.
  • the operator 4 can three-dimensionally confirm the actual hand movements of the instructor 6 in addition to the instruction content of the instructor 6 .
  • the support system 1 includes a device to be supported (device 2 on the treatment side) and a support device (device 3 on the instruction side) provided apart from the device to be supported (device 2 on the treatment side).
  • the support device (guidance-side device 3) transmits a three-dimensional position detection unit 22 for three-dimensionally detecting the instruction content of the instructor 6, and instruction content information CI indicating the instruction content detected by the three-dimensional position detection unit 22. and a data transmission unit 41 for transmitting data.
  • the assisted device (treatment-side device 2) has a first image generation unit (image generation unit 31) that generates a three-dimensional annotation image 52 indicating the instruction content of the instructor 6 based on the transmitted instruction content information CI.
  • the annotation image 52 is synthesized with the imaged image (endoscopic image 50) captured by the device to be supported (instructor device 3) to generate a first synthesized image (synthesized image 55). section (image synthesizing section 32).
  • the treatment-side device 2 can display a composite image 55 in which the three-dimensional annotation image 52 is superimposed on the endoscopic image 50 on the 3D monitor 12 . Therefore, the practitioner 4 viewing the 3D monitor 12 through the polarizing glasses 7 visually recognizes the three-dimensional annotation image 52, and thus can view the instruction content of the instructor 6 three-dimensionally (in addition to the plane direction, the depth direction). information) can be verified. In other words, the support system 1 can more accurately recognize the instruction content of the instructor 6 .
  • the three-dimensional position detection unit 22 detects the position of the hand of the instructor 6 in three dimensions.
  • the support device instructor-side device 3 generates a second image that generates a three-dimensional hand model image 51 based on the position information PI indicating the position of the hand of the instructor 6 detected by the three-dimensional position detection unit 22.
  • unit image generating unit 42 synthesizes the hand model image 51 with the captured image (endoscopic image 50) transmitted from the device to be assisted (treatment-side device 2) to create a second synthesized image (synthesized image 53). and a second image synthesizing unit (image synthesizing unit 43) that generates the .
  • the instructor 6 viewing the 3D monitor 21 through the polarizing glasses 7 can three-dimensionally confirm the position of his or her own hand with respect to the endoscopic image 50 .
  • the second image generation unit (image generation unit 42) generates the three-dimensional hand model image 51 and the annotation image 52 based on the position information PI and the instruction content information CI.
  • the unit 43) synthesizes the hand model image 51 and the annotation image 52 with the captured image (endoscopic image 50) to generate a third synthesized image (synthesized image 54).
  • the instructor 6 viewing the 3D monitor 21 through the polarizing glasses 7 can three-dimensionally confirm the position of his/her own hand and the content of the instructions with respect to the endoscopic image 50 .
  • the first image generation unit uses shader processing of the GPU 16 to generate a right-eye annotation image (right-eye virtual image 75) and a left-eye annotation image (left eye image) based on the instruction content information CI.
  • the annotation image 52 is generated by synthesizing the annotation image for the right eye and the annotation image for the left eye in a line-by-line manner. As a result, the treatment-side device 2 can extremely shorten the delay time until the composite image 55 is displayed on the 3D monitor 12, and display can be performed with little time lag.
  • the first image generation unit shifts the horizontal positions of the right-eye annotation image (right-eye virtual image 75) and the left-eye annotation image (left-eye virtual image 76), Parallax adjustment of the three-dimensional annotation image 52 is performed.
  • the treatment-side device 2 adjusts the parallax so that the depth direction of the annotation image 52 with respect to the endoscopic image 50 is corrected. Position can be adjusted.
  • the treatment-side device 2 can more accurately recognize the instruction content of the instructor 6 .
  • the support system 1 a surgery support system has been described in which the practitioner 4 can perform surgery on the patient 5 while receiving instructions from the instructor 6 who is in a remote location.
  • the system 1 can be widely applied to situations in which the instructor 6 at a remote location gives instructions to the operator 4 while visually recognizing the captured image on the operator's side.
  • the support system 1 can be applied to various uses such as athletes and coaches in sports guidance, instructors and students in learning support such as education and vocational training, and presenters and listeners in remote conferences.
  • the three-dimensional position detection unit 22 in FIG. may be detected by other equipment as long as it can be detected in three dimensions.
  • the GPU 16 functions as the image generator 31 and the image synthesizer 32, but the CPU 13 may function as the image generator 31 and the image synthesizer 32. and the GPU 16 may share the functions of the image generating unit 31 and the image synthesizing unit 32 .
  • the GPU 26 functions as the image generator 42 and the image synthesizer 43, but the CPU 23 may function as the image generator 42 and the image synthesizer 43. and the GPU 26 may share the functions of the image generating unit 42 and the image synthesizing unit 43 .
  • the 3D images displayed on the 3D monitor 12 and the 3D monitor 21 are generated by a line-by-line method, but may be generated by another method. That is, any method may be used as long as at least the hand model image 51 and the annotation image 52 are displayed three-dimensionally on the 3D monitors 12 and 21 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Educational Administration (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Algebra (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pulmonology (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Molecular Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Abstract

支援システムは、被支援装置と、被支援装置とは離隔して設けられる支援装置とを備える支援システムであって、支援装置は、指導者の指示内容を３次元で検出する３次元位置検出部と、３次元位置検出部により検出された指示内容を示す指示内容情報を送信するデータ送信部と、を備え、被支援装置は、送信された指示内容情報に基づいて、指導者の指示内容を示す３次元のアノテーション画像を生成する第１画像生成部と、被支援装置により撮像された撮像画像に対してアノテーション画像を合成して第１合成画像を生成する第１画像合成部と、を備える。

Description

支援システム、支援装置、被支援装置
　本発明は、施術者に対して遠隔地から指導者が指導を行うための技術に関する。
　施術者が、遠隔地にいる指導者の指示を受けながら患者に対して施術を行うことのできる支援システムが知られている。この支援システムは、例えば経験の少ない執刀医（施術者）が、経験豊かな指導医（指導者）の指導を受けながら手術を行うときなどに用いられる。
　特許文献１に開示された発明によれば、患者に挿入された内視鏡による撮像画像（以下、内視鏡画像と表記する）を表示するモニタが遠隔地に設置され、遠隔地にいる指導医は当該モニタに表示された内視鏡画像を観察しながら指示を入力する。そして、手術室側のモニタには、遠隔地で指導医によって入力された指示内容を内視鏡画像に重畳した合成画像が表示され、執刀医は、遠隔地にいる指導医の指示を受けながら患者の手術を行う。
　上述の支援システムによれば、経験の少ない施術者であっても、モニタに表示された撮像画像を指導者に観察してもらい指示を受けることで、患者に対して確実な施術を行うことができるとともに、施術者自身の技能を向上させることができる。
特開２０００－２７１１４７号公報
　上述した内視鏡手術など施術対象（患者）の安全性が要求されるような分野においてこのような支援システムを採用する場合、指導者の指示内容をより正確に反映させて表示させることが希求されている。
　本発明は上記事情に鑑みてなされたものであり、遠隔地にいる指導者が施術者に適切な支援を行えるような支援システムを提供することを目的とする。
　本発明に係る支援システムは、被支援装置と、前記被支援装置とは離隔して設けられる支援装置とを備える支援システムであって、前記支援装置は、指導者の指示内容を３次元で検出する３次元位置検出部と、前記３次元位置検出部により検出された指示内容を示す指示内容情報を送信するデータ送信部と、を備え、前記被支援装置は、送信された前記指示内容情報に基づいて、前記指導者の指示内容を示す３次元のアノテーション画像を生成する第１画像生成部と、前記被支援装置により撮像された撮像画像に対して前記アノテーション画像を合成して第１合成画像を生成する第１画像合成部と、を備える。
　これにより、被支援装置では、遠隔地にいる指導者の指示内容が３次元で表示される。したがって、施術者は、指導者の指示内容をより正確に理解することが可能となる。
　本発明によれば、遠隔地にいる指導者が施術者に適切な支援を行えることができる。
支援システムを説明する図である。 内視鏡画像を示す図である。 内視鏡画像に手モデル画像を重畳した合成画像を示す図である。 内視鏡画像に手モデル画像およびアノテーション画像を重畳した合成画像を示す図である。 内視鏡画像にアノテーション画像を重畳した合成画像を示す図である。 施術側装置の構成の一例を示すブロック図である。 指導側装置の構成の一例を示すブロック図である。 第１の実施形態における支援システムの機能的構成およびデータの流れを説明する図である。 ３次元の手モデル画像を生成する際の３次元仮想空間を説明する図である。 ３次元の手モデル画像の生成方法を説明する図である。 ３次元の手モデル画像およびアノテーション画像を生成する際の３次元仮想空間を説明する図である。 ３次元の手モデル画像およびアノテーション画像の生成方法を説明する図である。 ３次元のアノテーション画像を生成する際の３次元仮想空間を説明する図である。 ３次元のアノテーション画像の生成方法を説明する図である。 施術側合成画像データに基づく合成画像に、３Ｄ画像データに基づく手モデル画像およびアノテーション画像を重畳した合成画像を示す図である。 視差調整時の３次元のアノテーション画像の生成方法を説明する図である。 第２の実施形態における支援システムの機能的構成およびデータの流れを説明する図である。
　以下、実施形態について説明する。なお、以下で説明する各構成は、本発明を実現するための一例を示したものにすぎない。従って、本発明の技術的思想を逸脱しない範囲であれば、設計などに応じて様々な変更が可能である。また一度説明した構成については重複を避けるため、以降、同一符号を付して再度の説明を省略することがある。
＜１．第１の実施形態＞
［１－１．支援システムの概要］
　図１は、支援システム１を説明する図である。図２は、内視鏡画像５０を示す図である。図３は、内視鏡画像５０に手モデル画像５１を重畳した合成画像５３を示す図である。図４は、内視鏡画像５０に手モデル画像５１およびアノテーション画像５２を重畳した合成画像５４を示す図である。図５は、内視鏡画像５０にアノテーション画像５２を重畳した合成画像５５を示す図である。
　なお、手モデル画像５１およびアノテーション画像５２は、実際には３Ｄ（３次元）画像であるが、図３～図５では２Ｄ（２次元）画像として示している。また、内視鏡画像５０は、３Ｄ画像であっても２Ｄ画像であってもよいが、図２～図５では２Ｄ画像として示している。
　図１に示すように、支援システム１は、手術室Ｒｍ１にいる施術者４が使用する施術側装置２と、手術室Ｒｍ１と離隔した指導室Ｒｍ２にいる指導者６が使用する指導側装置３とを備える。したがって、施術側装置２と指導側装置３とは、離隔して設けられている。
　例えば施術者４は患者５の執刀医であり、指導者６は施術者４を指導する指導医であることが想定されており、支援システム１では、施術者４が指導者６による指示を確認しながら患者５への手術を行うことができる。
　施術側装置２は、内視鏡１１および３Ｄモニタ１２を備えている。指導側装置３は、３Ｄモニタ２１および３次元位置検出部２２を備えている。
　３Ｄモニタ１２および３Ｄモニタ２１は、ＬＣＤ（Liquid Crystal Display）等のフラットパネルに、奇数列のライン（水平方向の画素列）と偶数列のラインとで異なる偏光方向の偏光フィルタが交互に重ねられており、所謂ラインバイライン方式で３Ｄ（３次元）画像を表示可能なモニタである。
　なお、３Ｄモニタ１２および３Ｄモニタ２１は、例えば、奇数列のラインに右回転円偏光フィルタが重ねられ、偶数列のラインに左回転円偏光フィルタが重ねられている。
　施術者４は、偏光メガネ７を装着して３Ｄモニタ１２を視認する。偏光メガネ７は、右眼側と左眼側とで異なる偏光方向の偏光フィルタが取り付けられている。なお、偏光メガネ７は、例えば、右眼側に右回転円偏光フィルタが取り付けられており、左眼側に左回転円偏光フィルタが取り付けられている。
　したがって、偏光メガネ７を装着した施術者４は、３Ｄモニタ１２を視認したときに、右眼には奇数列のラインの画像だけが見え、左眼には偶数列のラインの画像だけが見える。
　同様に、指導者６は、偏光メガネ７を装着して３Ｄモニタ２１を視認したときに、右眼には奇数列のラインの画像だけが見え、左眼には偶数列のラインの画像だけが見える。
　このように、３Ｄモニタ１２および３Ｄモニタ２１は、施術者４および指導者６それぞれに偏光メガネ７を介して右眼および左眼に異なる画像（視差画像）を見せることで、３Ｄ画像を見せることが可能となっている。
　なお、３Ｄモニタ１２および３Ｄモニタ２１は、奇数列のラインと偶数列のラインとに同一の画像を表示することで、施術者４および指導者６に２Ｄ画像を見せることも可能である。
　支援システム１では、施術側装置２において、例えば患者５の体腔内に内視鏡１１が挿入されることで、図２に示すような体腔内の内視鏡画像５０が３Ｄモニタ１２に表示される。施術者４は、３Ｄモニタ１２で内視鏡画像５０を確認することができる。なお、内視鏡画像５０は、３Ｄ画像であってもよく、また、２Ｄ画像であってもよい。
　内視鏡画像５０は、指導室Ｒｍ２にある指導側装置３の３Ｄモニタ２１にも表示される。指導者６は、指導室Ｒｍ２にいながら３Ｄモニタ２１により内視鏡画像５０を確認することができる。
　指導側装置３は、詳しくは後述するように、指導者６の手の位置（座標）を３次元位置検出部２２によって３次元で検出することが可能である。指導側装置３では、３次元位置検出部２２で検出された指導者６の手の位置に基づいて、内視鏡画像５０上に指導者６の手を模した３次元の手モデル画像５１を表示する。
　すなわち、指導側装置３では、図３に示すような内視鏡画像５０に手モデル画像５１が重畳された合成画像５３を３Ｄモニタ２１に表示する。
　これにより、指導者６は、内視鏡画像５０に対する自身の手の動きを手モデル画像５１によって３次元で確認しながら、指示内容を入力することができる。
　また、指導側装置３では、３次元位置検出部２２で検出される指導者６の手の所定の動き（ジェスチャ）によって、指示内容を操作入力することができる。当該入力により、指導側装置３では、内視鏡画像５０上に指導者６の指示内容（操作入力）を示すアノテーション画像５２を表示する。
　すなわち、指導側装置３では、図４に示すような内視鏡画像５０に手モデル画像５１およびアノテーション画像５２が重畳された合成画像５４を３Ｄモニタ２１に表示する。
　これにより、指導者６は、内視鏡画像５０に対する自身の指示内容をアノテーション画像５２によって３次元で確認することができる。
　一方、施術側装置２では、指導者６による指示内容に基づいて、図５に示すような内視鏡画像５０にアノテーション画像５２が重畳された合成画像５５を３Ｄモニタ１２に表示する。
　これにより、施術者４は、３Ｄモニタ１２に表示された指導者６の指示内容を３次元で確認しながら患者５に対する施術を行うことができる。
［１－２．施術側装置２の構成］
　図６は、施術側装置２の構成の一例を示すブロック図である。図６に示すように、施術側装置２は、内視鏡１１および３Ｄモニタ１２に加え、ＣＰＵ（Central Processing Unit）１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ＧＰＵ（Graphics Processing Unit）１６を備えるコンピュータを含んだ構成である。
　ＣＰＵ１３は、ＲＯＭ１４または記憶部１９に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ１５には、ＣＰＵ１３が各種の処理を実行する上で必要なデータなども適宜記憶される。
　ＧＰＵ１６は、ＣＰＵ１３からの描画命令に従って、３Ｄコンピュータグラフィックスによる描画処理（例えばシェーダー処理）を行い、描画処理後の画像を図示しないフレームバッファに格納する。そして、ＧＰＵ１６は、フレームバッファに格納された画像を３Ｄモニタ１２に出力する。
　ＣＰＵ１３、ＲＯＭ１４、ＲＡＭ１５およびＧＰＵ１６は、バス１７を介して相互に接続されている。バス１７には、内視鏡１１、３Ｄモニタ１２、通信部１８、記憶部１９も接続されている。
　通信部１８は、指導側装置３との間で有線または無線による通信を行う。
　記憶部１９は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの記憶媒体より構成される。記憶部１９には、例えば各種情報を記憶可能とされる。また、記憶部１９は、ＣＰＵ１３が各種の処理を実行するためのプログラムデータの格納にも用いることが可能とされる。
　図７は、指導側装置３の構成の一例を示すブロック図である。図７に示すように、指導側装置３は、３Ｄモニタ２１および３次元位置検出部２２に加え、ＣＰＵ２３、ＲＯＭ２４、ＲＡＭ２５、ＧＰＵ２６を備えるコンピュータを含んだ構成である。
　ＣＰＵ２３は、ＲＯＭ２４または記憶部２９に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ２５には、ＣＰＵ２３が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＧＰＵ２６は、ＣＰＵ２３からの描画命令に従って、３Ｄコンピュータグラフィックスによる描画処理（例えばシェーダー処理）を行い、描画処理後の画像を図示しないフレームバッファに格納する。そして、ＧＰＵ２６は、フレームバッファに格納された画像を３Ｄモニタ２１に出力する。
　ＣＰＵ２３、ＲＯＭ２４、ＲＡＭ２５およびＧＰＵ２６は、バス２７を介して相互に接続されている。バス２７には、３Ｄモニタ２１、３次元位置検出部２２、通信部２８、記憶部２９も接続されている。
　通信部２８は、施術側装置２との間で有線または無線による通信を行う。
　記憶部２９は、例えばＨＤＤやＳＳＤなどの記憶媒体より構成される。記憶部２９には、例えば各種情報を記憶可能とされる。また、記憶部２９は、ＣＰＵ２３が各種処理を実行するためのプログラムデータの格納にも用いることが可能とされる。
　図８は、第１の実施形態における支援システム１の機能的構成およびデータの流れを説明する図である。図８に示すように、施術側装置２のＧＰＵ１６は、画像生成部３１および画像合成部３２として機能する。また、施術側装置２の通信部１８は、データ送信部３３として機能する。
　指導側装置３の通信部２８は、データ送信部４１として機能する。また、指導側装置３のＧＰＵ２６は、画像生成部４２および画像合成部４３として機能する。
　内視鏡１１は、撮像素子を有し、撮像素子で得られた撮像画像信号に所定の信号処理を行い内視鏡画像５０を生成し、内視鏡画像５０の画像データ（以下、内視鏡画像データＩｄと表記する）を画像合成部３２に出力する。なお、内視鏡画像５０が３Ｄ画像である場合、内視鏡１１は２つの撮像素子を有し、それぞれの撮像素子で得られた撮像画像信号に基づいて２つの内視鏡画像５０（視差画像）が生成されることになる。
　画像生成部３１は、指導側装置３から送信されてきた指示内容情報ＣＩに基づいてアノテーション画像５２を生成し、アノテーション画像５２の画像データ（以下、３Ｄ画像データＰｄ１と表記する）を画像合成部３２に出力する。
　ここで指示内容情報ＣＩは、操作入力で指定された座標、線種、色彩、線幅などの情報を含んでいる。
　画像合成部３２は、入力された各種画像データに基づいて画像を合成する。第１の実施形態において画像合成部３２は、内視鏡画像データＩｄに基づく内視鏡画像５０と、３Ｄ画像データＰｄ１に基づくアノテーション画像５２とを合成して合成画像５５を生成する。
　そして、画像合成部３２は、合成画像５５の画像データ（以下、施術側合成画像データＣｄ１と表記する）をデータ送信部３３および３Ｄモニタ１２に出力する。
　なお、画像合成部３２は、３Ｄ画像データＰｄ１が入力されていない場合、合成画像５５を生成することなく、内視鏡画像データＩｄをデータ送信部３３および３Ｄモニタ１２に出力する。
　したがって、３Ｄモニタ１２には、内視鏡画像データＩｄや施術側合成画像データＣｄ１に基づく表示が行われる。すなわち、３Ｄモニタ１２には、内視鏡画像５０や合成画像５５が表示される。
　データ送信部３３は、各種データを指導側装置３に送信する。例えば、データ送信部３３は、画像合成部３２から入力された内視鏡画像データＩｄや施術側合成画像データＣｄ１を送信する。
　３次元位置検出部２２は、指導者６の手の位置（座標）を３次元で測定するセンサを含んでおり、例えばUltraleap社製のLeap Motion Controllerである。
　３次元位置検出部２２は、赤外線照射部およびステレオ赤外線カメラ等を有し、赤外線照射部から照射された赤外線が指導者６の手に当たって反射した際の反射光をステレオ赤外線カメラで撮影することによりステレオ赤外線画像を得る。
　そして、３次元位置検出部２２は、得られたステレオ赤外線画像について画像解析を行うことで、三次元空間内での指導者６の手（指、掌等）の関節の位置および指の先端の位置（以下、これらを単に指導者６の手の位置と表記する）を３次元で検出する。なお、ここでの位置は、所定の原点位置を基準とした３次元座標で示される位置である。
　また、３次元位置検出部２２は、位置情報ＰＩ（操作入力）に基づいて指導者６の指示内容を３次元で検出する。例えば、３次元位置検出部２２は、検出した位置情報ＰＩに基づいて、指導者６の親指の先端と人差し指の先端とが接触しているジェスチャを検出した場合、親指の先端と人差し指の先端とが接触している状態で移動した軌跡を指示内容として検出する。
　３次元位置検出部２２は、検出した指導者６の手の位置を示す位置情報ＰＩを画像生成部４２に出力するとともに、検出した指導者６の指示内容を示す指示内容情報ＣＩを画像生成部４２およびデータ送信部４１に出力する。
　データ送信部４１は、各種データを施術側装置２に送信する。第１の実施形態においてデータ送信部４１は、３次元位置検出部２２から入力された指示内容情報ＣＩを送信する。
　画像生成部４２は、３次元位置検出部２２から入力された位置情報ＰＩおよび指示内容情報ＣＩに基づいて、手モデル画像５１、または、手モデル画像５１およびアノテーション画像５２を生成し、それらの画像データ（以下、３Ｄ画像データＰｄ２と表記する）を画像合成部４３に出力する。
　画像合成部４３は、入力された各種画像データに基づいて画像を合成する。例えば、画像合成部４３は、内視鏡画像データＩｄに基づく内視鏡画像５０に、３Ｄ画像データＰｄ２に基づく手モデル画像５１、または、手モデル画像５１およびアノテーション画像５２を合成することで合成画像５３、５４を生成する。そして、画像合成部４３は、生成した合成画像５３、５４の画像データ（以下、指導側合成画像データＣｄ２と表記する）を３Ｄモニタ２１に出力する。
　なお、画像合成部４３は、３Ｄ画像データＰｄ２が入力されていない場合、合成画像５３、５４を生成することなく、内視鏡画像データＩｄを３Ｄモニタ２１に出力する。
　したがって、３Ｄモニタ２１には、内視鏡画像データＩｄや指導側合成画像データＣｄ２に基づく表示が行われる。すなわち、３Ｄモニタ２１には、内視鏡画像５０や合成画像５３、５４が表示される。
［１－３．支援システム１の詳細］
　第１の実施形態における支援システム１の詳細について図８を参照して説明する。
　まず、施術側装置２は、内視鏡１１により得られた内視鏡画像データＩｄが画像合成部３２に入力される。
　画像合成部３２は、３Ｄ画像データＰｄ１が画像生成部３１から入力されていない場合、内視鏡画像データＩｄを３Ｄモニタ１２およびデータ送信部３３に出力する。
　３Ｄモニタ１２は、内視鏡画像データＩｄに基づいて内視鏡画像５０を表示する（図２参照）。これにより、施術者４は、３Ｄモニタ１２で患者５の体腔内の状態を観察しながら施術を行うことができる。
　データ送信部３３は、画像合成部３２から入力された内視鏡画像データＩｄを指導側装置３に送信する。
　指導側装置３において画像合成部４３は、施術側装置２（データ送信部３３）から内視鏡画像データＩｄを受信する。
　画像合成部４３は、３Ｄ画像データＰｄ２が画像生成部４２から入力されていない場合、内視鏡画像データＩｄを３Ｄモニタ２１に出力する。
　３Ｄモニタ２１は、内視鏡画像データＩｄに基づいて内視鏡画像５０を表示する（図２参照）。これにより、指導者６は、指導室Ｒｍ２にいながら手術室Ｒｍ１にいる施術者４と視点を共有することができるとともに、患者５の体腔内の状態や施術者４による施術の状況を観察することができる。
　そして、指導者６は、３Ｄモニタ２１で内視鏡画像５０を確認しながら、３次元位置検出部２２の検出範囲内で手を動かす。このとき、３次元位置検出部２２は、指導者６の手の位置を検出して位置情報ＰＩを画像生成部４２に出力する。
　３次元位置検出部２２から位置情報ＰＩが画像生成部４２に入力されると、画像生成部４２は、入力された位置情報ＰＩに基づいて３次元の手モデル画像５１（図３参照）を生成する。
　図９は、３次元の手モデル画像５１を生成する際の３次元仮想空間を説明する図である。図１０は、３次元の手モデル画像５１の生成方法を説明する図である。
　画像生成部４２は、３次元位置検出部２２から入力された位置情報ＰＩに基づいて、図９に示すように、３次元仮想空間６０上に指導者６の手を模した手モデル６３（ポリゴン）を配置する。また、３次元仮想空間６０には、右眼に対応する位置に右眼用仮想カメラ６１を配置するとともに、左眼に対応する位置に左眼用仮想カメラ６２を配置する。
　そして、画像生成部４２は、右眼用仮想カメラ６１および左眼用仮想カメラ６２によって３次元仮想空間６０を撮像することにより、図１０上段に示すような右眼用仮想画像７１および左眼用仮想画像７２をそれぞれ生成する。なお、図１０では、右眼用仮想画像７１および左眼用仮想画像７２を容易に区別することができるように、全体的に模様（ハッチング、ドット等）を付しているが、実際にはこれらの模様は右眼用仮想画像７１および左眼用仮想画像７２にはないものである。
　右眼用仮想画像７１および左眼用仮想画像７２は、水平方向の画素数が３Ｄモニタ２１の画素数と同数であり、かつ、垂直方向の画素数が３Ｄモニタ２１の画素数の半分となっている。
　画像生成部４２は、右眼用仮想画像７１および左眼用仮想画像７２を生成すると、図１０下段に示すように、右眼用仮想画像７１および左眼用仮想画像７２を水平１ライン毎に交互に配置した手モデル画像５１を生成する。すなわち、画像生成部４２は、ラインバイライン方式で３次元の手モデル画像５１を生成する。
　そして、画像生成部４２は、手モデル画像５１の３Ｄ画像データＰｄ２を画像合成部４３に出力する。
　上記したように、３Ｄモニタ２１は、奇数列のラインと偶数列のラインとで異なる偏光フィルタが交互に重ねられた所謂ラインバイライン方式で３Ｄ画像を表示可能なモニタである。
　したがって、３Ｄ画像データＰｄ２に基づいて手モデル画像５１が３Ｄモニタ２１に表示されることで、偏光メガネ７を掛けている指導者６は、右眼用仮想画像７１だけが右眼で見え、左眼用仮想画像７２のみが左眼で見えることになる。そして、右眼用仮想画像７１および左眼用仮想画像７２は、それぞれ３次元仮想空間６０において水平方向に離隔して配置された右眼用仮想カメラ６１および左眼用仮想カメラ６２で仮想的に撮像された画像であるため、所謂視差画像となっている。
　そのため、指導者６は、右眼用仮想画像７１を右眼で見て、左眼用仮想画像７２を左眼で見ることで、手モデル画像５１を３次元で見ることができる。
　画像合成部４３は、施術側装置２（データ送信部３３）から受信した内視鏡画像データＩｄに基づく内視鏡画像５０に、画像生成部４２から供給された３Ｄ画像データＰｄ２に基づく手モデル画像５１を重畳した合成画像５３を生成する。そして、画像合成部４３は、生成した合成画像５３の指導側合成画像データＣｄ２を３Ｄモニタ２１に出力する。
　したがって、３Ｄモニタ２１には、画像合成部４３から入力された指導側合成画像データＣｄ２に基づいて合成画像５３が表示されることになる。これにより、指導者６は、内視鏡画像５０に対する自身の手の位置（動き）を３次元で確認することができる。
　その後、指導者６が合成画像５３を確認しながら手の所定の動き（ジェスチャ）によって指示内容を入力すると、３次元位置検出部２２は、当該所定の動きを指示内容として検出する。そして、３次元位置検出部２２は、検出した指示内容を示す指示内容情報ＣＩをデータ送信部４１および画像生成部４２に出力する。
　３次元位置検出部２２から位置情報ＰＩおよび指示内容情報ＣＩが画像生成部４２に入力されると、画像生成部４２は、３次元位置検出部２２から入力された位置情報ＰＩおよび指示内容情報ＣＩに基づいて、３次元の手モデル画像５１およびアノテーション画像５２（図４参照）を生成する。
　図１１は、３次元の手モデル画像５１およびアノテーション画像５２を生成する際の３次元仮想空間を説明する図である。図１２は、３次元の手モデル画像５１およびアノテーション画像５２の生成方法を説明する図である。なお、図９および図１０と重複する部分は同様であるため、その説明を省略する。
　画像生成部４２は、図１１に示すように、３次元仮想空間６０上に、位置情報ＰＩに基づいて手モデル６３を配置するとともに、指示内容情報ＣＩに基づいて指示内容を示す指示内容モデル６４（ポリゴン）を配置する。
　そして、画像生成部４２は、右眼用仮想カメラ６１および左眼用仮想カメラ６２によって３次元仮想空間６０を撮像することにより、図１２上段に示すような右眼用仮想画像７３および左眼用仮想画像７４をそれぞれ得る。
　画像生成部４２は、右眼用仮想画像７３および左眼用仮想画像７４を生成すると、図１２下段に示すように、右眼用仮想画像７３および左眼用仮想画像７４を水平１ライン毎に交互に配置した手モデル画像５１およびアノテーション画像５２を生成する。すなわち、画像生成部４２は、ラインバイライン方式で３次元の手モデル画像５１およびアノテーション画像５２を生成する。
　そして、画像生成部４２は、手モデル画像５１およびアノテーション画像５２の３Ｄ画像データＰｄ２を画像合成部４３に出力する。
　画像合成部４３は、施術側装置２（データ送信部３３）から受信した内視鏡画像データＩｄに基づく内視鏡画像５０に、画像生成部４２から入力された３Ｄ画像データＰｄ２に基づく手モデル画像５１およびアノテーション画像５２を重畳した合成画像５４を生成する。そして、画像合成部４３は、生成した合成画像５４の指導側合成画像データＣｄ２を３Ｄモニタ２１に出力する。
　したがって、３Ｄモニタ２１には、画像合成部４３から入力された指導側合成画像データＣｄ２に基づいて合成画像５４が表示されることになる。これにより、指導者６は、自身の手の所定の動き（ジェスチャ）によって入力された指示内容を３次元で確認することができる。
　ここで、画像生成部４２は、ＧＰＵ２６のシェーダー処理を用いて手モデル画像５１およびアノテーション画像５２を生成する。そのため、指導側装置３では、例えば６０Ｈｚで合成画像５３、５４を３Ｄモニタ２１に表示することでき、合成画像５３、５４の表示までの遅延時間が極めて短い。つまり、３Ｄモニタ２１においてタイムラグの少ない合成画像５３、５４の表示が行われる。
　これにより、指導者６は、タイムラグを感じることなく、自身の手の位置および指示内容（操作入力）を３次元で確認することができる。
　また、データ送信部４１は、３次元位置検出部２２から入力された指示内容情報ＣＩを施術側装置２に送信する。施術側装置２への送信にあたり、画像生成部４２により生成される３Ｄ画像データＰｄ２よりも通信容量の少ない指示内容情報ＣＩを送信することで、指導側装置３から施術側装置２にデータを送信する際の通信遅延が軽減される。
　施術側装置２において画像生成部３１は、指導側装置３（データ送信部４１）から指示内容情報ＣＩを受信する。画像生成部３１は、受信した指示内容情報ＣＩに基づいて３次元のアノテーション画像５２（図５参照）を生成する。
　図１３は、３次元のアノテーション画像５２を生成する際の３次元仮想空間を説明する図である。図１４は、３次元のアノテーション画像５２の生成方法を説明する図である。なお、図９～図１２と重複する部分は同様であるため、その説明を省略する。
　画像生成部３１は、指導側装置３から受信した指示内容情報ＣＩに基づいて、図１３に示すように、３次元仮想空間６０上に指示内容モデル６４を配置する。
　そして、画像生成部３１は、右眼用仮想カメラ６１および左眼用仮想カメラ６２によって３次元仮想空間６０を撮像することにより、図１４上段に示すような右眼用仮想画像７５および左眼用仮想画像７６をそれぞれ得る。
　画像生成部３１は、右眼用仮想画像７５および左眼用仮想画像７６を生成すると、図１４下段に示すように、右眼用仮想画像７５および左眼用仮想画像７６を水平１ライン毎に交互に配置したアノテーション画像５２を生成する。すなわち、画像生成部３１は、ラインバイライン方式で３次元のアノテーション画像５２を生成する。
　そして、画像生成部３１は、アノテーション画像５２の３Ｄ画像データＰｄ１を画像合成部３２に出力する。
　画像合成部３２は、内視鏡１１から入力された内視鏡画像データＩｄに基づく内視鏡画像５０に、画像生成部３１から入力された３Ｄ画像データＰｄ１に基づくアノテーション画像５２を重畳（合成）した合成画像５５を生成する。そして、画像合成部３２は、生成した合成画像５５の施術側合成画像データＣｄ１を３Ｄモニタ１２およびデータ送信部３３に出力する。
　したがって、３Ｄモニタ１２には、画像合成部３２から入力された施術側合成画像データＣｄ１に基づいて合成画像５５が表示されることになる。これにより、施術者４は、指導者６の指示内容を３次元で確認することができる。
　ここで、画像生成部３１は、ＧＰＵ１６のシェーダー処理を用いてアノテーション画像５２を生成する。そのため、施術側装置２では、例えば６０Ｈｚで合成画像５５を３Ｄモニタ１２に表示することでき、合成画像５５の表示までの遅延時間が極めて短い。つまり、３Ｄモニタ１２においてタイムラグの少ない合成画像５５の表示が行われる。
　これにより、手術室Ｒｍ１にいる施術者４は、タイムラグを感じることなく、指導室Ｒｍ２にいる指導者６の指示内容を３Ｄモニタ１２上で確認しながら患者５に対する施術を行うことができる。
　データ送信部３３は、画像合成部３２から入力された施術側合成画像データＣｄ１を指導側装置３に送信する。
　図１５は、施術側合成画像データＣｄ１に基づく合成画像５５に、３Ｄ画像データＰｄ２に基づく手モデル画像５１およびアノテーション画像５２を重畳した合成画像５６を示す図である。
　画像合成部４３は、施術側装置２（データ送信部３３）から施術側合成画像データＣｄ１を受信すると、図１５に示すように、施術側合成画像データＣｄ１に基づく合成画像５５（内視鏡画像５０およびアノテーション画像５２）に、画像生成部４２から入力された３Ｄ画像データＰｄ２に基づく手モデル画像５１およびアノテーション画像５２を重畳した合成画像５６を生成する。そして、画像合成部４３は、生成した合成画像５６の指導側合成画像データＣｄ２を３Ｄモニタ２１に出力する。３Ｄモニタ２１では、生成された指導側合成画像データＣｄ２に基づく合成画像５６を表示する。
　これにより、指導者６は、施術側合成画像データＣｄ１と３Ｄ画像データＰｄ２のそれぞれに基づいて表示されるアノテーション画像５２にずれがないかを３Ｄモニタ２１上において３次元で確認することができる。
　ずれが生じた場合、指導者６は、例えば図１５で示すようなアノテーション画像５２のずれを３Ｄモニタ２１上で確認することができる。
　ここで表示内容の確認という点を考えると、画像生成部４２は、３Ｄ画像データＰｄ２に基づくアノテーション画像５２を、施術側合成画像データＣｄ１（３Ｄ画像データＰｄ１）に基づくアノテーション画像５２とは異なる表示態様となるように、合成画像５６を生成するとよい。
　例えば、図１５に示すように、３Ｄ画像データＰｄ２に基づくアノテーション画像５２を破線で表示させることで、施術側合成画像データＣｄ１（３Ｄ画像データＰｄ１）に基づくアノテーション画像５２の表示（実線）と区別して３Ｄモニタ２１上に表示させることができる。
　上述のように、施術側合成画像データＣｄ１（３Ｄ画像データＰｄ１）によるアノテーション画像５２と、３Ｄ画像データＰｄ２によるアノテーション画像５２とを両方表示させ、確認できるようにするのは、次のような意味がある。
　指導側装置３から送信された指示内容情報ＣＩは、例えば通信障害などの要因により施術側装置２で受信する際にその一部が欠損したり、あるいは各装置（２、３）間での設定や３Ｄモニタ１２、２１の解像度の違いなどが未調整で、アノテーション画像５２等の表示座標がずれてしまったりすることなどが起こり得る。
　この場合、３Ｄモニタ２１には表示座標のずれにより図１５のような画像が表示されることがある。
　また、指示内容情報ＣＩの一部が欠損した場合、施術側装置２の画像生成部３１では、本来であれば、受信した指示内容情報ＣＩに基づいて図５に示すようなアノテーション画像５２が生成されるはずであるが、指示内容情報ＣＩの一部の欠損により、アノテーション画像５２の一部のみしか表示されない３Ｄ画像データＰｄ１（以下、欠損３Ｄ画像データＰｄ１とも表記する。）が生成されてしまうことがある。
　このとき、画像合成部３２では、欠損３Ｄ画像データＰｄ１に基づくアノテーション画像５２と、内視鏡画像データＩｄに基づく内視鏡画像５０とが合成され、内視鏡画像５０にアノテーション画像５２の一部のみを重畳した合成画像５５が生成される。
　これにより３Ｄモニタ１２には、アノテーション画像５２の一部が欠如した合成画像５５が表示されることになる。このような状態では、指導者６の指示内容が３Ｄモニタ１２に正確に反映されず、施術者４は指導者６の指示内容の全てを把握できない状態で施術を行うことになる。
　一方、指導側装置３では、施術側装置２から受信した施術側合成画像データＣｄ１に基づく合成画像５５と、画像生成部４２から入力された３Ｄ画像データＰｄ２に基づくアノテーション画像５２とが合成されることになる。このとき、施術側合成画像データＣｄ１（欠損３Ｄ画像データＰｄ１）に基づくアノテーション画像５２と、３Ｄ画像データＰｄ２に基づくアノテーション画像５２とが完全に重なってしまうと、指導者６は、施術側装置２の３Ｄモニタ１２の表示においてアノテーション画像５２が欠如していることを確認することができないおそれがある。
　指導者６が施術者４側の３Ｄモニタ１２の表示状況を確認するためには、３Ｄ画像データＰｄ１、Ｐｄ２に基づく画像を異なる態様で表示させることが望ましい。
　そこで、画像生成部４２は、指示内容情報ＣＩに基づいて、破線で表示されるアノテーション画像５２を生成する。
　これにより、指導者６は、破線のみで表示されたアノテーション画像５２の部分が、施術側装置２の３Ｄモニタ１２に表示されていないことを確認することができる。
　つまり、指導者６は、３Ｄモニタ２１上で、自身の指示内容と、施術者４の見ている３Ｄモニタ１２の表示内容を容易に比較できる。
　以上により、指導者６は、指導側合成画像データＣｄ２に基づく合成画像５６を見ることで、３Ｄ画像データＰｄ１、Ｐｄ２に基づく画像の両方をみることができ、自分の指示内容が施術者４に正しく伝わっているか否かが確認できる。もし画像による指示が正しく伝わっていないことを認識できれば、指導者６は必要な対処をとることができる。
　なお、施術側合成画像データＣｄ１（３Ｄ画像データＰｄ１）に基づくアノテーション画像５２と、３Ｄ画像データＰｄ２に基づくアノテーション画像５２とを区別するための表示態様の例として、破線と実線により区別を行うこととした。しかしながら、表示態様は、３Ｄ画像データＰｄ１，Ｐｄ２のそれぞれを区別できるものであればこれに限られず、線幅等の線種や、色彩、輝度などを異ならせることで区別することができる。また、何れかをハイライト表示することで区別することもできる。
　また、施術側合成画像データＣｄ１（３Ｄ画像データＰｄ１）に基づくアノテーション画像５２と、３Ｄ画像データＰｄ２に基づくアノテーション画像５２との一致しない部分を区別して表示することも考えられる。
　また、画像生成部３１および画像生成部４２は、右眼用仮想カメラ６１または左眼用仮想カメラ６２の水平方向の位置をずらして撮像することにより、３次元の手モデル画像５１およびアノテーション画像５２の視差を調整することができる。
　例えば、画像生成部３１は、施術者４によって操作部（不図示）に対して所定の操作が入力されると、右眼用仮想カメラ６１と左眼用仮想カメラ６２とを離隔するように移動させ、図１６上段に示すような右眼仮想画像７７および左眼仮想画像７８を撮像する。そして、画像生成部３１は、右眼仮想画像７７および左眼仮想画像７８に基づいて、図１６下段に示すようなアノテーション画像５２を生成する。
　これにより、図１６下段に示すようなアノテーション画像５２を３Ｄモニタ１２に表示すると、アノテーション画像５２の焦点距離が遠くなり、３次元のアノテーション画像５２が遠くに見えることになる。
　このように、画像生成部３１および画像生成部４２は、右眼仮想画像および左眼仮想画像の水平方向の位置をずらすことにより、３Ｄモニタ１２および３Ｄモニタ２１に表示される手モデル画像５１およびアノテーション画像５２の視差調整を行うことが可能である。
　これにより、内視鏡画像５０に対する手モデル画像５１およびアノテーション画像５２を３次元的に適切な位置に配置することができる。
＜２．第２の実施形態＞
　次に、第２の実施形態について説明する。第２の実施形態における支援システム１では、施術側装置２の３Ｄモニタ１２に手モデル画像５１を表示する点で、第１の実施形態と異なる。
　図１７は、第２の実施形態における支援システム１の機能的構成およびデータの流れを説明する図である。第２の実施形態においては、３次元位置検出部２２によって位置情報ＰＩが検出されると、位置情報ＰＩが画像生成部４２およびデータ送信部４１に出力される。そして、データ送信部４１は、指示内容情報ＣＩとともに位置情報ＰＩを施術側装置２に送信する。
　施術側装置２の画像生成部３１は、位置情報ＰＩを受信すると、第１の実施形態における画像生成部４２と同様に、３次元仮想空間６０上において、位置情報ＰＩに基づいて手モデル６３を配置する（図９参照）。
　そして、画像生成部３１は、右眼用仮想カメラ６１および左眼用仮想カメラ６２によって３次元仮想空間６０を撮像することにより、図１０上段に示すような右眼用仮想画像７１および左眼用仮想画像７２をそれぞれ得る。
　画像生成部３１は、右眼用仮想画像７１および左眼用仮想画像７２を生成すると、図１０下段に示すように、右眼用仮想画像７１および左眼用仮想画像７２を水平１ライン毎に交互に配置した３次元の手モデル画像５１を生成する。そして、画像生成部３１は、手モデル画像５１の３Ｄ画像データＰｄ１を画像合成部３２に出力する。
　画像合成部３２は、内視鏡１１から入力された内視鏡画像データＩｄに基づく内視鏡画像５０に、画像生成部３１から入力された３Ｄ画像データＰｄ１に基づく手モデル画像５１を重畳した合成画像５３（図３参照）を生成し、その合成画像５３の施術側合成画像データＣｄ１を３Ｄモニタ１２に出力する。したがって、３Ｄモニタ１２には、施術側合成画像データＣｄ１に基づく合成画像５３が表示される。
　これにより、施術者４は、指導者６の実際の手の位置（動き）を３次元で確認することができる。
　また、施術側装置２の画像生成部３１は、位置情報ＰＩおよび指示内容情報ＣＩを受信すると、第１の実施形態における画像生成部４２と同様に、３次元仮想空間６０上に、位置情報ＰＩに基づいて手モデル６３を配置するとともに、指示内容情報ＣＩに基づいて指示内容モデル６４を配置する（図１１参照）。
　そして、画像生成部３１は、右眼用仮想カメラ６１および左眼用仮想カメラ６２によって３次元仮想空間６０を撮像することにより、図１２上段に示すような右眼用仮想画像７３および左眼用仮想画像７４をそれぞれ得る。
　画像生成部３１は、右眼用仮想画像７３および左眼用仮想画像７４を生成すると、図１２下段に示すように、右眼用仮想画像７３および左眼用仮想画像７４を水平１ライン毎に交互に配置した３次元の手モデル画像５１およびアノテーション画像５２を生成する。そして、画像生成部３１は、手モデル画像５１およびアノテーション画像５２の３Ｄ画像データＰｄ１を画像合成部３２に出力する。
　画像合成部３２は、内視鏡１１から入力された内視鏡画像データＩｄに基づく内視鏡画像５０に、画像生成部３１から入力された３Ｄ画像データＰｄ１に基づく手モデル画像５１およびアノテーション画像５２を重畳した合成画像５４（図４参照）を生成し、その合成画像５４の施術側合成画像データＣｄ１を３Ｄモニタ１２に出力する。したがって、３Ｄモニタ１２には、施術側合成画像データＣｄ１に基づく合成画像５４が表示される。
　これにより、施術者４は、指導者６の指示内容に加えて、指導者６の実際の手の動きを３次元で確認することができる。
＜３．まとめ＞
　上述したように、支援システム１は、被支援装置（施術側装置２）と、被支援装置（施術側装置２）とは離隔して設けられる支援装置（指導側装置３）とを備える。
　支援装置（指導側装置３）は、指導者６の指示内容を３次元で検出する３次元位置検出部２２と、３次元位置検出部２２により検出された指示内容を示す指示内容情報ＣＩを送信するデータ送信部４１とを備える。
　被支援装置（施術側装置２）は、送信された指示内容情報ＣＩに基づいて、指導者６の指示内容を示す３次元のアノテーション画像５２を生成する第１画像生成部（画像生成部３１）と、被支援装置（指導側装置３）により撮像された撮像画像（内視鏡画像５０）に対してアノテーション画像５２を合成して第１合成画像（合成画像５５）を生成する第１画像合成部（画像合成部３２）と、を備える。
　これにより、施術側装置２では、内視鏡画像５０に対して３次元のアノテーション画像５２が重畳された合成画像５５を３Ｄモニタ１２に表示することが可能となる。
　したがって、偏光メガネ７を介して３Ｄモニタ１２を視認する施術者４は、３次元のアノテーション画像５２を視認することにより、指導者６の指示内容を３次元で（平面方向に加えて奥行方向の情報を含めて）確認することができる。すなわち、支援システム１では、指導者６の指示内容をより正確に認識することができる。
　また、３次元位置検出部２２は、指導者６の手の位置を３次元で検出する。支援装置（指導側装置３）は、３次元位置検出部２２により検出された指導者６の手の位置を示す位置情報ＰＩに基づいて、３次元の手モデル画像５１を生成する第２画像生成部（画像生成部４２）と、被支援装置（施術側装置２）から送信された撮像画像（内視鏡画像５０）に、手モデル画像５１を合成して第２合成画像（合成画像５３）を生成する第２画像合成部（画像合成部４３）と、を備える。
　これにより、偏光メガネ７を介して３Ｄモニタ２１を視認する指導者６は、内視鏡画像５０に対する自身の手の位置を３次元で確認することができる。
　また、第２画像生成部（画像生成部４２）は、位置情報ＰＩおよび指示内容情報ＣＩに基づいて、３次元の手モデル画像５１およびアノテーション画像５２を生成し、第２画像合成部（画像合成部４３）は、撮像画像（内視鏡画像５０）に手モデル画像５１およびアノテーション画像５２を合成して第３合成画像（合成画像５４）を生成する。
　これにより、偏光メガネ７を介して３Ｄモニタ２１を視認する指導者６は、内視鏡画像５０に対する自身の手の位置および指示内容を３次元で確認することができる。
　第１画像生成部（画像生成部３１）は、ＧＰＵ１６のシェーダー処理を用いて、指示内容情報ＣＩに基づいて右眼用アノテーション画像（右眼用仮想画像７５）および左眼用アノテーション画像（左眼用仮想画像７６）を生成し、右眼用アノテーション画像および左眼用アノテーション画像をラインバイライン方式で合成することによりアノテーション画像５２を生成する。
　これにより、施術側装置２では、合成画像５５を３Ｄモニタ１２に表示するまでの遅延時間が極めて短くすることができ、タイムラグの少ない表示を行うことができる。
　第１画像生成部（画像生成部３１）は、右眼用アノテーション画像（右眼用仮想画像７５）および左眼用アノテーション画像（左眼用仮想画像７６）の水平方向の位置をずらすことにより、３次元のアノテーション画像５２の視差調整を行う。
　これにより、施術側装置２では、内視鏡画像５０に対してアノテーション画像５２の奥行方向がずれて見える場合に、視差調整を行うことで、内視鏡画像５０に対するアノテーション画像５２の奥行方向の位置を調整することができる。かくして、施術側装置２では、指導者６の指示内容をより正確に認識することができる。
＜４．変形例＞
　なお、本実施形態では、支援システム１の一例として、施術者４が遠隔地にいる指導者６の指示を受けながら患者５に対して施術を行うことのできる手術支援システムについて説明したが、支援システム１は、遠隔地にいる指導者６が、施術側の撮像画像を視認しながら施術者４に対して指示を行う状況に幅広く適用することが可能である。
　例えば、スポーツ指導における選手と監督、教育や職業訓練などの学習支援における講師と受講者、リモート会議における発表者と傍聴者など、様々な用途に支援システム１を適用できる。
　また、上記した実施形態では、図１に示すような内視鏡１１により撮像を行う例について説明したが、撮像機器は、施術者４側の施術を撮像することができるものであればよく、内視鏡１１に限られることはない。
　また、上記した実施形態では、図１の３次元位置検出部２２の一例として、指導者６の手の位置をステレオ赤外線カメラから検出するようにしたが、指導者６の手の位置および指示内容を３次元で検出することができれば、他の機器によって検出するようにしてもよい。
　また、上記した実施形態では、ＧＰＵ１６が画像生成部３１および画像合成部３２として機能するようにしたが、ＣＰＵ１３が画像生成部３１および画像合成部３２として機能するようにしてもよく、また、ＣＰＵ１３およびＧＰＵ１６が分担して画像生成部３１および画像合成部３２として機能するようにしてもよい。
　また、上記した実施形態では、ＧＰＵ２６が画像生成部４２および画像合成部４３として機能するようにしたが、ＣＰＵ２３が画像生成部４２および画像合成部４３として機能するようにしてもよく、また、ＣＰＵ２３およびＧＰＵ２６が分担して画像生成部４２および画像合成部４３として機能するようにしてもよい。
　また、上記した実施形態では、３Ｄモニタ１２および３Ｄモニタ２１に表示される３Ｄ画像がラインバイライン方式で生成されるようにしたが、他の方式で生成されるようにしてもよい。すなわち、少なくとも手モデル画像５１およびアノテーション画像５２が３次元で３Ｄモニタ１２および３Ｄモニタ２１に表示されるようにすれば、どのような方法であってもよい。
　最後に、上記した実施形態はあくまでも例示であり、本発明が上記した実施形態に限定されることはない。また、実施形態で説明されている構成の組み合わせの全てが課題の解決に必須であるとは限らない。さらに本開示に記載された効果はあくまでも例示であり限定されるものではなく、他の効果を奏するものであってもよいし、本開示に記載された効果の一部を奏するものであってもよい。
１　支援装置
２　施術側装置
３　指導側装置
１１　内視鏡
１２　３Ｄモニタ
１６　ＧＰＵ
２１　３Ｄモニタ
２２　３次元位置検出部
２６　ＧＰＵ
３１　画像生成部
３２　画像合成部
３３　データ送信部
４１　データ送信部
４２　画像生成部
４３　画像合成部

Claims (7)

  1. 　被支援装置と、前記被支援装置とは離隔して設けられる支援装置とを備える支援システムであって、
    　前記支援装置は、
    　指導者の指示内容を３次元で検出する３次元位置検出部と、
    　前記３次元位置検出部により検出された指示内容を示す指示内容情報を送信するデータ送信部と、を備え、
    　前記被支援装置は、
    　送信された前記指示内容情報に基づいて、前記指導者の指示内容を示す３次元のアノテーション画像を生成する第１画像生成部と、
    　前記被支援装置により撮像された撮像画像に対して前記アノテーション画像を合成して第１合成画像を生成する第１画像合成部と、を備える
    　支援システム。
  2. 　前記３次元位置検出部は、前記指導者の手の位置を３次元で検出し、
    　前記支援装置は、
    　前記３次元位置検出部により検出された前記指導者の手の位置を示す位置情報に基づいて、３次元の手モデル画像を生成する第２画像生成部と、
    　前記被支援装置から送信された前記撮像画像に、前記手モデル画像を合成して第２合成画像を生成する第２画像合成部と、を備える
    　請求項１に記載の支援システム。
  3. 　前記第２画像生成部は、前記位置情報および前記指示内容情報に基づいて、前記手モデル画像および前記アノテーション画像を生成し、
    　前記第２画像合成部は、前記撮像画像に前記手モデル画像および前記アノテーション画像を合成して第３合成画像を生成する
    　請求項２に記載の支援システム。
  4. 　前記第１画像生成部は、
    　ＧＰＵのシェーダー処理を用いて、前記指示内容情報に基づいて右眼用アノテーション画像および左眼用アノテーション画像を生成し、前記右眼用アノテーション画像および前記左眼用アノテーション画像をラインバイライン方式で合成することにより前記アノテーション画像を生成する
    　請求項１に記載の支援システム。
  5. 　前記第１画像生成部は、
    　前記右眼用アノテーション画像および前記左眼用アノテーション画像の水平方向の位置をずらすことにより、前記アノテーション画像の視差調整を行う
    　請求項４に記載の支援システム。
  6. 　被支援装置に離隔して設けられる支援装置であって、
    　指導者の指示内容を３次元で検出する３次元位置検出部と、
    　前記３次元位置検出部により検出された指示内容を示す指示内容情報を送信するデータ送信部と、
    を備える支援装置。
  7. 　支援装置に離隔して設けられる被支援装置であって、
    　前記支援装置において３次元で検出された指導者の指示内容を示す指示内容情報に基づいて、前記指導者の指示内容を示す３次元のアノテーション画像を生成する第１画像生成部と、
    　前記被支援装置により撮像された撮像画像に対して前記アノテーション画像を合成して第１合成画像を生成する第１画像合成部と、
    を備える被支援装置。
PCT/JP2022/005122 2022-02-09 2022-02-09 支援システム、支援装置、被支援装置 Ceased WO2023152829A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202280077469.8A CN118284382A (zh) 2022-02-09 2022-02-09 辅助系统、辅助装置、被辅助装置
PCT/JP2022/005122 WO2023152829A1 (ja) 2022-02-09 2022-02-09 支援システム、支援装置、被支援装置
EP22925850.4A EP4470496A4 (en) 2022-02-09 2022-02-09 ASSISTANCE SYSTEM, ASSISTANCE DEVICE AND ASSISTED DEVICE
JP2023543415A JP7401157B1 (ja) 2022-02-09 2022-02-09 支援システム、支援装置、被支援装置
US18/773,703 US20240371063A1 (en) 2022-02-09 2024-07-16 Assistance system, assistance device, and assisted device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/005122 WO2023152829A1 (ja) 2022-02-09 2022-02-09 支援システム、支援装置、被支援装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/773,703 Continuation US20240371063A1 (en) 2022-02-09 2024-07-16 Assistance system, assistance device, and assisted device

Publications (1)

Publication Number Publication Date
WO2023152829A1 true WO2023152829A1 (ja) 2023-08-17

Family

ID=87563818

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005122 Ceased WO2023152829A1 (ja) 2022-02-09 2022-02-09 支援システム、支援装置、被支援装置

Country Status (5)

Country Link
US (1) US20240371063A1 (ja)
EP (1) EP4470496A4 (ja)
JP (1) JP7401157B1 (ja)
CN (1) CN118284382A (ja)
WO (1) WO2023152829A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250235941A1 (en) * 2024-01-24 2025-07-24 Textron Aviation Inc. Bandsaw Cutting System

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000271147A (ja) 1999-03-19 2000-10-03 Olympus Optical Co Ltd 遠隔手術支援システム
WO2019083805A1 (en) * 2017-10-23 2019-05-02 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PRESENTING ENHANCED REALITY ON A SCREEN OF A TELEOPERATION SYSTEM
JP2019162339A (ja) * 2018-03-20 2019-09-26 ソニー株式会社 手術支援システムおよび表示方法
WO2020090943A1 (ja) * 2018-10-30 2020-05-07 Cyberdyne株式会社 インタラクティブ情報伝達システム及びインタラクティブ情報伝達方法並びに情報伝達システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9503681B1 (en) * 2015-05-29 2016-11-22 Purdue Research Foundation Simulated transparent display with augmented reality for remote collaboration
US20230105111A1 (en) * 2020-03-06 2023-04-06 Universität Heidelberg System and Method for Teaching Minimally Invasive Interventions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000271147A (ja) 1999-03-19 2000-10-03 Olympus Optical Co Ltd 遠隔手術支援システム
WO2019083805A1 (en) * 2017-10-23 2019-05-02 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PRESENTING ENHANCED REALITY ON A SCREEN OF A TELEOPERATION SYSTEM
JP2019162339A (ja) * 2018-03-20 2019-09-26 ソニー株式会社 手術支援システムおよび表示方法
WO2020090943A1 (ja) * 2018-10-30 2020-05-07 Cyberdyne株式会社 インタラクティブ情報伝達システム及びインタラクティブ情報伝達方法並びに情報伝達システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4470496A4

Also Published As

Publication number Publication date
US20240371063A1 (en) 2024-11-07
JP7401157B1 (ja) 2023-12-19
JPWO2023152829A1 (ja) 2023-08-17
EP4470496A1 (en) 2024-12-04
EP4470496A4 (en) 2025-03-19
CN118284382A (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
US10622111B2 (en) System and method for image registration of multiple video streams
US8911358B2 (en) Endoscopic vision system
JP3717653B2 (ja) 頭部搭載型画像表示装置
US9092996B2 (en) Microsurgery simulator
US8520024B2 (en) Virtual interactive presence systems and methods
JP2026004518A (ja) 外科手術仮想現実ユーザインターフェース
JP7373800B2 (ja) キャリブレーションシステム、及び、瞳孔間のキャリブレーション方法
KR20080089376A (ko) 3차원 텔레스트레이션을 제공하는 의료용 로봇 시스템
KR101447931B1 (ko) 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
US20240371063A1 (en) Assistance system, assistance device, and assisted device
CN104887314A (zh) 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备
CN115919239A (zh) 用于3d内窥镜成像系统的成像方法和3d内窥镜成像系统
JP7156751B1 (ja) 情報処理装置、支援システム
JP7393842B1 (ja) 支援システム、支援装置、被支援装置
US9848758B2 (en) Stereoscopic endoscope system
KR20150007517A (ko) 실감형 시각정보를 이용한 수술동작 지시방법
WO2024202956A1 (ja) 医療用データ処理装置、医療用システム
Guana Three-Dimensional Minimally Invasive Surgery Enhances Surgeon’s Performances, Reducing Operative Time and Errors. Comparative Study in a Pediatric Surgery Setting.
NZ621149B2 (en) System and method for image registration of multiple video streams

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023543415

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22925850

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280077469.8

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022925850

Country of ref document: EP

Effective date: 20240827

NENP Non-entry into the national phase

Ref country code: DE