BRPI0919448B1 - método para o rastreamento de uma unidade folicular e sistema para o rastreamento de uma unidade folicular. - Google Patents

método para o rastreamento de uma unidade folicular e sistema para o rastreamento de uma unidade folicular. Download PDF

Info

Publication number
BRPI0919448B1
BRPI0919448B1 BRPI0919448A BRPI0919448B1 BR PI0919448 B1 BRPI0919448 B1 BR PI0919448B1 BR PI0919448 A BRPI0919448 A BR PI0919448A BR PI0919448 B1 BRPI0919448 B1 BR PI0919448B1
Authority
BR
Brazil
Prior art keywords
image
motion vector
marker
follicular unit
follicular
Prior art date
Application number
Other languages
English (en)
Inventor
A Tenney John
R Breton Kyle
A Qureshi Shehrzad
Original Assignee
Restoration Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Restoration Robotics Inc filed Critical Restoration Robotics Inc
Publication of BRPI0919448A2 publication Critical patent/BRPI0919448A2/pt
Publication of BRPI0919448B1 publication Critical patent/BRPI0919448B1/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/32Surgical robots operating autonomously
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/14Fixators for body parts, e.g. skull clamps; Constructional details of fixators, e.g. pins
    • A61B90/17Fixators for body parts, e.g. skull clamps; Constructional details of fixators, e.g. pins for soft tissue, e.g. breast-holding devices
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods
    • A61B2017/00743Type of operation; Specification of treatment sites
    • A61B2017/00747Dermatology
    • A61B2017/00752Hair removal or transplantation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods
    • A61B2017/00969Surgical instruments, devices or methods used for transplantation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363Use of fiducial points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Neurosurgery (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Surgical Instruments (AREA)

Abstract

método para o rastreamento de uma unidade folicular e sistema para o rastreamento de uma unidade folicular trata-se de um sistema e método para o rastreamento, identificação e rotulação de objetos ou características de interesse. em algumas modalidades, o rastreamento é completo com o uso da assinatura única da característica de interesse e técnicas de estabilização de imagem. de acordo com alguns aspectos, um quadro de referência que utiliza os marcadores predeterminados é definido e atualizado com base em uma mudança no local dos marcadores e/ou informações de assinatura específicas. os objetos ou características individuais dentro do quadro também podem ser rastreados e identificados. os objetos podem ser rastreados mediante a comparação de duas imagens estáticas, determinação de uma mudança de posição de um objeto entre as imagens estáticas, cálculo de um vetor de movimento do objeto e utilização do vetor de movimento para atualizar o local de um dispositivo de imagem.

Description

Método para o rastreamento de uma unidade folicular e sistema para o rastreamento de uma unidade folicular Campo da invenção As modalidades apresentadas no presente documento referem-se geralmente a um sistema de rastreamento de objeto e, mais particularmente, a um sistema e método para rastrear de maneira precisa os folículos pilosos ou outros locais e características sobre uma superfície do corpo.
Fundamentos Um procedimento de transplante de cabelo envolve tipicamente a coleta de enxertos de cabelo de doador a partir de uma área doadora, por exemplo, as áreas limites traseiras e laterais, de um escalpo do paciente, e o implante dos mesmos em uma área calva ou área recipiente. No passado, os enxertos coletados eram relativamente grandes, entre 3 a 5 mm. No entanto, os recentes enxertos de doador podem ser tão pequenos quanto as unidades foliculares. As unidades foliculares (FUs) consistem em agregados de ocorrência natural de um a cinco folículos pilosos com espaçamento próximo que são distribuídos aleatoriamente sobre a superfície do escalpo.
As unidades foliculares podem ser classificadas, ou “tipificadas”, com base no número de cabelos na unidade e identificadas em estenografia com um “F1” (única unidade folicular pilosa), “F2” (duas unidades foliculares pilosas), etc. Em alguns casos de múltiplas unidades foliculares pilosas, os cabelos podem parecer surgir a partir de um único folículo ou ponto na pele. Em outros casos, os cabelos podem sair da pele ligeiramente espaçados uns dos outros.
Durante um procedimento de transplante de cabelo, determinados locais deveriam ser evitados para a coleta ou implante de cabelos. Por exemplo, se um médico já utilizou um local para a coleta ou implante de cabelos, o médico pode precisar evitar o uso do mesmo local para um procedimento subseqüente. Os dispositivos de rastreamento não rastreiam com facilidade alguns destes locais. É necessário um sistema que possa incluir uma base de dados de locais implantados e coletados. Um médico pode utilizar a base de dados para planejar a coleta e implantação futura. O sistema pode rastrear e registrar as informações do local mesmo quando o local real não pode ser observado, devido ao fato de que o sistema pode rastrear as características em torno do local, que incluem as unidades foliculares, as características do escalpo ou marcadores externos.
Também é necessário um sistema que possa rastrear as características de movimento. Uma forma de rastrear as características consiste em detectar seus locais em uma base de fotografia por fotografia. É necessário um sistema que possa aperfeiçoar o rastreamento e não precise detectar os locais da característica em uma base de fotografia por fotografia. Tal sistema pode utilizar vetores de movimento de características ou marcadores para aperfeiçoar o rastreamento.
Sumário Brevemente, e em termos gerais, é apresentado um sistema de rastreamento de objeto. Mais particularmente, é apresentado um método e sistema de rastreamento de objeto que rastreia objetos sobre uma superfície do corpo que não são facilmente rastreados de outra forma.
Em um aspecto, um método para o rastreamento de uma característica de interesse, tal como unidade folicular, envolve identificar ao menos um marcador em uma primeira imagem, a primeira imagem que inclui a característica de interesse, tal como uma unidade folicular; computar uma assinatura da característica de interesse na primeira imagem; identificar o ao menos um marcador em uma segunda imagem; computar um vetor de movimento que corresponde a uma mudança de posição do ao menos um marcador a partir da primeira imagem para a segunda imagem; e utilizar o vetor de movimento e a assinatura da característica de interesse na primeira imagem para rotular a característica de interesse na segunda imagem.
Em outro aspecto, existem ao menos três marcadores na primeira imagem. O uso de três ou mais marcadores permite tanto o rastreamento de movimento translacional como rotacional. O ao menos um marcador pode incorporar uma ou mais dentre outra unidade folicular, uma mancha, uma cicatriz, uma sarda, uma ruga, uma saliência ou uma depressão da superfície do corpo. Adicionalmente, uma pluralidade de marcadores pode ser incluída na primeira imagem e a identificação do ao menos um marcador em uma primeira imagem pode envolver a identificação de uma nuvem de pontos.
Em uma abordagem, um centróide da nuvem de pontos é calculado. A computação de uma assinatura da unidade folicular em uma primeira imagem pode envolver identificar um ou mais dentre um comprimento, tipo, calibre, ângulo de emergência, área, formato e cor da unidade folicular.
Adicionalmente, em uma abordagem específica, ao menos um marcador na primeira imagem é rotulado e o ao menos um marcador é rotulado na segunda imagem com o mesmo rótulo que na primeira imagem mediante a procura do ao menos um marcador na segunda imagem na direção apontada pelo vetor de movimento.
Em uma modalidade, poderiam ser usados vetores de movimento adicionais. Por exemplo, um segundo vetor de movimento é computado a partir da primeira imagem e da segunda imagem, e o segundo vetor de movimento é usado para rotular a unidade folicular na segunda imagem. O segundo vetor pode ser computado com o uso de uma ou mais dentre as técnicas de plano de bits com código Gray (Gray-Coded Bit-Plane), fluxo óptico e estabilização de imagem por busca de bloco.
Em diversos outros aspectos, um dispositivo de captura de imagem é movido de acordo com o vetor de movimento para manter a característica de interesse, tal como unidade folicular, em um campo de vista do dispositivo de captura de imagem. Além disso, a identificação do ao menos um marcador pode envolver a associação de identificadores eletrônicos com o ao menos um marcador. Além disso, qualquer marcador na segunda imagem inconsistente com seu local na primeira imagem, de acordo com o vetor de movimento, é desconsiderado.
Adicionalmente, o vetor de movimento pode definir uma região de busca para localizar a unidade folicular ou outra característica de interesse. A definição da região de busca envolve a análise de uma região ao longo do vetor de movimento e dentro de uma distância predeterminada a partir do vetor de movimento. A distância predeterminada a partir do vetor de movimento pode incorporar um cone que tem uma ponta em um local do marcador na primeira imagem, a ponta que tem um ângulo de ponta predeterminado, o cone que se estende em uma direção do vetor de movimento e que inclui uma área dentro do ângulo de ponta predeterminado.
Em diversas abordagens específicas, a primeira e a segunda imagem são divididas em uma pluralidade de primeira e segunda sub-imagens, e uma pluralidade de vetores de movimento a partir da primeira e segunda sub-imagens é computada. Adicionalmente, a unidade folicular que tem sido rastreada pode ser coletada a partir de uma área doadora e pode ser implantada em uma área recipiente.
Em outro aspecto, um método para o rastreamento de uma característica de interesse, tal como uma unidade folicular, pode envolver identificar uma unidade folicular em uma primeira imagem de uma superfície do corpo que contém unidades foliculares; computar uma assinatura da unidade folicular na primeira imagem; computar um vetor de movimento a partir da primeira imagem e uma segunda imagem da mesma superfície do corpo; e utilizar o vetor de movimento e a assinatura da unidade folicular na primeira imagem para rotular a unidade folicular na segunda imagem. O vetor de movimento poderia ser computado sem utilizar quaisquer marcadores, mas, de preferência, a partir da imagem como um todo. Em outras modalidades, conforme mencionado acima, um ou mais marcadores poderiam ser identificados na primeira e na segunda imagem, e computar o vetor de movimento pode incluir computar o vetor de movimento que corresponde a uma mudança de posição de um ou mais marcadores a partir da primeira imagem à segunda imagem. A computação da assinatura da unidade folicular na primeira imagem pode incluir identificar um ou mais dentre um comprimento, um tipo, um calibre, um ângulo de emergência, área, formato e cor da unidade folicular. Certamente, múltiplas características de interesse, que inclui múltiplos folículos pilosos, podem ser rastreadas de maneira simultânea ou seqüencial, de acordo com os princípios discutidos no presente pedido.
Em mais outro aspecto, um sistema para o rastreamento de uma característica de interesse, tal como uma unidade folicular, sobre uma superfície do corpo inclui um componente de identificação de assinatura, em que o componente de identificação de assinatura identifica as informações de assinatura sobre a unidade folicular em uma primeira imagem da superfície do corpo que contém as unidades foliculares; um componente vetorial, em que o componente vetorial calcula um vetor de movimento entre uma primeira imagem e uma segunda imagem da mesma superfície do corpo; e um sistema de rastreamento para receber os dados que correspondem ao vetor de movimento e rotular a unidade folicular na segunda imagem com base no vetor de movimento e nas informações de assinatura da unidade folicular. O sistema de rastreamento pode incluir, adicionalmente, um dispositivo de formação de imagens para a captura de imagens da superfície do corpo e pode ser adicionalmente programado para mover o dispositivo de formação de imagens com base no vetor de movimento. O componente de identificação de assinatura, o componente vetorial e o sistema de rastreamento podem ser parte de um único produto de programa de computador. Além disso, o sistema para o rastreamento de uma unidade folicular ou outra característica de interesse sobre uma superfície do corpo pode incorporar, adicionalmente, um componente de identificação de marcador. O componente de identificação de marcador pode consistir em uma parte do componente de identificação de assinatura ou pode ser um programa ou componente separado. Além disso, um ou mais dentre o componente de identificação de assinatura, o componente vetorial e o componente de rastreamento pode incluir um processador conectado a ao menos um dentre a memória e o dispositivo de formação de imagens. O dispositivo de formação de imagens pode consistir em uma câmera e o sistema pode consistir em um sistema robótico que inclui, adicionalmente, um braço robótico. Além disso, o dispositivo de formação de imagens pode ser conectado de maneira operável ao braço robótico. Observa-se também que um sistema para o rastreamento/rotulação da característica de interesse, tal como unidades foliculares, pode incluir uma interface adaptada para receber um dado de imagem que contém as unidades foliculares; e um processador de imagem que compreende um ou mais módulos para a execução de operações nos dados de imagem, o um ou mais módulos que incluem instruções para: receber uma primeira imagem de uma superfície do corpo que contém unidades foliculares e uma segunda imagem da mesma superfície do corpo; identificar uma unidade folicular na primeira imagem; computar uma assinatura da unidade folicular na primeira imagem; computar um vetor de movimento a partir da primeira imagem e da segunda imagem; e utilizar o vetor de movimento e a assinatura da unidade folicular na primeira imagem para rotular a unidade folicular na segunda imagem.
Em outro aspecto, um programa de computador incorporado de maneira tangível em um meio de memória legível por computador e que inclui as instruções que fazem com que um processador de um dispositivo de computação execute um processo do computador para o rastreamento de uma característica de interesse, tal como uma unidade folicular, compreende identificar ao menos um marcador em uma primeira imagem, a primeira imagem que inclui uma unidade folicular; computar uma assinatura da unidade folicular na primeira imagem; identificar o ao menos um marcador em uma segunda imagem; computar um vetor de movimento que corresponde a uma mudança de posição do ao menos um marcador a partir da primeira imagem à segunda imagem; e utilizar o vetor de movimento e a assinatura da unidade folicular em uma primeira imagem para rotular a unidade folicular na segunda imagem. Adicionalmente, observa-se que o processador está associado de maneira operativa à memória. O processo do computador também pode envolver comparar os primeiros dados do marcador a partir da primeira imagem aos primeiros dados do marcador a partir da segunda imagem e armazenar um vetor resultante na memória. O programa de computador pode estar associado de maneira operativa a um dispositivo de captura de imagem.
Em ainda outros aspectos, um método para o rastreamento de uma característica de interesse (por exemplo, uma unidade folicular) sobre uma superfície do corpo envolve identificar ao menos um marcador em uma primeira imagem estática, a primeira imagem estática que contém uma característica de interesse; computar uma assinatura da característica de interesse na primeira imagem; definir um quadro de referência que corresponde a ao menos um marcador; localizar o ao menos um marcador em uma segunda imagem estática; e detectar uma posição da característica de interesse na segunda imagem estática com o uso da assinatura computada e atualizar um componente translacional do quadro de referência com base em uma posição do ao menos um marcador na segunda imagem estática.
Uma abordagem também pode incluir identificar ao menos três marcadores em uma primeira imagem estática, e em que a detecção de uma posição da característica de interesse na segunda imagem estática compreende atualizar tanto os componentes translacionais como rotacionais do quadro de referência. Adicionalmente, o ao menos um marcador na primeira imagem estática poderia ser identificado, por exemplo, mediante a análise de ao menos um dentre um comprimento, uma área, um formato, um tipo ou uma cor de tal marcador.
Adicionalmente, o ao menos um marcador pode consistir em uma unidade folicular e a identificação do ao menos um marcador compreende, adicionalmente, analisar ao menos um dentre o ângulo de emergência da unidade folicular a partir da superfície do corpo e o calibre do cabelo. As imagens estáticas podem consistir em imagens de vídeo de uma superfície do corpo, o ao menos um marcador consiste em uma unidade folicular sobre a superfície do corpo e a característica de interesse consiste em outra unidade folicular sobre a superfície do corpo. O quadro de referência pode ser atualizado mediante a utilização de uma abordagem de nuvem de pontos e um dispositivo de formação de imagens pode ser movido de acordo com um deslocamento médio da nuvem de pontos. Uma característica de interesse pode consistir em uma calva e o método pode envolver, adicionalmente, definir um ou mais locais de implante de cabelo.
Em outra abordagem, um método para o rastreamento de uma característica de interesse (tal como, uma unidade folicular) sobre uma superfície do corpo inclui identificar ao menos três marcadores em uma primeira imagem estática, em que a primeira imagem estática exibe uma característica de interesse; computar uma assinatura da característica de interesse na primeira imagem estática; rastrear ao menos três primeiros objetos na primeira imagem estática; definir um quadro de referência que corresponde aos três marcadores; determinar se os três marcadores estão em uma segunda imagem estática; e em resposta a ao menos um dos três marcadores que não estão na segunda imagem estática, detectar uma posição da característica de interesse na segunda imagem estática com o uso da assinatura computada da característica de interesse e atualizar o quadro de referência com base em uma posição de qualquer um dentre ao menos três marcadores na segunda imagem estática e qualquer um dos primeiros objetos na segunda imagem. Uma soma de uma combinação de marcadores e primeiros objetos usados para detectar a posição da característica de interesse é de ao menos três.
Ao menos um os ao menos três primeiros objetos pode incluir uma unidade folicular, uma mancha, uma cicatriz, uma sarda, uma ruga, uma saliência ou uma depressão da superfície do corpo. A detecção da posição da característica de interesse pode envolver, adicionalmente, computar um vetor de movimento a partir da primeira imagem estática e da segunda imagem estática e utilizar o vetor de movimento para atualizar o quadro de referência e para localizar ao menos um dentre ao menos três marcadores. Ao menos um primeiro objeto na primeira imagem estática é identificado e o primeiro objeto identificado fica localizado na segunda imagem estática, e a computação do vetor de movimento inclui identificar uma mudança de posição do primeiro objeto identificado a partir da primeira imagem à segunda imagem.
Observa-se também que um sistema para o rastreamento de uma característica de interesse sobre uma superfície do corpo pode incluir uma interface adaptada para receber uma pluralidade de imagens a partir de um dispositivo de captura de imagem, ao menos uma primeira imagem que compreende uma característica de interesse; um componente de identificação de assinatura, em que o componente de identificação de assinatura identifica as informações de assinatura sobre a característica de interesse e detecta ao menos um marcador na primeira imagem; e um sistema de referência de marcador. O sistema de referência define um quadro de referência que corresponde a ao menos um marcador, determina se o ao menos um marcador está em uma segunda imagem, e ajusta o quadro de referência que corresponde a uma mudança de posição do ao menos um marcador a partir da primeira imagem à segunda imagem para localizar a característica de interesse. O componente de identificação de assinatura e o sistema de referência de marcador podem fazer parte de um único produto de programa de computador. Além disso, o componente de identificação de assinatura pode incluir um processador conectado à memória e o processador associa um identificador eletrônico a ao menos um marcador e armazena o identificador eletrônico na memória. Além disso, o sistema de referência de marcador pode incluir um processador conectado à memória e o processador compara um local de cada um do ao menos um marcador na primeira imagem a um local de cada um do ao menos um marcador em uma segunda imagem, calcula uma mudança correspondente em um quadro de referência e armazena um resultado do cálculo na memória. O sistema pode compreender, adicionalmente, um componente vetorial. O sistema pode consistir em um sistema robótico que inclui, adicionalmente, um braço robótico.
Outras características e vantagens se tornarão evidentes a partir da seguinte descrição detalhada, tomada em conjunto com os desenhos em anexo, os quais ilustram a título de exemplo as características das diversas modalidades.
Breve descrição dos desenhos A invenção é ilustrada a título de exemplo e não de limitação nas figuras dos desenhos em anexo. Nos desenhos, os números de referência idênticos identificam as ações ou elementos similares. Os tamanhos e posições relativas dos elementos nos desenhos não são necessariamente representados em escala. Por exemplo, os formatos de diversos elementos e ângulos não são representados em escala e alguns destes elementos são ampliados e posicionados de maneira arbitrária para aperfeiçoar a legibilidade do desenho. Adicionalmente, os formatos particulares dos elementos, conforme representados, não se destinam a transmitir qualquer informação em relação ao formato real dos elementos particulares e têm sido selecionados somente para facilidade de reconhecimento nos desenhos. A Figura 1 ilustra um “quadro” cinemático; A Figura 2 ilustra a atualização de um quadro; A Figura 3 ilustra o planejamento de coleta com o uso dos marcadores de registro; A Figura 4 ilustra o planejamento de implante com o uso dos marcadores de registro; A Figura 5 ilustra a atualização de um quadro após a perda de um padrão de registro; A Figura 6 ilustra a atualização de um quadro com ponto além dos marcadores de registro originais; A Figura 7 ilustra a atualização de um quadro com o uso das unidades foliculares em um escalpo do paciente; e A Figura 8 ilustra um algoritmo de nuvem de unidade folicular.
As Figuras 9A e 9B ilustram rastreamento de nuvem de pontos; A Figura 10 ilustra o cálculo do vetor de movimento; A Figura 11 ilustra a rotulação da unidade folicular; A Figura 12 também ilustra a rotulação da unidade folicular e problemas associados;
As Figuras 13A e 13B ilustram um processo de rotulação/rastreamento de unidade folicular e um processo de rotulação/rastreamento de unidade folicular com o uso de um vetor de movimento, respectivamente; A Figura 14 ilustra a definição de uma região de busca; A Figura 15 ilustra um processo de estabilização de imagem exemplificador; A Figura 16 ilustra uma comparação de imagem; A Figura 17 ilustra uma estabilização de imagem com múltiplos vetores calculados; e A Figura 18 ilustra um sistema exemplificador que rastreia objetos.
Descrição detalhada As diversas modalidades descritas abaixo são fornecidas somente a título de ilustração e não deveriam ser construídas para limitar a invenção reivindicada. Os versados na técnica irão reconhecer prontamente as diversas modificações e alterações que podem ser feitas nas modalidades apresentadas sem que se desvie do escopo da invenção reivindicada. A título de exemplo não-limitador, os versados na técnica irão observar que os recursos ou características particulares descritas em referência a uma figura ou modalidade podem ser combinadas, conforme adequado, com os recursos ou características descritas em outra figura ou modalidade. Adicionalmente, os versados na técnica irão reconhecer que os dispositivos, sistemas e métodos apresentados no presente documento não se limitam a um campo, tal como restauração capilar, mas podem ser aplicados a inúmeros campos que exigem que objetos sejam rastreados.
Os sistemas e métodos descritos da presente descrição são úteis em qualquer aplicação que exige o rastreamento de objetos individuais através de um guia de imagem. Também são úteis em qualquer aplicação onde se deseja registrar um conjunto de marcadores visuais para criar um quadro de referência e, então, rastrear um objeto mediante a utilização de objetos circundantes para atualizar o quadro de referência, em vez de rastrear o objeto diretamente. Por exemplo, o conceito de utilizar a saída de algoritmos de estabilização de imagem para guiar ou conduzir um rastreador de objeto poderia se difundir em uma ampla gama de aplicações médicas e não-médicas, tal como procedimentos robóticos guiados por imagem que envolvem a imagiologia por fluoroscopia ou raios x, onde fiduciais são inseridos na anatomia, ou aplicações de vigilância de vídeo que incluem as câmeras com panorama/inclinação/zoom (pan-tilt-zoom) em conjunto com analítica para rastrear os objetos em movimento através de uma cena que se modifica dinamicamente.
Os sistemas e métodos da presente descrição são especialmente úteis em procedimentos de transplante de cabelo, que inclui o implante e coleta de cabelo controlada por computador ou automatizada. Portanto, diversos exemplos e modalidades descritas no presente documento irão utilizar as unidades foliculares ou cabelos simplesmente como um exemplo da aplicação da presente descrição, para os propósitos de descrição de algumas modalidades com o entendimento de que isto representa de forma mais geral todas as outras aplicações adequadas.
Deve-se compreender que os métodos exemplificadores descritos no presente documento são especialmente adequados para o uso com um sistema robótico para planejamento de tratamento, coleta e/ou implante de cabelo. No entanto, não se limitam de forma alguma às aplicações robóticas; ao contrário, os métodos descritos podem ser aplicados a procedimentos manuais conduzidos por um ser humano com um dispositivo portátil que poderia ser, por exemplo, conectado de maneira operável ao processador do computador e sistema de imagem. Os sistemas manuais, parcial e completamente automatizados também se incluem no escopo da presente invenção.
Quando se executa as operações médicas sobre uma pele ou escalpo do paciente, determinadas áreas precisam ser rastreadas, de modo que um médico ou, por exemplo, um mecanismo robótico no caso dos procedimentos automatizados, possa retornar para a área, ou evitar a área, em um momento posterior. Estas áreas podem ser rastreadas mediante a observação de imagens da área e a identificação de características sobre ou em torno da área. Uma pluralidade de características de interesse ou uma única característica poderia ser rastreada de seqüencial ou simultânea e, no exemplo do procedimento de transplante de cabelo, as características rastreadas (por exemplo, folículos pilosos) poderiam ser coletadas. As características identificadas são registradas mediante o registro dos dados sobre a características em uma base de dados, memória, ou outro meio de armazenamento de dados. As características identificadas podem ser acessadas em um momento posterior e comparadas com as imagens estáticas, ou “fotografias”, para determinar se uma região mostrada na fotografia consiste na mesma região que contém os identificadores. As “fotografias” podem consistir em únicas imagens de um sinal de vídeo, fotos ou outras representações fixas da pele do paciente.
Um método de registro de uma área ou característica envolve identificar um conjunto de marcadores em um padrão específico em uma fotografia que poderia ser reconhecido no futuro. Os marcadores são não-colineares e, assim, definem um quadro 3-D. Embora um mínimo de três marcadores seja desejável para definir um quadro 3-D, mais marcadores podem ser usados. Estes marcadores na fotografia são chamados de “padrão de registro” e pode ser reconhecido em fotografias subseqüentes. O quadro 3-D, que consiste em coordenadas x, y, z, e coordenadas de rotação Rx, Ry e Rz, é chamado de um “quadro de paciente”. Em cada fotografia sucessiva, onde o padrão de registro é completamente visível e identificável, o quadro de paciente é simplesmente movido com o padrão de registro atualizado. As coordenadas x, y e z podem ser mencionadas como a translação do quadro de paciente. As coordenadas Rx, Ry e Rz podem ser mencionadas como a orientação do quadro de paciente. Por uma questão de clareza, o termo “quadro” é definido neste relatório descritivo como um local e uma orientação definida a partir de um ponto de referência conhecido. Uma única seção de um vídeo ou foto é mencionada, neste relatório descritivo, como uma “fotografia” ou uma imagem. Embora uma fotografia possa ser mencionada como um “quadro,” este relatório descritivo utiliza somente a palavra “quadro”, conforme definido acima, em seu sentido cinemático e a palavra “fotografia” para descrever uma única imagem de um sinal de vídeo, para se evitar confusão. A Figura 1 ilustra um exemplo de um quadro cinemático. Nesta modalidade exemplificadora, um braço robótico 103 é fixado a uma base fixa 101 que tem um centro 104. O braço 103 retém e posiciona uma ferramenta 102. A ferramenta tem um quadro, rotulado x, y, z, e o local e a rotação da ferramenta 102 é conhecida em relação ao centro 104 da base. Este local e orientação podem ser armazenados de maneira eletrônica. Se a relação entre a ferramenta e o centro 104 da base se modificar, o quadro pode ser atualizado de maneira eletrônica.
Depois que o padrão de registro é identificado e salvo eletronicamente, o local e orientação do quadro podem ser atualizados mediante a análise da posição dos marcadores em uma fotografia subseqüente. A Figura 2 ilustra a atualização de um quadro com base em uma mudança de posição dos marcadores. Um uma primeira fotografia, a fotografia N, um quadro tridimensional é definido pelo local dos marcadores 201, 202 e 203. Os marcadores (também chamados de “fiduciais”) podem consistir, por exemplo, em marcadores físicos ou marcos anatômicos em uma pele ou superfície do corpo do paciente, tal como uma unidade folicular ou cabelo, uma mancha, uma cicatriz, uma sarda, uma ruga, uma saliência ou uma depressão da superfície do corpo. Os marcadores também podem consistir em objetos colocados em ou fixados à pele do paciente, às vezes chamados de fiduciais externos. Um fiducial consiste em um objeto em um campo de visão de um dispositivo de formação de imagens que age como uma referência. Poderia consistir em um marco anatômico, um marcador externo ou qualquer combinação dos mesmos. Na fotografia N-1, os marcadores têm se movido para baixo e para direita na fotografia. Outro objeto, 204, tem surgido em um local similar ao marcador 201 na fotografia N. No entanto, o objeto 204 não seria confundido com marcador 201, devido ao fato de que o marcador 201 é identificado em relação aos marcadores 202 e 203. O quadro é atualizado em uma base de dados ou memória para reconhecer que o paciente tem se movido e que o objeto 204 não consiste no marcador 201.
Em algumas aplicações, o padrão de registro pode ser usado para um planejamento de implante e coleta de cabelo em tempo real, conforme mostrado nas Figuras 3 e 4, respectivamente. Na Figura 3, os marcadores 301, 302, 303 e 304 definem um quadro de paciente. O local de cada unidade folicular 305 em uma pele do paciente 306 pode ser mapeado em relação ao quadro de paciente. A parte da superfície do corpo do paciente que é usada para a coleta das unidades foliculares consiste na “área doadora” 307. A densidade da unidade folicular da área doadora pode ser calculada mediante a contagem das unidades foliculares na fotografia. A contagem das unidades foliculares pode ser completa, por exemplo, conforme descrito na publicação de patente cedida à mesma requerente WO 2008/024955, a qual está aqui incorporada a título de referência. Um médico pode determinar quantas unidades foliculares por cm2 extrair a partir da área doadora e inserir tais informações no sistema de planejamento de coleta. O sistema de planejamento de coleta, por sua vez, determina quais folículos extrair com base no número de unidades foliculares e no número de unidades foliculares desejadas por cm2 a serem extraídas. Outros fatores também podem ser usados para determinar quais unidades foliculares extrair, que incluem características da unidade folicular e características do escalpo/superfície do corpo.
Semelhantemente, uma metodologia similar pode ser usada durante o implante de cabelo. A Figura 4 ilustra um método de implante exemplificador. O padrão de registro compreende, por exemplo, os marcadores 401, 402, 403 e 404. Os marcadores definem a área recipiente 407, por exemplo, sobre o escalpo 406. Um sistema de planejamento recebe as entradas que indicam o número de unidades foliculares a implantar e os locais de implante 409. As unidades foliculares exemplificadoras 408 e 405 podem ser analisadas para determinar uma densidade da unidade folicular, padrão de calvície, ou outros critérios para o implante de unidades foliculares. A área calva sobre a superfície do corpo pode consistir em uma característica de interesse que poderia ser rastreada e rotulada para criar os locais de implante, de acordo com a presente descrição.
Um paciente pode se mover durante uma análise do escalpo, coleta ou implante. O sistema de monitoramento pode rastrear cada unidade folicular e outras áreas do escalpo mediante a comparação de uma fotografia com uma fotografia anterior, e a atualização do quadro do paciente para corresponder à posição modificada dos marcadores a partir de uma fotografia à seguinte.
No entanto, às vezes um ou mais marcadores não irão aparecer em uma fotografia subseqüente, devido ao fato de que o paciente tem se movido ou virado de tal modo que os marcadores fiquem fora da fotografia. Além disso, os objetos ou sangue podem obscurecer ou bloquear um ou mais marcadores. A Figura 5 ilustra um paciente que move os marcadores fora da fotografia. Os marcadores 501, 502 e 503 definem um quadro do paciente sobre a superfície do corpo 500. Na fotografia N, todos os marcadores 501, 502 e 503 são visíveis. Um marcador adicional 504 também é visível e identificado e sua posição pode ser registrada em relação ao quadro do paciente formado a partir dos marcadores 501, 502 e 503. A fotografia N-1 mostra como um paciente tem se movido para cima e girado no sentido horário em relação à fotografia. Conseqüentemente, somente o marcador 504 é visível na fotografia N-1. Desde que o local do marcador 504 seja conhecido em relação ao quadro de paciente, o quadro de paciente pode ser atualizado correspondendo à mudança de posição do marcador 504. No entanto, neste exemplo, o marcador 504 pode ser usado somente para atualizar as coordenadas x, y e z. O marcador 504, sozinho, não fornece dados para a atualização das coordenadas Rx, Ry e Rz, que correspondem à rotação do quadro do paciente em torno de cada um dos eixos geométricos x, y e z. Deste modo, o marcador 504 atualiza a translação do quadro de paciente, mas não a orientação do quadro de paciente.
Ao menos três pontos não-colineares deveriam ser visíveis tanto na fotografia N como na fotografia N-1, a fim de atualizar tanto a translação como a orientação de um quadro de paciente. A Figura 6 mostra um quadro de paciente que tem três marcadores 601, 602 e 603 que definem o quadro de paciente, e quatro marcadores adicionais 604, 605, 606 e 607 que são identificados pelo sistema. Na fotografia N, todos os sete marcadores 601 a 607 são visíveis. Na fotografia N-1, o paciente movido e girado, e os marcadores 601, 602 e 603 não são mais visíveis na fotografia. No entanto, o sistema pode utilizar, por exemplo, os marcadores 604 a 606 que continuam a permanecer no campo de visão (FOV) depois que o movimento do paciente atualiza o quadro do paciente, que inclui a orientação do quadro. À medida que se presume que os marcadores 604 a 606 estejam fixos no quadro do paciente, o quadro pode ser movido de tal modo que os marcadores não tenham as mesmas coordenadas de quadro de paciente em cada fotografia.
Embora os marcadores ou fiduciais externos possam ser usados para definir um quadro de paciente, as ocorrências naturais sobre a superfície do corpo também podem ser usadas. Uma das características ou objetos mais comuns sobre uma superfície do corpo consiste em uma unidade folicular que compreende um determinado número de cabelos. Os cabelos são exclusivamente adequados como marcadores naquelas aplicações que envolvem o transplante de cabelo, devido ao fato de que os cabelos já são rastreados pelo sistema para propósitos de análise, coleta e implante. Um centro de massa, ou centróide, de cada unidade folicular pode ser usado como um marcador. O movimento de cada centróide é rastreado entre as fotografias e o movimento de uma ou mais unidades foliculares pode ser analisado para atualizar um quadro de paciente. O quadro de referência pode ser definido ou criado mediante a determinação de uma relação entre uma característica de interesse (que poderia consistir, por exemplo, em uma unidade folicular) e uma ou uma pluralidade de características adicionais (as quais poderiam consistir novamente em outras unidades foliculares) localizadas na vizinhança ou proximidades da característica de interesse. Por exemplo, se todas as unidades foliculares se moverem para esquerda por 1 mm, um indivíduo pode deduzir que o quadro de paciente tem se movido para esquerda por1 mm. Estes princípios funcionam em todos os seis graus de liberdade, mesmo se todos os marcadores de registro que definem um quadro de paciente forem perdidos de fotografia à fotografia, desde que ao menos três unidades foliculares sejam ainda visíveis no FOV, conforme mostrado no seguinte exemplo. A Figura 7 ilustra a atualização de um quadro de paciente com unidades foliculares. Na fotografia N, os marcadores 701, 702 e 703 são usados para definir um quadro de paciente. As unidades foliculares 704, 705, 706 e 707 são rastreadas para os propósitos de análise, coleta e implante. A fotografia N-1 mostra os marcadores 701 a 703 fora da fotografia, o qual pode ocorrer, por exemplo, quando a superfície do corpo gira. Desde que os locais de 704 a 707 sejam conhecidos em relação ao quadro de paciente, quaisquer três unidades foliculares de 704 a 707 podem ser usadas para atualizar o quadro de paciente, que inclui a translação e orientação.
Quando os cabelos ou outros marcadores de registro são usados para definir ou atualizar um quadro de paciente, os cabelos podem ser rastreados por meio de qualquer método, que inclui a utilização de um algoritmo de nuvem de pontos. B.K.P. Horn, “Closed Form solution of Absolute Orientation Using Unit Quaturnians”, J. Opt. Soc. AMA/Vol. 4, abril de 1987, apresenta tal algoritmo (“algoritmo Horn”).
Os algoritmos de nuvem de pontos que estimam uma transformação de corpo rígido entre duas nuvens de pontos somente funcionam com vigor se o mesmo conjunto de pontos for usado em ambas as fotografias. Uma transformação de corpo rígido consiste em uma transformação que conserva o formato dos objetos nos quais a mesma atua. Para uso neste contexto, uma nuvem de pontos que se submete a uma transformação de corpo rígido terá seu formato preservado. Portanto, uma nuvem de pontos circular permanece circular, uma nuvem de pontos hexagonal permanece hexagonal, etc. Ao se utilizar um algoritmo de nuvem de pontos com uma superfície do corpo que tem muitos cabelos, o algoritmo será mais preciso se as mesmas unidades foliculares forem usadas em cada nuvem de pontos e se mais unidades foliculares forem usadas para gerar a nuvem. Também é importante que as mesmas unidades foliculares compreendam a nuvem de pontos em cada fotografia. A Figura 8 ilustra um problema associado ao “algoritmo Horn” típico que pode surgir quando o paciente se move e a correspondência adequada de pontos não é mantida de fotografia para fotografia. Na fotografia N, as unidades foliculares 803 a 809 podem ser usadas para gerar uma nuvem de pontos. No entanto, na fotografia N-1, o paciente tem se movido e as unidades foliculares 808 e 809 não estão mais visíveis na fotografia. Além disso, as unidades foliculares 801 e 802 têm entrado na fotografia. Uma vez que o mesmo número de unidades foliculares existe em cada fotografia, um sistema pode gerar de maneira equivocada uma nuvem de pontos com o uso das sete unidades foliculares na fotografia N e associar a mesma às sete unidades foliculares na fotografia N-1. Uma vez que as unidades foliculares em cada fotografia são diferentes, o quadro de paciente seria atualizado de maneira incorreta.
Para evitar o problema acima, o sistema de acordo com a presente descrição analisa as características das unidades foliculares (ou outras características adequadas) para determinar se as mesmas unidades foliculares existem em cada fotografia. Somente as unidades foliculares que existem em ambas as fotografias são usadas para gerar uma nuvem de pontos para definir e atualizar um quadro de paciente, para rastrear os objetos e locais sobre a superfície do corpo. As características que podem ser usadas para identificar as unidades foliculares, cabelos, ou outras características incluem, mas não se limitam a, o tipo, o calibre, o comprimento, o ângulo de emergência, a área, o formato, a cor e/ou qualquer combinação dos mesmos, os quais iriam definir a “assinatura” única de tal unidade folicular ou outra característica usada. Quaisquer outras características ou “marcas” detectáveis podem ser usadas para identificar a unidade folicular, cabelo ou característica. A atualização do quadro de paciente à base de “ nuvem de pontos” descrita acima é especialmente útil na automação do implante e planejamento para o uso no sistema de implante de cabelo robótico. O número de unidades foliculares para o implante (N) é inserido no sistema. O processador de imagem localiza quaisquer calvas com base nas imagens de uma superfície do corpo particular com uso de um algoritmo de agrupamento e, então, gera N locais de implante localizados dentro das calvas identificadas. O quadro de paciente pode ser formado a partir dos cabelos circundantes e, possivelmente, quaisquer marcadores externos visíveis, e cada local de implante é definido em relação ao quadro de paciente. À medida que a ferramenta de implante (localizada no braço robótico nos sistemas robóticos ou operada pelo ser humano) se move a partir de um local a outro local de implante em cada local definido, o processador de imagem pode atualizar a posição do local de implante seguinte no conjunto com base no quadro de paciente atualizado.
Quando nenhum cabelo é visível sobre uma superfície do corpo, ou os cabelos visíveis são ineficazes para a identificação e rastreamento pelo sistema, por exemplo, quando o paciente é calvo ou tem uma superfície do corpo que é extremamente esparsa, que consiste principalmente em cabelo miniaturizado ou “fino”, as características da superfície do corpo podem ser usadas para rastrear o movimento em vez de cabelos ou unidades foliculares. Nestas situações, o sistema e método de acordo com a presente descrição utiliza a superfície do corpo, tal como escalpo humano, o qual é “rastreável”, uma vez que não é uniforme e contém informações. Por exemplo, de acordo com uma modalidade do método descrito no presente documento, o sistema pode comprara uma série de pixels ou regiões de interesse (ROI) entre uma fotografia (fotografia N) e a seguinte (fotografia N-1). Cada conjunto de fotografias mostra um movimento de translação da superfície do corpo e muitos conjuntos de fotografias podem ser agregados para mostrar um único deslocamento do escalpo, ou outra parte de corpo relevante. Adicionalmente, em outras modalidades, manchas, textura, sangue, outro cabelo e/ou outras características e objetos podem ser usados na comparação e para a atualização do quadro de paciente em uma base de fotografia para fotografia. Qualquer objeto ou característica prontamente identificável pode ser usado como um marcador substituto e, então, sua posição rastreada pode ser usada como entrada no algoritmo de registro anteriormente descrito.
Uma vez que um quadro é registrado, o quadro e as características identificadas no quadro podem ser salvas eletronicamente ou por meio de qualquer outro método conhecido. A qualquer momento uma nova fotografia é apresentada ao sistema, um algoritmo de reconhecimento de padrão determina se um padrão na fotografia corresponde a um padrão registrado e salvo. Se for assim, qualquer característica identificada é reconhecida e identificada na nova fotografia e o quadro é atualizado.
Os métodos apresentados no presente documento têm outras aplicações úteis durante o tratamento do paciente, tal como durante o procedimento de implante ou coleta de cabelo, por exemplo. Às vezes, depois que o processador de imagem localizou e identificou uma unidade folicular particular que é programada para ser coletada, tal unidade folicular pode ser temporariamente perdida e desaparecer da área de visão, por exemplo, devido ao sangramento na área ou devido ao médico que aplica um cotonete (Q-tip) na área e obscurece a unidade folicular de interesse. Sem a presente invenção, naquelas circunstâncias, haverá um atraso substancial no procedimento à medida que a unidade folicular de interesse teria que ser localizada e identificada novamente. No entanto, os conceitos apresentados no presente documento permitem que o sistema prossiga com a coleta programada à medida que o quadro de paciente e a posição da unidade folicular em questão estão salvos no sistema e poderiam ser rapidamente recuperados. Uma vez que o sistema tem sido posicionado sobre o padrão de registro original, um algoritmo de reconhecimento de padrão reconhece este mesmo padrão e registra novamente o quadro. Devido ao fato de que todos os pontos são retidos em relação às coordenadas do quadro de paciente, o simples registro do quadro novamente faz com que todos os outros pontos anteriormente conhecidos sejam instantaneamente conhecidos novamente.
De acordo com outro aspecto, um método de rotulação ou rastreamento de cabelos, unidades foliculares, ou outras características de interesse ou objetos a partir de uma fotografia a fotografia seguinte envolve o cálculo de um vetor de movimento. Um método de rastreamento/rotulação de objetos ou características de interesse, tais como unidades foliculares, que utiliza um vetor de movimento é ilustrado nas Figuras 9A e 9B. A Figura 9A mostra uma superfície do corpo, tal como um escalpo 900, com quatro unidades foliculares 901 a 904 que poderiam ser usadas como marcadores ou fiduciais. Uma câmera 905 ou qualquer outro dispositivo de captura de imagem registra as imagens do escalpo. A fotografia N mostra uma primeira imagem que inclui as unidades foliculares 901 a 904. Cada unidade folicular tem um centro de massa ou “centróide”, a reunião destas unidades foliculares é considerada uma “nuvem de pontos” e a própria nuvem de pontos tem um centróide. O sistema, de acordo com a presente descrição, calcula os centróides 906 a 909 de cada unidade folicular que compreende uma nuvem de pontos. Um centróide 910 da nuvem de pontos é calculado com base nos centróides 906 a 909 das unidades foliculares individuais 901 a 904 que compreendem a nuvem de pontos. O sistema inclui um processador de imagem que pode ser programado e inclui um ou mais componentes para executar uma subtração de fundo, segmentação e filtragem de ruídos da imagem, por exemplo, conforme descrito na publicação de patente de propriedade comum WO 2008/024955. A fotografia N-1 mostra uma mudança no local das unidades foliculares 901 a 904 que corresponde a uma mudança de posição de um paciente, por exemplo. O centróide 910 da nuvem de pontos é calculado e comparado com o local na fotografia N. O sistema calcula um vetor de movimento 911 da nuvem de pontos que corresponde à mudança de posição do centróide 910 a partir da fotografia N à fotografia N-1.
No entanto, os problemas podem surgir quando qualquer uma das unidades foliculares 901 a 904 é obscurecida devido a ruídos de imagem, sangue ou de outra forma removida das fotografias. O sistema pode confundir as unidades foliculares localizadas de maneira semelhante como a unidade folicular ausente ou pode gerar um centróide de nuvem de pontos que não corresponde ao centróide 910 que corresponde a todas as quatro unidades foliculares 901 a 904. Uma solução consiste em empregar a estabilização digital de imagem para manter as mesmas unidades foliculares ou outras características ou objetos nas fotografias subseqüentes. A Figura 10 ilustra um processo de cálculo de um vetor de movimento. As fotografias 0 e 1 contêm quatro unidades foliculares 1001 a 1004. As unidades foliculares têm o local modificado entre a fotografia N e fotografia N-1, o qual corresponde ao movimento do paciente, por exemplo. O sistema compara as fotografias 0 e 1 e utiliza um algoritmo de vetor de movimento para calcular um vetor de movimento 1005 da superfície do corpo do paciente.
Embora as Figuras 9-10 ilustrem o cálculo de vetores de movimento em duas dimensões, onde “dx” é o componente de movimento horizontal e “dy” é o componente de movimento vertical correspondente, o sistema também pode calcular um vetor de movimento tridimensional. Um método para calcular um vetor de movimento em 3D pode incluir o cálculo de um teta de rotação no plano. Outro método inclui utilizar a geometria estérea para adquirir duas imagens simultaneamente a partir de ângulos diferentes. A relação entre as imagens é conhecida com um alto grau de precisão. As imagens estéreas podem ser, então, analisadas com o algoritmo de vetor de movimento para se obter um vetor de movimento em 2D ou 3D. Uma vez que o sistema calcula um vetor de movimento, o vetor pode ser usado para mover um dispositivo de formação de imagens para manter um objeto ou característica de interesse em uma fotografia subseqüente. É particularmente importante manter as mesmas unidades foliculares em fotografias subseqüentes durante a coleta e o implante. Um dispositivo de formação de imagens é usado para gerar as fotografias de uma superfície do corpo. O dispositivo de formação de imagens pode ser segurado pela mão, por um braço robótico ou por qualquer outro mecanismo. Certamente, diversos dispositivos de captura de imagem (ou dispositivos de formação de imagens) poderiam ser usados com qualquer uma das modalidades dos sistemas e métodos descritos no presente documento. Por exemplo, o dispositivo de formação de imagens pode consistir em uma ou mais câmeras, tais como quaisquer câmeras disponíveis comercialmente. Ou o dispositivo de formação de imagens poderia consistir em uma dispositivo de gravação de vídeo (tal como, uma câmera de vídeo). Embora seja preferido que o dispositivo de formação de imagens consista em um dispositivo digital, isto não é necessário. Poderia consistir, por exemplo, em uma câmera de TV analógica que adquire uma imagem inicial que é, então, digitalizada em uma imagem digital. O médico examina as fotografias para determinar quais unidades foliculares serão coletadas e quais locais receberão as unidades foliculares durante o implante. Durante este processo, é útil se a superfície do corpo que está realmente embaixo do dispositivo de formação de imagens for igual à fotografia que é examinada pelo médico. Um médico pode acabar de examinar uma fotografia e acessar imediatamente a área na fotografia se o dispositivo de formação de imagens for mantido no lugar em relação à superfície do corpo do paciente. Isto pode ser concluído mediante a alimentação contínua de fotografias no sistema de estabilização, a análise de vetores de movimento que corresponde ao movimento do paciente e movendo o dispositivo de formação de imagens para corresponder aos vetores de movimento. Se o dispositivo de formação de imagens for suportado por um braço robô, o local do braço robô pode ser ajustado correspondendo aos vetores de movimento.
Uma aplicação exemplificadora consiste em aperfeiçoar a robustez do rastreamento/rotulação de unidades foliculares, por exemplo, durante o procedimento de coleta de cabelo automatizado. Durante tal procedimento, o sistema tem que rastrear as coordenadas de unidades foliculares individuais a fim de orientar a ferramenta de coleta e o mecanismo que opera a ferramenta de coleta na preparação para a coleta de cabelo. Isto é completo mediante a designação de um único rótulo para cada objeto em uma imagem estática, conforme mostrado na Figura 11. Na fotografia N, as unidades foliculares 1101 a 1103 são reconhecidas, sua “assinatura” única é identificada e são conseqüentemente rotuladas.
Nas modalidades preferidas, o sistema analisa as características das unidades foliculares (ou outros objetos desejados) para ajudar a identificar as mesmas unidades foliculares em cada fotografia subseqüente. As características que podem ser usadas para identificar as unidades foliculares, cabelos ou outras características incluem, mas não se limitam a, o tipo, o calibre, o comprimento, o ângulo de emergência, a área, a massa, a cor e/ou qualquer combinação dos mesmos que iriam definir a “assinatura” única de tal unidade folicular ou outra característica usada. Quaisquer outras características ou “marcas” detectáveis podem ser usadas conforme adequado à aplicação particular. Na fotografia N-1, os mesmos objetos são localizados e rotulados com os mesmos rótulos. Isto pode ser feito mediante a pesquisa nas proximidades pelo objeto mais perto. Este processo pode ser feito mais robusto e preciso mediante a utilização tanto da “assinatura” determinada da unidade folicular como de um vetor de movimento do paciente entre a fotografia N e a fotografia N-1, para auxiliar na localização do mesmo objetos nas duas fotografias. Os versados na técnica irão observar que, embora uma unidade folicular ou cabelo possa consistir no objeto de interesse para o rastreamento, outras unidades foliculares na vizinhança pode servir como os marcadores e podem ser usadas para calcular o vetor de movimento.
Em determinadas situações, o sistema podem se tornar confuso, por exemplo, se novas unidades foliculares ou outras características forem introduzidos em um quadro subseqüente próximo a uma unidade folicular identificada anteriormente. A Figura 12 ilustra sete unidades foliculares 1201 a 1207 na fotografia N. A fotografia N-1 contém nove unidades foliculares, que inclui 1201 a 1207 da fotografia N mais as novas unidades foliculares 1208 e 1209. As unidades foliculares 1208 e 1209 estavam fora da área de visão da fotografia na fotografia N, mas se o paciente se mover em relação ao dispositivo de captura de imagem, as mesmas aparecem na fotografia N-1. Se o sistema analisar e identificar as unidades foliculares com base somente nas proximidades do local das unidades foliculares em uma fotografia anterior, isto pode confundir as unidades foliculares 1208 e 1209 com 1206 e 1203.
Uma solução preferida para fornecer uma identificação mais robusta das unidades foliculares envolve a incorporação de um estabilizador de imagem digital na ciclo de rastreamento e com o uso deste em combinação com as informações de assinatura única da unidade folicular relevante, conforme mostrado nas Figuras 13A e 13B. A Figura 13A representa um método de rotulação de unidades foliculares ou outras características extraídas a partir de fotografias em escala de cinza, e identificação de unidades foliculares em uma fotografia N-1 mediante a procura do objeto mais próximo à unidade folicular identificada anteriormente na fotografia N. Neste processo, as fotografias em escala de cinza podem ser convertidas para fotografias segmentadas (por exemplo, fotografias binárias) que consiste simplesmente em objetos de primeiro plano (por exemplo, unidades foliculares). Os componentes de segundo plano são removidos da fotografia com o uso de técnicas de processamento de imagem bem conhecidas pelos versados na técnica. A Figura 13B ilustra o mesmo processo, mas aperfeiçoado com a metodologia de estabilização de imagem e informações de assinatura. O sistema analisa as fotografias em escala de cinza N e N-1 e determina o ID da unidade folicular (que inclui suas informações de assinatura). As fotografias são compradas para calcular um vetor de movimento, as fotografias são segmentadas e a assinatura da unidade folicular e o vetor de movimento são aplicados ao quadro N-1 para pesquisar um objeto que corresponde a uma unidade folicular do primeiro quadro mediante a pesquisa em uma direção do vetor de movimento. Com o uso desta informação extra sobre o “fluxo” induzido por movimento de objetos na imagem, um indivíduo pode descartar completamente as unidades foliculares 1208 e 1209 mostradas na Figura 12, devido ao fato de que o fluxo induzido por movimento é em direção ao canto esquerdo inferior da imagem e a assinatura da unidade folicular 1209 não corresponde à assinatura da unidade folicular 1206. Isto se deve ao fato de que a unidade folicular 1206 consiste em um F2 que contém dois folículos pilosos, enquanto que a unidade folicular 1209 consiste em um F1 de único cabelo.
Mediante a aplicação da análise de estabilização de imagem, a chance de rotulação errônea é substancialmente reduzida, devido ao fato de que o sistema pesquisa na direção do vetor de movimento em vez das proximidades da unidade folicular na primeira fotografia. A Figura 14 ilustra um exemplo de definição de um campo de pesquisa com base em uma direção geral apontada pelo vetor de movimento medido. O vetor de movimento 1401 pode ser calculado conforme apresentado acima. Alguma liberdade de movimento pode ser desejada na configuração dos parâmetros de rastreamento, a qual é completa, por exemplo, mediante a especificação de um ângulo, θ, que é usado para definir uma área de pesquisa em cada lado do vetor de movimento, onde o sistema pesquisa o objeto.
Muitos algoritmos de estabilização de imagem digital podem funcionar com o método descrito no presente documento para resultar em um sistema robusto para a identificação de características ou unidades foliculares. Tal algoritmo, em sua totalidade, consiste em uma abordagem que utiliza um plano de bits com código Gray (GCBP), conforme descrito em S. Ko, S. Lee, S. Jeon e E. Kang. Fast digital image stabilizer based on gray-coded bit-plane matching. Transações IEEE sobre Eletrônica de consumo, vol. 45, n°. 3, páginas 598-603, agosto de 1999. A implantação da abordagem de plano de bits com código Gray é ilustrada na Figura 15. Primeiramente, uma imagem de entrada é recebida a partir de um dispositivo de formação de imagens. A imagem é convertida em um plano de bits com código Gray. Em algumas modalidades, uma região de interesse 1601 pode ser unida a partir do plano de bits com código Gray 1602 para reduzir a área de pesquisa e forçar os componentes de computação, conforme mostrado na Figura 16. Uma região de busca 1603 que é menor que a fotografia de GCBP, mas maior do que a região de interesse 1601, também pode ser definida. O plano de bits com código Gray da região de interesse é comprado com o plano de bits com código Gray de uma imagem anterior.
Em contraste à abordagem de nuvem de pontos de cálculo de vetores de movimento, onde os cálculos para deduzir o movimento total da nuvem ocorrem no “espaço do objeto” (exige o conhecimento dos centróides das unidades foliculares ou outros marcadores), as abordagens de estabilização de imagem de GCBP mencionadas acima operam simplesmente nos dados de intensidade de pixel, sem qualquer conhecimento a priori de onde as características particulares, por exemplo, as unidades foliculares estão localizadas, ou até se existem unidades foliculares na cena. Isto tem um benefício forte de fornecer uma medição de movimento completamente independente, a qual é útil no rastreamento devido ao fato de que a extração das coordenadas da unidade folicular pode consistir em uma medição ruidosa devido à natureza dinâmica da cena que é representada.
Existem inúmeros outros algoritmos de estabilização de imagem digital que podem ser usados em vez do plano de bits com código Gray. Alguns dos exemplos de tais algoritmos de estabilização incluem, mas não se limitam a, a técnica de “fluxo óptico” descrita em Jean-Yves Bouquet, Pyramidal Implementation of the Lucas Kanade Feature Tracker, Intel Corporation; uma técnica de “pesquisa em bloco”, conforme descrito em Vella F et al. “Robust digital image stabilization algorithm using block motion vector”. Eletrônica de consumo, ICCE, p. 234-235, 2002 ou em Sun Yi et al. “Real-time digital image stabilization algorithm on PC“. Electronic Imaging and Multimedia Technology III, SPIE Vol. 4925, p. 510-513.
Os algoritmos de estimação de “fluxo óptico” computam um campo de vetores que em conjunto se aproximam do movimento percebido de objetos dentro de uma imagem, ou série de imagens (como em vídeo). Um vetor é calculado a partir de um determinado ponto dentro da imagem ou imagens que representam o movimento localizado próximo a este ponto. No artigo de Bouquet, citado acima, os cálculos de fluxo óptico são estimados com o uso de um método de pesquisa hierárquica e piramidal. Uma suposição inicial do movimento localizado é estimada a partir de uma versão de baixa resolução da(s) imagem(ns), a qual é sucessivamente refinada à medida que o algoritmo atravessa “para cima da pirâmide” com a utilização de versões de resolução maior da(s) imagem(ns).
Os métodos de “pesquisa em bloco” adotam as técnicas comumente empregadas em padrões de compressão de vídeo semelhantes a MPEG. Conforme descrito em Vella (citado acima), a mudança chave entre a pesquisa em bloco empregada na compressão de vídeo e aquela usada na estabilização de imagem digital consiste no fato de que a(s) imagem(ns) é primeiro dividida em componentes de primeiro plano e segundo plano. O primeiro plano e segundo plano são, por sua vez, divididos em seções, em que a cada seção é designado um peso separado. Um vetor de movimento é computado para cada seção e determinado seu peso. Os vetores de movimento pesados são combinados para formar um único vetor para o primeiro plano e segundo plano. Uma heurística é, então, usada para escolher qual dos dois vetores de movimento utilizar para a estabilização.
Finalmente, o método descrito no presente documento para o aperfeiçoamento adicional da robustez do mecanismo de rotulação/rastreamento pode empregar tanto a computação de um vetor de movimento com base em um ou mais objetos ou marcadores na imagem como, adicionalmente, a computação de um vetor de movimento a partir da própria imagem conforme nos artigos mencionados acima, de modo que o cálculo total seja com base em ambos os vetores de movimento.
Adicionalmente, em uma implantação deste sistema, as fotografias podem ser divididas em múltiplas imagens para gerar múltiplos vetores, conforme ilustrado na Figura 17. A fotografia N é dividida, por exemplo, em quatro seções, Q1 a Q4. Cada seção 1701 corresponde a ao menos uma característica ou unidade folicular diferente. Uma fotografia subseqüente N-1 também é dividida em seções correspondentes e pode ser adicionalmente unida em áreas de pesquisa correspondentes 1702 e regiões de interesse 1703. As sub-seções são comparadas e um vetor de movimento pode ser obtido para cada sub-seção. Os vetores de movimento resultantes podem indicar o movimento rotacional do paciente com a precisão aumentada.
Em qualquer um dos métodos para o cálculo de um vetor de movimento, uma fotografia pode consistir em uma fotografia de referência ou uma fotografia modificável. Por exemplo, pode ser tomada uma imagem estática de referência de uma região da pele sobre o corpo do paciente. Então, cada imagem estática subseqüente pode ser comparada com a imagem estática de referência para determinar um vetor de movimento. O vetor de movimento pode ser usado para direcionar um dispositivo de formação de imagens a se mover na direção do vetor, de modo que a imagem no dispositivo de formação de imagens seja igual à fotografia de referência. Alternativamente, o sistema pode comparar uma segunda fotografia com uma primeira fotografia, calcular um vetor de movimento e mover um dispositivo de formação de imagens de acordo com o vetor de movimento. Uma terceira fotografia subseqüente pode ser, então, comparada com a segunda fotografia e o processo repetido. Neste caso, cada fotografia subseqüente é comprada com a fotografia anterior, em vez de uma fotografia de referência.
Embora o vetor de movimento possa ser usado para mover um dispositivo de formação de imagens, também pode ser usado como dados de rastreamento ou qualquer outro propósito. Por exemplo, o sistema pode registrar o movimento do paciente mediante o registro de vetores de movimento por um período de tempo predeterminado ou um número predeterminado de fotografias. O sistema também pode ser programado para mover um dispositivo de formação de imagens somente quando uma determinada quantidade de movimento, ou determinada magnitude de vetor de movimento tiver sido alcançada. Por exemplo, o sistema pode ser programado para garantir uma unidade folicular predeterminada, local, ou o ponto fica sempre dentro do campo de visão do dispositivo de formação de imagens ou dentro de uma área predeterminada no campo de visão do dispositivo de formação de imagens.
Outra aplicação exemplificadora da técnica de estabilização de imagem envolve a estabilização das imagens durante o processo de coleta de cabelo automatizado.
Durante tal coleta de cabelo automatizada, todas as unidades foliculares em uma determinada imagem podem ser classificadas com base em um sistema de pontuação, de modo que uma unidade folicular particular a ser coletada a seguir possa ser selecionada. Tipicamente, haverá uma pausa durante o procedimento quando o operador observa, por exemplo, na tela do computador ou outro visor adequado para confirmar que o processador de imagem escolheu corretamente a melhor unidade folicular para a coleta, de acordo com os critérios selecionados. Durante este momento, quando um operador está inspecionando uma imagem estática da superfície do corpo, um paciente pode se mover, portanto, é desejável manter o vídeo estabilizado durante este período de tempo. É importante destacar que, uma vez que o usuário confirma a escolha (ou até seleciona uma diferente), o sistema precisa assegurar que a unidade folicular selecionada está ainda na fotografia ativa. Isto é alcançado através do emprego dos resultados da estabilização de imagem digital de acordo com a presente descrição. Em algumas modalidades, a saída do vetor de movimento 3D a partir do estabilizador de imagem estérea é negada e passada, por exemplo, para o braço robótico (nos sistemas operados de modo robótico). Isto tem um efeito de neutralizar o movimento do paciente ou mover uma ou mais câmeras que poderiam ser montadas no braço robótico, de tal modo que o mesmo campo de visão seja representado em aquisições de imagem subseqüentes.
Mais outra aplicação exemplificadora da técnica de estabilização de imagem envolve a utilização da saída do estabilizador para guiar o sistema robótico durante o implante de cabelo. Os sistemas robóticos e métodos exemplificadores para transplante de cabelo e planejamento de tratamento são descritos no pedido de patente U.S. 12/133.159 e publicação U.S. 2007/0078466 de propriedade comum, as quais estão aqui incorporadas a título de referência, em suas totalidades. Quando qualquer um dos sistemas mencionados acima é usado, as unidades foliculares podem ser implantadas nos locais prescritos pelo plano de tratamento selecionado.
Tipicamente, as áreas recipientes de cabelo são esparsas em termos do número de unidades foliculares que um sistema de imagem pode rastrear de maneira confiável. Isto se deve ao fato de que há uma necessidade em manter o rastreamento do movimento do robô ou movimento do paciente através de alguns outros meios à parte do rastreamento de unidades foliculares. Isto pode ser alcançado mediante o rastreamento do movimento da superfície do corpo (por exemplo, escalpo) através do estabilizador de imagem. O plano de tratamento pode ser registrado com a área recipiente com o uso de fiduciais externos. Este registro estabeleceu um quadro coordenado de referência que tem que ser atualizado à medida que o robô e o paciente se movem durante o tratamento. O quadro coordenado de referência (sistema de coordenada) pode ser atualizado pelo sistema visual mediante a identificação dos locais dos fiduciais. No entanto, mesmo se os fiduciais não puderem ser visto às vezes, conforme explicado anteriormente, um indivíduo pode continuar a atualizar o sistema de coordenada em um modo delta mediante a adição do vetor de movimento medido em uma base de fotografia por fotografia.
Um sistema exemplificador para o rastreamento de uma unidade folicular, um marcador ou outro objeto é ilustrado na Figura 18. Em algumas modalidades, o sistema pode incluir um dispositivo de formação de imagens 1800, um componente de identificação de assinatura 1801, um componente vetorial 1802 e um sistema de rastreamento 1803. O dispositivo de formação de imagens 1800 pode incluir uma câmera, tal como uma câmera de vídeo. Alternativamente, qualquer outro dispositivo capaz de capturar uma imagem pode ser usado. Prefere-se que o dispositivo de formação de imagens seja um dispositivo de formação de imagens digital. Em outras modalidades, um dispositivo de formação de imagens pode ser fornecido separadamente e não incluído no sistema. Nestas modalidades, pode ser fornecida uma interface que permita que diversos outros componentes ou modificações do sistema, tal como, componente de identificação de assinatura, interajam com o dispositivo de formação de imagens separado. O dispositivo de formação de imagens 1800 interage com o componente de identificação de assinatura 1801 para identificar uma unidade folicular, um marcador ou outro objeto. O componente de identificação de assinatura 1801 pode consistir em um programa de software com código armazenado em um disco portátil, um disco rígido ou outra memória. O código pode interagir com um sistema de computador 1810 que inclui, por exemplo, um processador 1807 para identificar as características distintas de uma unidade folicular, um marcador ou outro objeto.
Alternativamente, o componente de identificação de assinatura 1801 pode ser incorporado em uma plataforma de hardware, por exemplo, arranjo de portas programável em campo (“FPGA” - Field-Programmable Gate Array) ou circuito integrado de aplicação específica (“ASIC” - ApplicationSpecific Integrated Circuit) e interage com um sistema de computador 1810 ou um processador 1807. O sistema de computador 1810 ou processador 1807 interage com o dispositivo de formação de imagens 1800 através de uma interface 1811. A interface pode incluir portas de hardware, cabos, condutores e outros meios de transmissão de dados, ou pode compreender um programa de computador.
Conforme discutido acima, o tipo, o calibre, o comprimento, o ângulo de emergência, a área, a cor e/ou qualquer combinação dos mesmos pode ser usada para definir a “assinatura” única de uma unidade folicular ou outra característica ou objeto. Quaisquer outras características ou “marcas” podem ser usadas conforme adequado à aplicação particular. O programa de identificação de assinatura 1801 analisa a imagem a partir do dispositivo de formação de imagens, identifica as características de uma unidade folicular ou outra característica e rotula eletronicamente a unidade folicular ou outra característica com uma assinatura eletrônica.
Quando duas ou mais fotografias estão disponíveis, em determinadas modalidades de acordo com os métodos descritos no presente documento, o componente vetorial 1802 pode ser usado para ajudar o sistema de rastreamento no rastreamento de uma unidade folicular ou outra característica. O componente vetorial 1802 pode consistir em um programa de software ou hardware que interage com um sistema de computador 1810 que inclui um processador 1807 para analisar o movimento da unidade folicular. O componente vetorial 1802 recebe as informações de local para uma característica conhecida. A característica conhecida pode ter sido identificada pela unidade de identificação de assinatura 1801, por exemplo. A informação de local é com base no local da característica conhecida nas fotografias. O componente vetorial 1802 utiliza a informação de local para calcular um vetor da característica conhecida.
As informações a partir do componente vetorial 1802 podem ser usadas para rastrear uma unidade folicular ou outra característica com o uso do sistema de rastreamento 1803. O sistema de rastreamento 1803 pode incluir uma base robótica 1808 e um braço 1809, um mecanismo de ajuste de movimento no dispositivo de formação de imagens, código para apresentação de uma imagem ou uma parte de uma imagem em uma tela ou qualquer outro mecanismo para o rastreamento de um objeto entre múltiplas fotografias. Se a unidade de rastreamento compreender um braço robô 1809, o dispositivo de formação de imagens 1800 e uma ferramenta de coleta ou implante 1806 podem ficar localizados na extremidade do braço robô 1809. O vetor a partir do componente vetorial 1802 pode ser usado para mover o sistema de rastreamento 1803 na direção de movimento das fotografias para manter a unidade folicular alvo ou outra característica na fotografia ativa.
Em uma modalidade, um componente de identificação de marcador 1804 é usado para identificar os marcadores nas fotografias. O componente de identificação de marcador pode consistir, por exemplo, em um programa de software, ou pode ser incorporado em hardware, conforme mencionado acima em referência a outros componentes, que interage com o sistema de computador 1810 que inclui o processador 1807. Este componente de identificação de marcador também pode ser uma parte do componente de identificação de assinatura 1801.
Em outra modalidade, um sistema para o rastreamento de uma característica de interesse compreende uma interface, tal como interface 1811, adaptada para receber uma pluralidade de imagens a partir de um dispositivo de formação de imagens (o qual pode não ser incluído em um próprio sistema), um componente de identificação de assinatura, tal como 1801, e um sistema de referência de marcador 1805. O sistema de referência de marcador 1805 recebe as informações que correspondem a um marcador, uma unidade folicular ou outra característica identificada pelo componente de identificação de assinatura 1801 em uma primeira imagem e define um quadro de referência que corresponde ao marcador. Então, determina se o marcador está em uma segunda imagem, e ajusta o quadro de referência que corresponde a uma mudança de posição do marcador entre as imagens. O sistema pode incluir os dados armazenados na memória, que inclui um disco portátil, um disco rígido, memória flash, ou qualquer outro meio de memória. Também pode incluir um processador independente do processador 1807 ou pode utilizar o mesmo processador 1807.
Os componentes acima, que incluem o componente de identificação de assinatura, o componente vetorial, o sistema de rastreamento, o sistema de identificação de marcador e o sistema de referência de marcador pode ser parte de um componente de software ou hardware, ou pode compreender múltiplos programas e módulos de software e hardware. Cada módulo pode ser separável a partir de qualquer outro módulo ou todos os módulos podem ser formados de maneira inteiriça em um dispositivo ou circuito integrado. Em diversas modalidades e métodos descritos no presente documento, alguns destes componentes podem ser opcionais.
Embora uma modalidade possa incluir a análise de uma superfície do corpo, o sistema e método acima podem rastrear qualquer objeto e atualizar automaticamente um quadro ou calcular um vetor de movimento com base em qualquer objeto ou conjunto de objetos. Os objetos que podem ser rastreados incluem objetos aéreos, objetos que se movem ao longo de uma superfície, objetos que se movem na terra ou qualquer outro objeto que precisa ser identificado ou rastreado.
As diversas modalidades descritas acima são fornecidas somente a título de ilustração e não deveriam ser construídas para limitar a invenção reivindicada. Os versados na técnica irão reconhecer prontamente as diversas modificações e alterações que podem ser feitas na invenção reivindicada sem acompanhar as modalidades de exemplo e as aplicações ilustradas e descritas no presente documento, e sem que se desvie do escopo e espírito verdadeiro da invenção reivindicada, os quais são apresentados nas seguintes reivindicações.
REIVINDICAÇÕES

Claims (23)

1. Método para o rastreamento de uma unidade folicular, CARACTERIZADO por compreender: identificar uma unidade folicular (704, 705, 706, 707) em uma primeira imagem de uma superfície do corpo (500) que contém as unidades foliculares, a primeira imagem sendo capturada em um primeiro momento no tempo; computar uma assinatura da unidade folicular (704, 705, 706, 707) na primeira imagem e capturar uma segunda imagem da superfície do corpo (500) em um segundo momento no tempo; computar um vetor de movimento (1401) associada com o movimento da superfície do corpo (500) a partir da primeira imagem e uma segunda imagem da mesma superfície do corpo (500); definir uma região de busca de acordo com e em direção ao vetor de movimento (1401) em que a região de busca compreende uma área dentro de uma distância predeterminada a partir do vetor de movimento (1401) buscar pela assinatura da unidade folicular na região de busca para rotular a unidade folicular na segunda imagem.
2. Método, de acordo com a reivindicação 1, CARACTERIZADO por compreender ainda, identificar ao menos um marcador (301, 401, 501, 601, 701) na primeira imagem e na segunda imagem, e em que a computação do vetor de movimento compreende computar o vetor de movimento que corresponde a uma mudança de posição do ao menos um marcador a partir da primeira imagem à segunda imagem.
3. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que existem ao menos três marcadores (301, 302, 303, 304) na primeira imagem.
4. Método, de acordo com qualquer uma das reivindicações 2 ou 3, CARACTERIZADO pelo fato de que o ao menos um marcador (301, 302, 303, 304) compreende uma ou mais dentre outra unidade folicular, uma mancha, uma cicatriz, uma sarda, uma ruga, uma saliência ou uma depressão da superfície do corpo.
5. Método, de acordo com qualquer uma das reivindicações 2 a 4, CARACTERIZADO por compreender uma pluralidade de marcadores na primeira imagem e em que a identificação do ao menos um marcador em uma primeira imagem compreende identificar uma nuvem de pontos.
6. Método, de acordo com a reivindicação 5, CARACTERIZADO por compreender ainda calcular um centróide (910) da nuvem de pontos.
7. Método, de acordo com qualquer uma das reivindicações 1 a 6 , CARACTERIZADO pelo fato de que a computação de uma assinatura da unidade folicular em uma primeira imagem compreende identificar um ou mais dentre um comprimento, um tipo, um calibre, um ângulo de emergência, uma área, um formato ou uma cor da unidade folicular.
8. Método, de acordo com qualquer uma das reivindicações1 a 7, CARACTERIZADO por compreender ainda rotular o ao menos um marcador na primeira imagem e rotular o ao menos um marcador na segunda imagem com o mesmo rótulo que na primeira imagem mediante a procura do ao menos um marcador na segunda imagem na direção apontada pelo vetor de movimento.
9. Método, de acordo com qualquer uma das reivindicações 1 a 8, CARACTERIZADO por compreender ainda computar um segundo vetor de movimento a partir da primeira imagem e da segunda imagem e utilizar, adicionalmente, o segundo vetor de movimento na rotulação da unidade folicular na segunda imagem.
10. Método, de acordo com qualquer uma das reivindicações 1 a 9, CARACTERIZADO pelo fato de que o vetor de movimento é computado com o uso de uma ou mais dentre as técnicas de estabilização de imagem de plano de bits com código Gray, técnicas de estabilização de imagem de busca embloco.
11. Método, de acordo com qualquer uma das reivindicações 1a 10, CARACTERIZADO por compreender ainda mover um dispositivo de captura de imagem de acordo com o vetor de movimento para manter a unidade folicular em um campo de visão do dispositivo de captura de imagem.
12. Método, de acordo com qualquer uma das reivindicações 2 a 11, CARACTERIZADO pelo fato de que a identificação do ao menos um marcador compreendeassociar os identificadores eletrônicos com o ao menos um marcador, eletronicamente marca-los e armazená-los em uma memória.
13. Método, de acordo com qualquer uma das reivindicações 2 a12, CARACTERIZADO por compreender ainda, desconsiderar qualquer marcador na segunda imagem inconsistente com seu local na primeira imagem de acordo com o vetor de movimento.
14 Método, de acordo com qualquer uma das reivindicações 1 a 13, caracterizado por compreender a comparação de uma série de pixels ou regiões de interesse entre a primeira e a segunda imagem.
15. Método, de acordo com a reinvidicação 1, caracterizado pelo fato de que a definição da região de busca compreende especificar um ângulo que define a região de busca em ambos os lados do vetor de movimento.
16. Método, de acordo com qualquer uma das reivindicações 1 a 15CARACTERIZADO por compreender ainda, dividir a primeira e segunda imagens em uma pluralidade de primeira e segunda sub-imagens, e computar uma pluralidade de vetores de movimento a partir da primeira e segunda sub-imagens.
17. Método, de acordo com qualquer uma das reivindicações 2 a 16, CARACTERIZADO pelo fato de que o método compreende ainda definir um quadro de referência que corresponde a ao menos um marcador.
18. Sistema para o rastreamento de uma unidade folicular sobre uma superfície do corpo, o sistema CARACTERIZADO por compreender: um componente de identificação de assinatura (1801), em que o componente de identificação de assinatura (1801) identifica as informações de assinatura sobre a unidade folicular em uma primeira imagem da superfície do corpo que contém as unidades foliculares, a primeira imagem capturada em um primeiro momento no tempo; um componente vetorial (1802), em que o componente vetorial (1802) calcula um vetor de movimento (1401) associada com o movimento da superfície do corpo (500) entre um primeiro momento no tempo e um segundo momento no tempo; e um sistema de rastreamento (1803) para a) receber os dados que correspondem ao vetor de movimento (1401), definir a região de busca de acordo com e em direção ao vetor de movimento (1401), em que a região de busca compreende uma área dentro de uma distância pré-determinada do vetor de movimento (1401) e c) rotular a unidade folicular na segunda imagem capturada em um segundo momento no tempo pela busca das informações de assinatura da unidade folicular na região de busca.
19. Sistema, de acordo com a reivindicação 18, CARACTERIZADO pelo fato de que o sistema de rastreamento (1803) compreende um dispositivo (905, 1800) de formação de imagens para a captura de imagens da superfície do corpo e em que o sistema é adicionalmente programado para mover o dispositivo de formação de imagens com base no vetor de movimento (1401).
20. Sistema, de acordo com qualquer uma das reivindicações 18 ou 19, CARACTERIZADO pelo fato de que o componente de identificação de assinatura, o componente vetorial e o sistema de rastreamento são parte de um único produto de software ou hardware.
21. Sistema, de acordo com qualquer uma das reivindicações 18 a 20 , CARACTERIZADO por compreender ainda um componente de identificação de marcador (1804) e em que o componente de identificação de marcador consiste em uma parte do componente de identificação de assinatura.
22. Sistema, de acordo com qualquer uma das reivindicações 18 a 21 , CARACTERIZADO pelo fato de que um ou mais dentre o componente de identificação de assinatura, o componente vetorial e o componente de rastreamento compreende um processador (1807) conectado a ao menos um dentre memória e o dispositivo (1800) de formação de imagens.
23. Sistema, de acordo com qualquer uma das reivindicações 18 a 22 , CARACTERIZADO pelo fato de que o sistema consiste em um sistema robótico que compreende, adicionalmente, um braço robótico (1809).
BRPI0919448 2008-09-29 2009-09-10 método para o rastreamento de uma unidade folicular e sistema para o rastreamento de uma unidade folicular. BRPI0919448B1 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/240,724 US8848974B2 (en) 2008-09-29 2008-09-29 Object-tracking systems and methods
PCT/US2009/056537 WO2010036513A1 (en) 2008-09-29 2009-09-10 Tracking of hair follicles

Publications (2)

Publication Number Publication Date
BRPI0919448A2 BRPI0919448A2 (pt) 2015-12-15
BRPI0919448B1 true BRPI0919448B1 (pt) 2019-12-10

Family

ID=41396287

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0919448 BRPI0919448B1 (pt) 2008-09-29 2009-09-10 método para o rastreamento de uma unidade folicular e sistema para o rastreamento de uma unidade folicular.

Country Status (9)

Country Link
US (5) US8848974B2 (pt)
EP (2) EP2329455B1 (pt)
JP (1) JP5307246B2 (pt)
KR (1) KR101332997B1 (pt)
CN (1) CN102165492B (pt)
AU (1) AU2009296900B2 (pt)
BR (1) BRPI0919448B1 (pt)
CA (2) CA2736365C (pt)
WO (1) WO2010036513A1 (pt)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2208021B1 (en) * 2007-11-07 2011-01-26 Tele Atlas B.V. Method of and arrangement for mapping range sensor data on image sensor data
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
BR112012006157A2 (pt) 2009-09-17 2016-06-28 Carlos K Wesley cirurgia de restauração de cabelo.
US9693799B2 (en) 2009-09-17 2017-07-04 Pilofocus, Inc. System and method for aligning hair follicle
US9314082B2 (en) 2009-09-17 2016-04-19 Pilofocus, Inc. System and method for extraction of hair follicle
US8675939B2 (en) 2010-07-13 2014-03-18 Stryker Leibinger Gmbh & Co. Kg Registration of anatomical data sets
KR101710624B1 (ko) * 2010-07-27 2017-02-27 삼성전자주식회사 객체의 모션 벡터를 이용하여 자동 촬영 기능을 수행하는 디지털 영상 촬영 방법, 디지털 영상 촬영 장치 및 상기 방법을 기록한 기록 매체
US9498289B2 (en) 2010-12-21 2016-11-22 Restoration Robotics, Inc. Methods and systems for directing movement of a tool in hair transplantation procedures
US8911453B2 (en) * 2010-12-21 2014-12-16 Restoration Robotics, Inc. Methods and systems for directing movement of a tool in hair transplantation procedures
US10200671B2 (en) * 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8951266B2 (en) 2011-01-07 2015-02-10 Restoration Robotics, Inc. Methods and systems for modifying a parameter of an automated procedure
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9188973B2 (en) 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
KR20140098744A (ko) 2011-10-17 2014-08-08 필로포커스, 인코포레이티드. 모발 복원
TWI469062B (zh) 2011-11-11 2015-01-11 財團法人工業技術研究院 影像穩定方法及影像穩定裝置
JP5248685B1 (ja) * 2012-01-20 2013-07-31 楽天株式会社 動画検索装置、動画検索方法、記録媒体、ならびに、プログラム
CN103284790B (zh) * 2012-03-01 2016-08-17 上海黑黛增发服务有限公司 头发毛囊定位仪
US9208577B2 (en) * 2012-06-25 2015-12-08 Adobe Systems Incorporated 3D tracked point visualization using color and perspective size
US9393961B1 (en) * 2012-09-19 2016-07-19 Google Inc. Verifying a target object with reverse-parallax analysis
US9008757B2 (en) * 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
CN103006332B (zh) * 2012-12-27 2015-05-27 广东圣洋信息科技实业有限公司 手术刀跟踪方法与装置及数字立体显微镜系统
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9251590B2 (en) * 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9202276B2 (en) * 2013-03-13 2015-12-01 Restoration Robotics, Inc. Methods and systems for hair transplantation using time constrained image processing
US9408691B2 (en) 2013-03-14 2016-08-09 Restoration Robotics, Inc. Locator device for medical procedures on the body surface and method of its use
US9392965B2 (en) 2013-03-14 2016-07-19 Restoration Robotics, Inc. Method and apparatus for determining a change in tension of a body surface
US9320593B2 (en) 2013-03-15 2016-04-26 Restoration Robotics, Inc. Systems and methods for planning hair transplantation
US9167999B2 (en) * 2013-03-15 2015-10-27 Restoration Robotics, Inc. Systems and methods for planning hair transplantation
US9576359B2 (en) * 2013-11-01 2017-02-21 The Florida International University Board Of Trustees Context based algorithmic framework for identifying and classifying embedded images of follicle units
WO2015129152A1 (ja) * 2014-02-26 2015-09-03 株式会社ソシオネクスト 画像認識システムおよび半導体集積回路
US10004530B2 (en) * 2014-07-31 2018-06-26 Restoration Robotics, Inc. Systems and methods for creating hair transplantation procedure sites
US10387021B2 (en) 2014-07-31 2019-08-20 Restoration Robotics, Inc. Robotic hair transplantation system with touchscreen interface for controlling movement of tool
US10348426B2 (en) * 2014-10-07 2019-07-09 DISH Technologies L.L.C. Apparatus, systems and methods for identifying particular media content event of interest that is being received in a stream of media content
PL3215219T3 (pl) * 2014-11-06 2024-05-13 Koninklijke Philips N.V. System do zabiegów na skórze
GB2532267A (en) * 2014-11-14 2016-05-18 Nat Oilwell Varco Norway As A method for placing and removing pipe from a finger rack
WO2016134093A1 (en) * 2015-02-19 2016-08-25 Metritrack, Inc. System and method for positional registration of medical image data
US10660562B2 (en) 2015-05-29 2020-05-26 Conopco, Inc. System and method for measuring hair diameter
JP6720756B2 (ja) * 2015-10-08 2020-07-08 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
MX2018005143A (es) 2015-10-30 2018-06-06 Unilever Nv Medicion de rizo del cabello.
JP6957461B2 (ja) 2015-10-30 2021-11-02 ユニリーバー・ナームローゼ・ベンノートシヤープ 毛髪の直径測定
JP6710946B2 (ja) * 2015-12-01 2020-06-17 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
US9757859B1 (en) 2016-01-21 2017-09-12 X Development Llc Tooltip stabilization
US9744665B1 (en) * 2016-01-27 2017-08-29 X Development Llc Optimization of observer robot locations
US10059003B1 (en) 2016-01-28 2018-08-28 X Development Llc Multi-resolution localization system
US10223798B2 (en) * 2016-05-27 2019-03-05 Intellijoint Surgical Inc. Systems and methods for tracker characterization and verification
US20180189976A1 (en) * 2016-12-29 2018-07-05 Michal Kasprzak Analysis unit and system for assessment of hair condition
AU2018243364B2 (en) 2017-03-31 2023-10-05 Auris Health, Inc. Robotic systems for navigation of luminal networks that compensate for physiological noise
WO2018204726A1 (en) * 2017-05-04 2018-11-08 Carnegie Mellon University State estimation and localization for rov-based structural inspection
US20190226287A1 (en) * 2017-05-11 2019-07-25 National Oilwell Varco Norway As System and method for placing pipe in and removing pipe from a finger rack
JP6349448B1 (ja) * 2017-08-23 2018-06-27 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
US10339670B2 (en) * 2017-08-29 2019-07-02 Trimble Inc. 3D tool tracking and positioning using cameras
US10565714B2 (en) 2018-05-25 2020-02-18 Denso Corporation Feature tracking for visual odometry
US11503986B2 (en) 2018-05-31 2022-11-22 Auris Health, Inc. Robotic systems and methods for navigation of luminal network that detect physiological noise
EP3611468A1 (en) * 2018-08-17 2020-02-19 Ordnance Survey Limited Vector tile pyramiding
US12351837B2 (en) 2019-01-23 2025-07-08 The Broad Institute, Inc. Supernegatively charged proteins and uses thereof
US11031128B2 (en) 2019-01-25 2021-06-08 Fresenius Medical Care Holdings, Inc. Augmented reality-based training and troubleshooting for medical devices
WO2020190832A1 (en) * 2019-03-20 2020-09-24 Covidien Lp Robotic surgical collision detection systems
US11927944B2 (en) * 2019-06-07 2024-03-12 Honeywell International, Inc. Method and system for connected advanced flare analytics
CN112043299A (zh) * 2020-09-30 2020-12-08 上海联影医疗科技股份有限公司 一种医学设备的控制方法和系统
US11494881B2 (en) 2020-12-29 2022-11-08 Hb Innovations, Inc. Global movement image stabilization systems and methods
WO2022187251A1 (en) * 2021-03-01 2022-09-09 Waymo Llc Generating scene flow labels from point clouds using object labels
US20240091950A1 (en) * 2022-09-16 2024-03-21 Samsung Electronics Co., Ltd. Probabilistic approach to unifying representations for robotic mapping
CN116747018B (zh) * 2023-06-28 2024-08-30 磅客策(上海)智能医疗科技有限公司 一种毛囊提取路径的规划方法、系统以及存储介质

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4807163A (en) 1985-07-30 1989-02-21 Gibbons Robert D Method and apparatus for digital analysis of multiple component visible fields
US5251127A (en) 1988-02-01 1993-10-05 Faro Medical Technologies Inc. Computer-aided surgery apparatus
US5829444A (en) 1994-09-15 1998-11-03 Visualization Technology, Inc. Position tracking and imaging system for use in medical applications
AU3880397A (en) 1996-07-11 1998-02-09 Board Of Trustees Of The Leland Stanford Junior University High-speed inter-modality image registration via iterative feature matching
US5865744A (en) 1996-09-16 1999-02-02 Lemelson; Jerome H. Method and system for delivering therapeutic agents
US7856750B2 (en) * 1997-12-08 2010-12-28 Horus Vision Llc Apparatus and method for calculating aiming point information
US6572625B1 (en) 1998-09-13 2003-06-03 William R. Rassman Hair transplant harvesting device and method for its use
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
JP4101951B2 (ja) 1998-11-10 2008-06-18 オリンパス株式会社 手術用顕微鏡
US6720988B1 (en) 1998-12-08 2004-04-13 Intuitive Surgical, Inc. Stereo imaging system and method for use in telerobotic systems
US6778850B1 (en) 1999-03-16 2004-08-17 Accuray, Inc. Frameless radiosurgery treatment system and method
FR2802679B1 (fr) * 1999-12-21 2002-02-08 Oreal Systeme et procede d'analyse et de simulation previsionnelle de l'evolution d'une zone pileuse, et plus particulierement du cuir chevelu humain
US6585746B2 (en) * 2000-04-20 2003-07-01 Philip L. Gildenberg Hair transplantation method and apparatus
US6490475B1 (en) * 2000-04-28 2002-12-03 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US6771840B1 (en) 2000-05-18 2004-08-03 Leica Geosystems Hds, Inc. Apparatus and method for identifying the points that lie on a surface of interest
DE10025817C2 (de) * 2000-05-24 2002-06-20 Raymond A & Cie Lösbare Schnellkupplung mit Sicherheitsverrastung
US7127081B1 (en) * 2000-10-12 2006-10-24 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret, A.S. Method for tracking motion of a face
US7164883B2 (en) * 2001-02-14 2007-01-16 Motorola. Inc. Method and system for modeling and managing terrain, buildings, and infrastructure
US20020197633A1 (en) * 2001-05-09 2002-12-26 Jones Brian C. Evaluation of ultraviolet radiation damage to skin using new gene markers, methods and compositions related thereto
US7217266B2 (en) 2001-05-30 2007-05-15 Anderson R Rox Apparatus and method for laser treatment with spectroscopic feedback
US20030212320A1 (en) 2001-10-01 2003-11-13 Michael Wilk Coordinate registration system for dual modality imaging systems
US7383073B1 (en) 2001-10-16 2008-06-03 Z-Kat Inc. Digital minimally invasive surgery system
US7747311B2 (en) 2002-03-06 2010-06-29 Mako Surgical Corp. System and method for interactive haptic positioning of a medical device
US6917702B2 (en) 2002-04-24 2005-07-12 Mitsubishi Electric Research Labs, Inc. Calibration of multiple cameras for a turntable-based 3D scanner
DE10249786A1 (de) 2002-10-24 2004-05-13 Medical Intelligence Medizintechnik Gmbh Referenzierung eines Roboters zu einem Werkstück und Vorrichtung hierfür
JP4144389B2 (ja) * 2003-03-14 2008-09-03 オムロン株式会社 光学式膜計測装置
US7204640B2 (en) * 2003-08-29 2007-04-17 Accuray, Inc. Apparatus and method for registering 2D radiographic images with images reconstructed from 3D scan data
US20080033275A1 (en) * 2004-04-28 2008-02-07 Blank Thomas B Method and Apparatus for Sample Probe Movement Control
US7426318B2 (en) 2004-06-30 2008-09-16 Accuray, Inc. Motion field generation for non-rigid image registration
WO2006047502A2 (en) * 2004-10-25 2006-05-04 Brigham And Women's Hospital Automated segmentation, classification and tracking of cell nuclei in time-lapse microscopy
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
US20060206018A1 (en) * 2005-03-04 2006-09-14 Alan Abul-Haj Method and apparatus for noninvasive targeting
US7713205B2 (en) * 2005-06-29 2010-05-11 Accuray Incorporated Dynamic tracking of soft tissue targets with ultrasound images, without using fiducial markers
US7613337B2 (en) * 2005-09-06 2009-11-03 Intel Corporation Method and apparatus for identifying mole growth
US7539334B2 (en) * 2005-09-06 2009-05-26 Intel Corporation Method and apparatus for identifying mole growth
KR101155258B1 (ko) 2005-09-30 2012-06-13 레스토레이션 로보틱스, 인코포레이티드 모낭 유닛들을 채취 및 이식하기 위한 장치 및 방법들
US20070078466A1 (en) * 2005-09-30 2007-04-05 Restoration Robotics, Inc. Methods for harvesting follicular units using an automated system
US7656998B2 (en) 2005-11-14 2010-02-02 Accuray Incorporated Unified quality assurance for a radiation treatment delivery system
JP2007170819A (ja) * 2005-12-19 2007-07-05 Tdk Corp パルス波レーダー装置
US7806121B2 (en) * 2005-12-22 2010-10-05 Restoration Robotics, Inc. Follicular unit transplantation planner and methods of its use
US7623702B2 (en) 2006-04-27 2009-11-24 Mako Surgical Corp. Contour triangulation system and method
US7558622B2 (en) * 2006-05-24 2009-07-07 Bao Tran Mesh network stroke monitoring appliance
US7539533B2 (en) * 2006-05-16 2009-05-26 Bao Tran Mesh network monitoring appliance
AU2007254159B2 (en) 2006-05-19 2013-07-04 Mako Surgical Corp. System and method for verifying calibration of a surgical device
US7620144B2 (en) 2006-06-28 2009-11-17 Accuray Incorporated Parallel stereovision geometry in image-guided radiosurgery
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US10258425B2 (en) 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
WO2008008275A2 (en) 2006-07-10 2008-01-17 Pixelligent Technologies Llc Resists for photolithography
US20080049993A1 (en) * 2006-08-25 2008-02-28 Restoration Robotics, Inc. System and method for counting follicular units
US7477782B2 (en) 2006-08-25 2009-01-13 Restoration Robotics, Inc. System and method for classifying follicular units
US7894649B2 (en) 2006-11-02 2011-02-22 Accuray Incorporated Target tracking using direct target registration
US7623679B2 (en) 2006-12-13 2009-11-24 Accuray Incorporated Temporal smoothing of a deformation model
US20080154247A1 (en) * 2006-12-20 2008-06-26 Reliant Technologies, Inc. Apparatus and method for hair removal and follicle devitalization
US8417318B2 (en) 2007-02-22 2013-04-09 Accuray Incorporated Calibrating tracking systems to remove position-dependent bias
US8115807B2 (en) 2007-03-06 2012-02-14 William Rassman Apparatus and method for mapping hair metric
US9883818B2 (en) 2007-06-19 2018-02-06 Accuray Incorporated Fiducial localization
US7623623B2 (en) 2007-06-29 2009-11-24 Accuray Incorporated Non-collocated imaging and treatment in image-guided radiation treatment systems
EP2208021B1 (en) * 2007-11-07 2011-01-26 Tele Atlas B.V. Method of and arrangement for mapping range sensor data on image sensor data
WO2009155325A2 (en) 2008-06-18 2009-12-23 Mako Surgical Corp. Fiber optictracking system and method for tracking
US8249345B2 (en) 2008-06-27 2012-08-21 Mako Surgical Corp. Automatic image segmentation using contour propagation
US8414469B2 (en) 2008-06-27 2013-04-09 Intuitive Surgical Operations, Inc. Medical robotic system having entry guide controller with instrument tip velocity limiting
US9179832B2 (en) 2008-06-27 2015-11-10 Intuitive Surgical Operations, Inc. Medical robotic system with image referenced camera control using partitionable orientational and translational modes
US8184880B2 (en) * 2008-12-31 2012-05-22 Intuitive Surgical Operations, Inc. Robust sparse image matching for robotic surgery
US8454627B2 (en) * 2009-03-11 2013-06-04 Restoration Robotics, Inc. Systems and methods for harvesting and implanting hair using image-generated topological skin models
US8048090B2 (en) * 2009-03-11 2011-11-01 Restoration Robotics, Inc. System and method for harvesting and implanting hair using image-generated topological skin models
US8554711B2 (en) 2010-07-20 2013-10-08 Sparkling Logic Inc. Contextual decision logic elicitation

Also Published As

Publication number Publication date
AU2009296900A1 (en) 2010-04-01
US20100080417A1 (en) 2010-04-01
US20100080415A1 (en) 2010-04-01
EP2329455A1 (en) 2011-06-08
JP2012504277A (ja) 2012-02-16
US20170128137A1 (en) 2017-05-11
US9405971B2 (en) 2016-08-02
CA2736365A1 (en) 2010-04-01
CA2966822A1 (en) 2010-04-01
US10022191B2 (en) 2018-07-17
CA2736365C (en) 2017-06-27
JP5307246B2 (ja) 2013-10-02
US20160307333A1 (en) 2016-10-20
EP3474229A1 (en) 2019-04-24
US8811660B2 (en) 2014-08-19
CN102165492A (zh) 2011-08-24
AU2009296900B2 (en) 2013-06-27
BRPI0919448A2 (pt) 2015-12-15
US8848974B2 (en) 2014-09-30
EP2329455B1 (en) 2018-11-07
CN102165492B (zh) 2015-01-28
KR101332997B1 (ko) 2013-11-25
US20140355834A1 (en) 2014-12-04
US9589368B2 (en) 2017-03-07
KR20110084401A (ko) 2011-07-22
CA2966822C (en) 2019-10-01
WO2010036513A1 (en) 2010-04-01

Similar Documents

Publication Publication Date Title
BRPI0919448B1 (pt) método para o rastreamento de uma unidade folicular e sistema para o rastreamento de uma unidade folicular.
Ruchay et al. Accurate body measurement of live cattle using three depth cameras and non-rigid 3-D shape recovery
Wang et al. Video see‐through augmented reality for oral and maxillofacial surgery
Mahmoud et al. ORBSLAM-based endoscope tracking and 3D reconstruction
Turan et al. Sparse-then-dense alignment-based 3D map reconstruction method for endoscopic capsule robots
CN108140242A (zh) 视频摄像机与医学成像的配准
Lee et al. Medical augment reality using a markerless registration framework
KR20160057024A (ko) 마커리스 3차원 객체추적 장치 및 그 방법
Khajarian et al. Image-based live tracking and registration for ar-guided liver surgery using hololens2: A phantom study
US11922576B2 (en) System and method for mapping the skin
US10390798B2 (en) Computer-aided tracking and motion analysis with ultrasound for measuring joint kinematics
CN115120345A (zh) 导航定位方法、装置、计算机设备和存储介质
Jin et al. 3D surface reconstruction and registration for image guided medialization laryngoplasty
US20250288358A1 (en) Systems for projection mapping and markerless registration for surgical navigation, and methods of use thereof
He et al. Enabling intelligent procedures: Endoscopy dataset collection trends and pipeline
Lagomarsino Tracciamento e compensazione della deformazione del seno durante biopsia robot-assistita
Sánchez-González et al. Laparoscopic Video and Ultrasounds Image Processing in Minimally Invasive Pancreatic Surgeries
Toews et al. Inter-slice correspondence for 2D ultrasound-guided procedures

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06T Formal requirements before examination [chapter 6.20 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 10/12/2019, OBSERVADAS AS CONDICOES LEGAIS. (CO) 10 (DEZ) ANOS CONTADOS A PARTIR DE 10/12/2019, OBSERVADAS AS CONDICOES LEGAIS

B21F Lapse acc. art. 78, item iv - on non-payment of the annual fees in time

Free format text: REFERENTE A 12A ANUIDADE.

B24J Lapse because of non-payment of annual fees (definitively: art 78 iv lpi, resolution 113/2013 art. 12)

Free format text: EM VIRTUDE DA EXTINCAO PUBLICADA NA RPI 2640 DE 10-08-2021 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDA A EXTINCAO DA PATENTE E SEUS CERTIFICADOS, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013.