JP7617242B2 - 移動物体の存在下で２ｄ視覚システムのカメラの被写界深度を広げるためのシステム及び方法 - Google Patents

Description

本発明は、機械視覚システムのカメラに関し、より具体的には、物体上のＩＤコードを（例えば）見つけて復号する際に使用するための自動調整光学機構を有するカメラに関する。

物体の測定、検査、位置合わせ、及び／又は機械可読シンボル（２Ｄマトリクスシンボル（記号）のような、「ＩＤ」とも呼ばれる）の形態のシンボル体系の復号を行う視覚システムが、広範囲の用途（応用形態）および産業で使用されている。これらシステムは、対象物または物体のイメージ（一般的に一次元、二次元または三次元のグレースケール又はカラー）を取得するイメージセンサの使用に基づいており、内蔵の又は相互接続された視覚システムのプロセッサを用いて、これら取得されたイメージを処理する。プロセッサは一般に、イメージの処理された情報に基づいて所望の出力を生成するために１つ又は複数の視覚システム処理（プロセス）を実行する処理ハードウェア及び持続性コンピュータ可読プログラム命令の双方を含む。このイメージ情報は典型的には、様々な色および／または輝度をそれぞれ有するイメージピクセルのアレイ内に提供される。ＩＤ読み取り装置（本明細書において「カメラ」とも呼ばれる）の例において、ユーザ又は自動プロセスは、１つ又は複数のバーコードを含むとみられている物体のイメージを取得する。当該イメージは、バーコードの特徴要素を識別（特定、同定）するために処理され、次いで、復号プロセス及び／又はプロセッサにより復号され、当該コードにより表わされた固有の英数字データが得られる。

動作中、ＩＤ読み取り装置は一般に、１つ又は複数のＩＤを含む場面（シーン）を照明する機能を果たす。次いで、照明された場面は、光学系を介して撮像システム内のイメージセンサにより取得される。アレイのセンサピクセルは、感光され、当該感光によってピクセル毎に生成された電子的値（単数または複数）は、メモリセルのアレイに格納され、場面の「イメージ（画像）」と呼ばれ得る。ＩＤ読み取りの用途の文脈の中で、場面は、適切な寸法およびタイプの１つ又は複数のＩＤを有する、対象となる物体を含む。ＩＤ（単数または複数）は、格納されたイメージの一部である。

ＩＤ読み取り装置の一般的な使用法は、製造作業および物流業務におけるライン（例えば、コンベヤ）に沿って移動する物体を追跡および区分けすることである。ＩＤ読み取り装置、又はより典型的には、複数の読み取り装置（読み取り装置の集合体）は、個々の物体の面（単数または複数）のそれぞれが視野を通過する際に、当該面（単数または複数）上の任意の期待されるＩＤを取得するために適切な視野角（単数または複数）で当該ライン上に配置され得る。一般に、物体に対するＩＤ読み取り装置の焦点距離は、当該ラインに対する読み取り装置の配置および物体のサイズに応じて、変動する可能性がある。

典型的なＩＤ読み取り装置は、複数の面を含むことができる物体の２Ｄイメージを取得するように動作し、この場合、ＩＤコードは、物体上に異なる高さ及び／又は位置関係（ボックス（箱）の面）で印刷されている。イメージセンサは、ＩＤコードが位置している場合がある物体（典型的には移動している）の完全な動作範囲に焦点を合わせることは困難である可能性があり、カメラアセンブリの光軸が物体の１つ又は複数の面に対して傾斜（非垂直）した向きで向けられる場合に、特にそうである。動作範囲が適切に合焦されることを確実にするために、カメラ光学系の被写界深度（ＤＯＦ）は、最大化されるべきである。特定の物流管理の例において、約８００ｍｍの高さ及び（例えば）最大で約３ｍ／秒までの速度で進むコンベヤ上でボックス間の最小距離２００ｍｍを画定する物体（ボックス）の面を正確に撮像することができることが望ましい。

発明の概要
本発明は、（例えば）物体（ボックス）上の特徴要素およびＩＤコードを走査する物流管理の応用形態、並びに改良されたＤＯＦを必要とする他の視覚システムのタスクにおいて有利に使用され得るシステム及び方法を提供することにより、従来技術の欠点を克服する。本明細書のシステム及び方法により、最大サイズのボックスが、同じサイズのボックスを撮像するカメラの数とシステムの複雑性を最小限にするために、焦点に配置されることが可能になる。ＤＯＦを向上させる（強化する）ために、システム及び方法は、視覚システム、普通（軸上）構成およびシャインプルーフ（又は他の適切な）構成のために設計されたガラスレンズ、可変（例えば、液体）レンズ、及び光学系および関連した機構をネジを緩めて外さずに（又は別な方法で外さずに）当該レンズを異なる構成に適合させるための機械システムを有効に組み合わせる。例示的な具現化形態において、光学系は操向可能であることができ、それにより、それが（例えば）シャインプルーフ構成において物体に対するＤＯＦを最適化するために視野角を最適化するように可変角度間で調整することを可能にする。１つ又は複数のイメージは、１つ又は異なる角度設定で物体から取得されることができ、興味のある（対象となる）領域全体が明確に且つ正確に撮像されるようになっている。別の例示的な具現化形態において、光路は、操向可能（１軸、又は２軸）ミラー、及び興味のある領域を覆う折り畳みミラー（必要に応じて）を含むことができる。操向可能ミラーにより、ボックス上の異なる場所が走査されることが可能になり、且つ複数のイメージが取得されることが可能になり、各イメージは、興味のある領域全体の少なくとも一部の明確なイメージを提供する。

例示的な実施形態において、視覚システムのカメラにより撮像される物体に対して被写界深度（ＤＯＦ）を最大化するためのシステム及び方法が提供され得る。イメージセンサは、イメージデータを視覚システムのプロセッサに伝達することができる。また、イメージセンサは、システムの光軸を画定することができる。レンズアセンブリは、高いＤＯＦ及び低ドリフトを提供するように構成されることができ、レンズアセンブリは、レンズの光軸を画定することができる。可変レンズは、レンズアセンブリとイメージセンサとの間に配列されることができ、プロセッサに応答して焦点を変更することができる。傾斜機構は、ＤＯＦを最大化するように、プロセッサの焦点情報に応答して、システムの光軸に対してレンズの光軸を変化させるように構成され得る。傾斜機構は、（ａ）レンズアセンブリの相対角度を変化させる、又は（ｂ）レンズアセンブリと物体との間に位置する操向可能ミラーの相対角度を変化させるように構築されて構成される。折り畳みミラーは、操向可能ミラーと物体との間に位置することができる。傾斜機構は、２つの直交軸のそれぞれで動作することができる。可変レンズは、液体レンズ（例えば、薄膜ベースの液体レンズ）からなることができる。レンズアセンブリは、イメージセンサを収容するハウジングに対する傾斜マウントに取り付けられる固体レンズ又はガラスレンズのスタックからなることができ、及び／又は液体レンズは、傾斜マウントに取り付けられ得る。レンズアセンブリ、可変レンズ、及びイメージセンサは、物体に対する光路を画定することができる。当該光路は、（ａ）軸上と（ｂ）別（非軸上）の構成との間で可変であることができ、当該別の構成において、レンズアセンブリの光軸面は、イメージセンサに対する光軸面と平行でない。当該構成は、シャインプルーフ構成、又はＤＯＦ及び／又は別の所望の撮像特性を改良する任意の他の許容可能な構成を含むことができる。一般に、プロセッサは、イメージ内の１次元および２次元ＩＤコードを見つけて復号するように構成され得る。実例として、物体は、物流業務における視覚システムのカメラの視野（ＦＯＶ）を通過することができる。

例示的な実施形態において、固体レンズ又はガラスレンズ、及びイメージプロセッサに応答する可変レンズからなるレンズアセンブリを介して、光路に沿って物体からの光をイメージセンサ上へ投影することにより、視覚システムのカメラにより撮像される物体に対する被写界深度（ＤＯＦ）を最大化するためのシステム及び方法が提供され得る。係るシステム及び方法において、光路は、光路を変化させる機械的システムによりプリベリング（prevailing：卓越した、支配的、優勢な）角度に移動することができる。システム及び方法は、（ａ）物体の移動速度、（ｂ）物体の最大サイズ、及び／又は（ｃ）物体と当該移動速度で移動する別の隣接する物体との間の最小距離を含むことができる制約に基づいて、物体と視覚システムのカメラの像面との間の距離を求めることができる。当該光路のプリベリング角度は、像面に対して求められ得る。可変レンズは、物体上の興味のある平面に対して投影された光を集束するように設定され得る。次いで、イメージは、視覚システムのカメラで取得され得る。実例として、機械的システムは、ハウジングに対してレンズアセンブリを傾斜させることにより光路の角度を変更することができ、及び／又は機械的システムは、レンズアセンブリと物体との間に位置する操向可能ミラーの角度を変更することができる。所望のＤＯＦは、光路を傾斜させ且つ可変レンズの焦点を調整することにより、設定され得る。一例として、可変レンズは液体レンズであることができる。例示的なシステム及び方法は、物体上の少なくとも１つの１次元または２次元ＩＤコードを見つけて復号する、及び／又は視覚システムのカメラの視野（ＦＯＶ）を通過中の物体を対象とするように動作することができる。システム及び方法は、ＦＯＶを通過中の物体に隣接する別の物体を対象とし、物体および別の物体のそれぞれのイメージを取得するように更に動作することができる。システム及び方法のレンズアセンブリ、可変レンズ及びイメージセンサは、物体に対する光路を画定することができる。そのため、当該光路は、（ａ）軸上の光路と（ｂ）別（非軸上）の構成との間で可変であることができ、その別の構成において、レンズアセンブリの光軸面は当該像面と平行でない。この非軸上の構成は、シャインプルーフ構成、又はＤＯＦ及び／又は別の撮像特性を改良する他の適切な構成を含むことができる。更に、システム及び方法は、視覚システムのプロセッサでもって、イメージ内の１次元および２次元ＩＤコードを見つけて復号するように動作することができる。

本発明の以下の説明は、添付図面を参照する。

例えば、物流業務で使用される視覚システムを示す図であり、この場合、カメラアセンブリは、複数のＩＤコードが側面に沿って変化する高さに配置されている例示的な物体（ボックス）の側面のイメージを取得し、広げられた被写界深度（ＤＯＦ）の光学系構成がそれと関連したイメージデータの改善された取得を可能にする。

例示的な実施形態による、光学系の前部ガラスレンズ・アセンブリと共に使用するための可変傾斜機構を有する光学系パッケージ及びイメージセンサを備える一般化されたカメラアセンブリの垂直断面図である。

例示的な実施形態による、所望のＤＯＦで側面の複数のイメージを取得するための可変傾斜機構を用いて例示的な物体（ボックス）の側面を撮像するための（例えば）シャインプルーフの原理の動作を示す図である。

例示的な実施形態による、視覚システムのカメラアセンブリと共に使用するための例示的な可変角度の傾斜レンズアセンブリ及びアクチュエータの垂直断面図である。

一実施形態による、覆っている折り畳みミラーを介して、掃引パターンで光路を方向付ける、固定レンズアセンブリ及び操向可能（傾斜）ミラーを示す図である。

隣接するボックスに対する間隙（ギャップ）内の例示的な物体（ボックス）の側面を撮像するために、図５の操向可能ミラー及び折り畳みミラーを有する視覚システム構成の使用法を示す図である。

図６の構成の動作に関する斜視図である。

作動状態の例による、一番左の横方向位置に傾斜した光路を示す、図５の操向可能ミラー及び折り畳みミラーを有する視覚システムの図である。

作動状態の例による、中心位置にある光路を示す、図５の操向可能ミラー及び折り畳みミラーを有する視覚システムの図である。

作動状態の例による、一番右の横方向位置に傾斜した光路を示す、図５の操向可能ミラー及び折り畳みミラーを有する視覚システムの図である。

一番左の位置に沿った例示的なボックスの側面に交差する光路を有する図８の作動状態の例を示す図である。

中心位置において例示的なボックスの側面に交差する光路を有する図９の作動状態の例を示す図である。

一番右の位置に沿った例示的なボックスの側面に交差する光路を有する図１０の作動状態の例を示す図である。

本明細書のシステム及び方法の原理を用いて取得された、印刷された例示的なＩＤコードを有する物体のスタックのイメージに関する図である。

本明細書のシステム及び方法の原理を用いて取得された、広げられたＤＯＦを画定する、ＦＯＶ内の物体を示すイメージの図である。

従来の光学系構成を用いて合焦された細部の限定領域を画定する、図１５の同じ物体およびＦＯＶの比較イメージの図である。

詳細な説明
Ｉ．システムの概観

図１は、撮像される物体表面上に比較的長い距離にわたって位置するＩＤコードのような、きめ細かい特徴要素の撮像に有用な改良された被写界深度（ＤＯＦ）を提供する際に使用するための視覚システム構成１００を示す。構成１００は、映し出される例示的な物体（ボックス）１２０の表面からの受け取った光をセンサＳ（図２で後述される）の表面上に向ける対応する光学系パッケージ１１２を備える撮像システム（本明細書において「カメラアセンブリ」とも呼ばれる）１１０を含む。図示されたように、カメラアセンブリは、ボックス１２０の側面１２２のイメージを取得するように向けられ、この場合、ボックスの高さＨＢに沿った様々なＩＤコード１２４、１２６及び１２８を取得して復号することが望ましい。ＩＤコードに存在する小さくて精密な細部と組み合わせた高さの変化は、復号のタスクをやや困難にする可能性がある。即ち、従来のＤＯＦを備えるカメラは、１つ又は２つのＩＤコードに適切に焦点を合わせることができるだけであり、３つのコード全てに焦点を合わせることはできない。単一のシーンにおいて焦点を変更して２つ以上のイメージを取得することにより、異なる距離にあるＩＤコードが取得されることが可能になることができる。しかしながら、この手法は、物体がコンベヤラインを通って移動している場合（例えば、物流管理状況において）に不利になる可能性もあり、検査場所での迅速な撮像が要求される。

従って、更に後述されるような例示的なカメラアセンブリ１１０は、増大したＤＯＦを可能にするように撮像中に角度的向きを変更することができる角度調節可能な光学系パッケージ１１２を内蔵する。カメラアセンブリ１１０のイメージセンサ（図２のＳ）は一般に、２Ｄグレースケール又はカラーのピクセルアレイであるが、様々な実施形態において１Ｄアレイであることができ、視覚システムの処理（プロセッサ）１４０と相互接続される。イメージデータ１３０は、カメラアセンブリ１１０から処理（プロセッサ）１４０に伝達される。処理（プロセッサ）１４０は、視覚システムのカメラ構成１１０のハウジング内に完全に又は部分的に包含され得る。プロセッサ１４０は、イメージセンサから伝達されるイメージデータを用いて様々な視覚システムの処理を実行する。処理（プロセッサ）１４０は、以下に限定されないが、エッジ検出器、セグメント化ツール、ブロブ解析装置、キャリパーツール、パターン認識ツール、及び他の有用なモジュールのような、視覚ツール１４２を含むことができる。また、視覚システムの処理（プロセッサ）１４０は、従来の又はカスタム構成による、ＩＤファインダー及び復号器１４４も含むことができ、それらは視覚システムのツールからのデータを受け取り、ＩＤ候補が解析されるイメージ（単数または複数）に存在するか否かを判断する。次いで、ＩＤ復号器の機能は、イメージ内の見出されたＩＤ候補を復号しようと試みるために、従来の機能モジュール、並びにカスタムプロセッサ／処理を使用することができる。

他の処理および／またはモジュールが様々な制御機能（例えば、自動焦点、照明、イメージ取得トリガリングなど）を提供することができる。係る機能は当業者には明らかであろう。特に、角度または傾斜制御処理（プロセッサ）１４６が設けられる。後述されるように、この機能は、例示的な実施形態に従って、増大したＤＯＦを可能にするように、光学系１１２のガラス部分（又は、ミラー、プリズムなどのような別の光学構成要素）の傾斜を変更する働きをする。適切な制御データ／信号１４８が、処理（プロセッサ）モジュール１４６から、光学系１１２用の駆動機構（後述される）に伝達され得る。更に、焦点制御処理（プロセッサ）１４７は、制御信号情報１４８の一部として、更に後述されるようなカメラアセンブリの光学系１１２内の可変（例えば、液体）レンズに焦点情報を提供することができる。

代案として、視覚システムの処理（プロセッサ）１４０の一部または全ては、ＰＣ、サーバ、ノート型パソコン、タブレット又は携帯端末（例えば、スマートフォン）のような汎用コンピューティング装置１５０内に包含されることができ、それらは、ディスプレイ及び／又はタッチスクリーン１５２、及び／又はキーボード１５４、マウス１５６などのような従来の又はカスタムのユーザインターフェースの他の形態を含むことができる。代替の実施形態において、様々なプロセッサ構成および具現化形態が構成１００に視覚システム機能を提供するために使用され得ることは明らかであろう。同様に、カメラ構成がＩＤ復号化以外のタスクに使用される場合、適切な視覚システム処理モジュールが利用され得る。例えば、視覚システムが検査に使用される場合、学習処理モジュール及び学習パターンデータが提供され得る。

コンピューティング装置１５０及び／又は処理（プロセッサ）１４０は、１つ又は複数のデータ利用処理および／または装置１６０にリンクされているように示される。ＩＤ復号化および／または他の視覚システムのタスクからの結果１６４は、係る下流の構成要素に伝えられ、（例えば）物流業務（例えば、パッケージの選別、ルーティング、不合格など）を行うために使用される。

制限しない例として、ここで留意すべきは、光検出器または他の存在検出装置１８０が物体の流れ（例えば、コンベヤライン）に沿った適切な位置に設置されて、トリガ信号１８２を発することができ、当該トリガ信号１８２は、物体１２０のイメージ取得を開始するために視覚システムの処理（プロセッサ）１４０により使用される。また、検出器は、物体が検査域から出た際に信号を送ることもでき、新たな一連のイメージ取得を開始するために新たな物体の到着を待ち受ける。

更に図２を参照すると、カメラアセンブリ１１０の例示的な具現化形態が更に詳細に示される。図示されたカメラアセンブリは、上述されたようなイメージセンサＳを備えるメインボード２１２を含む、複数の回路構成要素（基板、チップなど）２１４、２１６、２１８を有するハウジング２１０を画定する。センサＳは、物体１２０の集束されたイメージが光学系１１２により投影されて、視覚システムにより処理するためのピクセルデータへ変換される、像平面２２０を画定する。センサＳは、センサの像平面２２０から垂直に延びる、システム光軸ＯＡＳを画定する。光学系は、像平面２４０を画定し、当該像平面２４０は、システム光軸ＯＡＳに対して垂直でない角度ＡＯＰで配向され、関連した光学系光軸ＯＡＯは、システム光軸ＯＡＳに対して鋭角（非平行角度）ＡＯＡで配設される。この角度ＡＯＡは、光学系アセンブリ１１２の少なくとも一部の傾斜を変更する調整機構２５０に部分的に基づいて、変化することができる。制限しない例において、角度ＡＯＡは、約５°から約２０°までの間である。この例示的な実施形態において、光学系１１２の傾斜が変化する部分は、全体的光学系アセンブリ１１２の最前部にある所謂ガラスレンズ２６０である。図示されたように、着脱可能であることができるガラスレンズ２６０は、所与の焦点距離などを達成するために既知の光学原理に従って構成された複数の（例えば）凸レンズ及び凹レンズ２６２、２６４及び２６６からなる。可変的傾斜（湾曲した二重の矢印２６２）ガラスレンズ２６０の後方には、可変焦点レンズアセンブリ２７０がある。この可変焦点レンズアセンブリ２７０は、処理（プロセッサ）１４０からの制御信号１４８に基づいて電子的に制御され得る。変化する構成要素は、スイスのオプトチューン（Optotune）社およびフランスのバリオプティック（Varioptic）社から入手できるような、機械的レンズ又は液体レンズであることができる。係る構成において、液体レンズ２７０は、適切な焦点距離を指示する入力１１８を提供するために任意の適切な焦点データ（例えば、ＬＩＤＡＲ、飛行時間型センサなどを含む、視覚ツールを用いた鋭さの検出、光学視差式距離計の使用）を用いて制御され得る。係る情報は、当業者に明らかなように、焦点制御プロセッサ１４７（図１）を介して処理される。より具体的には、レンズの焦点は、上述されたように視覚システムのプロセッサ１４０により、又は別個の焦点プロセッサ（又は関連して動作するように接続された処理構成要素の組み合わせ）により、制御され得る。可変レンズアセンブリ２７０は、固定角の傾斜で配向されることができ、一組の後部凹レンズ及び凸レンズ２７２、２７４及び２７６を含む。全体的レンズ構成は、タスクのための概して所望の焦点距離およびＤＯＦを提供するのに適切である。同一出願人により２０１７年１２月１９日に出願され、「SYSTEM AND METHOD FOR REDUCTION OF DRIFT IN A VISION SYSTEM VARIABLELENS」と題する米国特許出願第１５／８４７８６８号を参照すると、可変レンズの存在下で広げられたＤＯＦを提供するための様々な光学系構成（例えば、レンズスタック）が説明されており、そられの教示は、有用な背景情報として参照により本明細書に組み込まれる。光学系１１２は、所定の焦点領域内の動作を可能にする自動焦点機能を提供するために図示された可変焦点レンズ２７０を使用することができる。

センサの像平面２２０に対して傾斜した光学系１１２は一般に、光学系軸ＯＡＯ及びシステム光軸ＯＡＳが向かう物体表面１３０上の点（複数）に関して、シャインプルーフの原理（説明のために上記の組み込まれた米国特許出願第１５／８４７８６８号も参照）に従って動作する。結果としての視覚システム構成１００は、例示的なボックス１２０の側面に沿って示されたような距離範囲にわたって、より小さい細部（例えば、バーコード１２４、１２６、１２８）を有する特徴要素を撮像する際のＤＯＦをもたらす。即ち、物体（ボックス）は、カメラアセンブリ１１０のＦＯＶに全面的に焦点を合わせられる。シャインプルーフの原理の使用に関する説明図は、略図３００に示される。この例において、（例えば）９ｍｍの全対角サイズを有する、本明細書で使用されるタイプの（例えば）３ＭＰイメージセンサＳは、（例えば）３５ｍｍのレンズＬ及びＦ８の絞り値設定と共に動作する。センサＳ、レンズＬ、及び物体／ボックス１２０の垂直な正面１２２（垂直距離Ｖ１－Ｖ２を画定する）により記述される３つの平面は、シャインプルーフの点Ｓｃで交わる。この特定の構成により、システムは、隣接するボックス３１０に対して３００ｍｍのボックス間隙（Ｖ２－Ｖ３）を有する（例えば）８００ｍｍの高さ（Ｖ１－Ｖ２）距離のボックスを撮像することが可能になる。ここで留意すべきは、本明細書で説明されるような、シャインプルーフ構成は、本明細書のレンズ構成の（可変の）幾何学的形状により達成され得る様々な構成の１つである。ＤＯＦを改善する他の適切な構成が使用され得ることが企図されており、当該他の適切な構成は一般に、レンズアセンブリの光軸面がイメージセンサに対する像平面と平行でない別の構成（一般に非軸上）と軸上との間の光路を変化させる構成を含む。係る代替の非軸上構成の使用は、光学構成の当業者には明らかであろう。

ＤＯＦは、前部焦点レンズ平面ＦＦにより画定されたラインと（距離Ｖ１－Ｖ２）により画定されたボックスの正面との間の交点により画定される。ＤＯＦは、点Ｄに配置された頂点を有する楔形を呈示する。この場合の興味のある最小ＤＯＦは、点（Ｈ１－Ｈ２）により求められ、その場合、ボックスの最大高さのＤＯＦは１７０ｍｍである。カメラセンサＳの２０ｍｓの読み出し時間のフレームレート、及びＦＯＶを通過するボックスの４ｍｍ／ｍｓの移動速度（矢印３２０）（例えば、コンベヤを用いて）を仮定すると、カメラセンサＳが許容可能な焦点でボックスの全側面で取得することができるフレーム数は、以下のように計算される。

かくして、ボックス側面の全範囲が２フレームを用いて撮像され得る場合、ボックス上の全ての潜在的な候補特徴要素の正確で信頼できる読み出しにより、取得されて、（適用可能である場合に）有用な結果を得るために復号され得る。全表面の取得は、可変焦点（例えば、液体）レンズアセンブリと組み合わせた可変傾斜（操向可能）光学系システムを用いて、達成され得る。

II．操向可能レンズ

図４を参照すると、図４は、上述された全体的光学系（１１２）と一体化され得る可変傾斜（操向可能）レンズアセンブリ４００を示す。レンズアセンブリ４００は、嵌合するネジ部または別の取り付け技術（例えば、止めネジなど）を介して、カメラアセンブリのレンズマウント（例えば、Ｃマウント）に取り付けられ得るハウジング４１０を含む。代案として、ハウジング４１０は、フランジ（４１２）を用いてネジ又は他の留め具を介してカメラハウジングの前面に取り付けられ得る。ハウジングは、任意の適切なモータ制御回路および／またはインターフェースを介して角度制御処理（プロセッサ）（図１の１４６）から電力および制御信号を受け取る歯車付きモータ４２０を含む。モータは、センサＳの像平面に対してレンズアセンブリ４４０の軸ＯＡＯに非垂直の傾斜（センサシステムの軸と平行でない）を生成するように、図示された回転軸Ｓｃの周りを回転するヨーク４３０を駆動する。傾斜の動きは、回転軸Ｓｃと、モータ４２０とヨーク４３０との間の接触点Ｐとの間の半径ＲＬにより画定される。回転軸Ｓｃは、例えば、図示されたようにページに直角に交わり且つ垂直である（ライン４２６）、直交軸を画定することができる。従って、ヨーク４３０は、モータ及び／又は第２のモータ４２８の駆動下で２つの直交軸のそれぞれの周りに移動するように構成され得る。ヨーク４３０及びレンズハウジング４１０の対面する表面は、システム軸のそれぞれの側に対して傾斜角度の範囲内で玉継ぎ手のように自由な動きを可能にする２軸構成の半球体を画定することができる。このように、カメラは、物体に対してカメラハウジングの空間的向きに関係無く、所与の軸の周りに回転することができる。

ヨーク４３０及びモータ（単数または複数）４２０（及び４２８）は、調整可能な傾斜角度を達成するために様々な方法で相互作用することができ、例えば、ヨーク４３０は、モータのピニオンギアにより駆動されるギアラックを含むことができる。また、モータは、ヨークに取り付けられたラックと相互作用するウォーム駆動ギアも含むことができる。代案として、モータは、ヨーク上の滑らかな接触表面またはざらつきのある接触表面に対して押圧するエラストマータイヤを駆動することができる。別の構成において、１つのモータがヨークを傾斜軸の周りに駆動することができ、その全体的アセンブリが、第２の自由度を提供するために、ジンバルのように、直交軸の周りに回転することができる。適切なフィードバックが、鏡筒４４０の角度位置およびその関連した軸ＯＡＯを追跡するために、角度制御処理（プロセッサ）１４７に送り返され得る。係るフィードバックは、モータのステップ（即ち、モータ４２０（及び４２８）がステッピングモータとして構成されている場合）を追跡することにより、又はモータ及びヨークの駆動系に関連して動作するように接続された別個のエンコーダを介して、生成され得る。他の実施形態において、加速度計構成が相対位置を追跡するために使用され得る。レンズアセンブリ４４０の空間的位置および位置関係を追跡するための他の技術が使用され得る。レンズアセンブリ４１０とカメラアセンブリのハウジングとの間のデータ／電力接続（図示せず）は、必要に応じて提供され得る。制限しない例として、この接続は、レンズハウジング４１０がカメラハウジングに装着された際に接触する相互係合するコンタクトパッドである、又はレンズハウジング４１０からカメラハウジング上のソケット（図示せず）に延びる脱着可能なケーブル４５０であることができる。

モータ４２０の電力および制御に加えて、上述されたケーブル４５０は、可変（例えば、液体）レンズアセンブリ４６０を、視覚システムのプロセッサ１４０上の焦点制御（図１の１４７）に接続することができる。この例における液体レンズ４６０は、全体的レンズアセンブリ４４０の鏡筒４６４と一体化され、当該鏡筒４６４と共に傾斜する。鏡筒４６４は、前部ガラスレンズ構成（スタック）４６６、可変／液体レンズ４６０、及び後部レンズ構成（スタック）４６８をまとめて収容する。代替の構成において、前部ガラスレンズ構成だけが傾斜され得るが、液体レンズ及び／又は後部ガラスレンズ構成はセンサＳに対して静止した状態のままである。一般に、鏡筒４６４内のガラスレンズの数およびそれらの配置は、光学系の所望の特性に基づいて極めて変化しやすい。

動作中、モータ４２０は、軸Ｓｃの周りに異なる向きにレンズアセンブリ４４０を傾斜させるように動作すると同時に、液体レンズ４６０の焦点は、物体の側面全体に必要とされるＤＯＦを完全に網羅するようにＦＯＶ全体の各部分を撮像するために適切な焦点距離に調整される。特に、レンズ４６０の焦点位置は、異なる使用状況に関してセンサＳに対して適合されることができ（即ち、２４ｍｍレンズの焦点は、３５ｍｍレンズの焦点と異なる）、システムは、これらの物理的な差異に対処するための、及び所与のタスクに最も適合するレンズアセンブリを選択する際にユーザに選択肢を提供するための柔軟性を可能にする。より具体的には、モータ４２０がレンズを傾斜させる際、焦点フィードバックにより、処理（プロセッサ）（１４７）は、その傾斜設定に対して適切な焦点面に調整する。

ここで留意すべきは、プロセッサに提供される情報の一部は、カメラ軸に対するレンズの現在の角度を含むことができる。これは、物体上の興味のある平面を適切な焦点に配置するように可変（液体）レンズの焦点を設定するための他の情報と組み合わせて使用される。また、システムは、物体とカメラ像面との間の距離も求める。このデータは、他のシステム／アプリケーション（応用形態）の制約と組み合わされ、当該制約は、ＦＯＶを通過する物体の運動速度、物体の最大サイズ、及び物体間の最小距離（更に後述される）を含む。

III．操向可能ミラー及び折り畳みミラー

（シャインプルーフの原理に従いながら）レンズ光軸に可変角度を提供するための代替の構成５００が図５に示される。レンズアセンブリ５１０は、センサＳに対して正しい方向に置かれる。レンズアセンブリ５１０は、上述されたように、可変（例えば、液体）レンズを含む適切なレンズスタックを含むことができる。可変レンズは、上述された焦点制御処理（プロセッサ）１４７により制御される。センサＳ上へＦＯＶを反射する大きさになっている操向可能ミラー５３０が、光路５２０に沿ってレンズアセンブリ５１０の前に配置される。全体的な構成は、上述されたシャインプルーフの原理を定義する。操向可能ミラー５３０は、１つ又は２つの直交軸で枢支され得る（湾曲した二重の矢印Ｔ１及びＴ２）。光路５２０は、撮像されるシーン（例えば、コンベヤ表面５６０）に対して都合の良い場所に装着され得る、覆っている折り畳みミラー５５０上へ延びている。

動作中、折り畳みミラー５５０は、シーンを撮像するために適切な構成へと方向を合わせられ、操向可能ミラー５３０は、移動の垂直方向にわたって迅速に掃引しながら、システムがコンベヤの異なる区域を走査することを可能にするために一方の軸または双方の軸に沿って（角度制御処理（プロセッサ）１４６に応答して）傾斜する。操向可能ミラー５３０は、様々な技術（例えば、サーボ、ステッパ、ボイスコイルなど）を用いて駆動（付勢）されることができ、それら技術は、当業者に明らかであろう。操向可能ミラー５３０は、カメラアセンブリの光学系と一体化されることができ、その結果、完全に収容されて、環境から適切に保護される（例えば、透明なのぞき窓を用いて）。

図６及び図７に示されるように、操向可能ミラー６１０を備える光学系アセンブリ（図５のレンズ５１０とミラー５３０の組み合わせ）が、ボックス間の間隙空間Ｇで第２のボックス６３０に隣接して位置する例示的なボックス６２０の側面６２２に沿ってＩＤコード（又は他の特徴要素）を読み出すための動作において示されている。撮像されるシーンは、ボックスの側面６２２の高さ上にＦＯＶを向けるように位置して傾斜している折り畳みミラー５５０の位置決めにより、画定される。操向可能ミラーの掃引運動は、ボックスがコンベヤライン６５０に沿った所定の速度で移動する（矢印６４０）際に、この高さ（及び幅）の様々な領域を焦点へ配置することができる。側面６２２に沿った全ての特徴要素が復号のために十分に撮像されることを確実にするために、十分なフレームが、光路５２０の走査運動中にボックスから取得される。（上述された）一例において、ボックスは、約８００ｍｍ×約８００ｍｍ×約８００ｍｍの最大寸法を有するが、この最大サイズ（幾つか又は全ての寸法において）は、代替の具現化形態において極めて変わりやすい。より具体的には、この構成は、物流管理の応用形態に良好に適合する。係る応用形態において、ボックスの最大高さは、約８００ｍｍであり、ボックス間の最小間隙距離は、２００ｍｍである。ボックスは、システムのＦＯＶを最大で３ｍ／ｓまでの速度で通過することができる。システムは望ましくは、焦点に配置されるべきボックスの最大の予想されるサイズを可能にし、それにより、カメラの数が最小限にされ、システムのカメラの数および複雑性の双方を最小限にすることが最小限に抑えられ得る。

図８～図１３に更に示されるように、操向可能ミラー５３０は、関連したＦＯＶが例示的な物体（ボックス１１２０）の側面１１２２の全長手方向（幅）寸法を網羅することができるように、光路５２０が横方向に向け直されるように、様々に（例えば、左の位置、中央位置、右の位置）傾斜する。これは、図示された例において、３つの別個の位置（及びイメージフレーム）で実現されるが、代替の具現化形態において、より多い又はより少ない横方向位置（例えば、左の位置と中央位置の間の位置および右の位置と中央位置の間の位置）が使用され得る。図示されたように、光路５２０は、イメージフレームが取得される際に、図８及び図１１において、操向可能ミラー５３０により横方向に約８°左側へ向けられ、それによりボックスの側面１１２２のほぼ高さに沿ったその左側部分を網羅する。図９及び図１２において、ボックスの側面１１２２の中央部分が撮像され、この場合、光路５２０は所定位置において約０°（ニュートラル、中立）である。次いで、図１０及び図１３において、光路５２０は、ボックスの側面１１２２の右側部分を撮像するように横方向に右側へ向けられる。この走査プロセスにより生成された３つのイメージを適切に重ねることにより、全側面が、最小限のサイズのＩＤコードのＩＤ特徴要素を発見して復号するために十分な細部と共に完全に撮像される。ここで留意すべきは、＋／－８°の傾斜角の使用は、例示であり、広範囲の考えられる角度は、システムのプリベリング（prevailing：卓越した、支配的な、優勢な）ＦＯＶ及びＤＯＦ、撮像されるべき特徴要素のサイズ、及び検査中の全物体のサイズに基づいて使用され得る。

IV．操業実績

有利な点は、例示的な具現化形態は、ＤＯＦを広げると同時に、画質および焦点を最大化する。ガラスレンズ構成要素は有利には、その光軸がセンサ平面に垂直である普通モード、及びシャインプルーフ構成の双方で動作することができ、（例えば）物体の上面／側面の走査を必要とする物流管理の応用形態を含む、様々な視覚システムのタスクのためになることができる実質的な柔軟性を可能にする。より具体的には、当該構成は、極端な視点から見られる移動している物体の場合に、最大化されたＤＯＦを可能にする。また、これら性能特性により、物体の配列を撮像するために使用されるカメラの数が最小限にされることも可能になる。即ち、複数のカメラに基づいた他のシステムは一般に、本明細書の例示的な構成と同じＤＯＦを網羅するために比較的大きな数の読み取り装置を必要とするが、係る他のシステムは、射影ひずみ、低減された使用可能なＦＯＶ、及びシステムにおける各カメラの異なる焦点距離の要件に苦労する。一般に係るシステムは、本明細書において単一（又は場合によっては２台）のカメラアセンブリが実施することができる同じ動作を実施するために、３台または４台のカメラを組み込む必要がある（この場合、システムの複雑性および処理されるべきデータ量が著しく増加）。また、例示的な構成は、本質的に低ドリフト特性も組み込み、従来のオートフォーカス機能を可能にする。ここで留意されるべきは、例示的な構成は、レンズ構成およびレンズの前方（例えば、折り畳みミラー）における変更された光学機械の使用は別として、センサ又はカメラのハウジングのハードウェアに対する変更の無い状態で、ＤＯＦを最大化する。

さて、図１４を参照すると、図１４は、本明細書の例示的な実施形態に従って取得された複数の物体（ボックスのスタック）１４１０の例示的なイメージの結果を示す。この例において、（例えば）２４ｍｍのＦ６レンズを有するカメラアセンブリ１４２０が、５－Ｍｐイメージセンサと共に動作しながら、傾いた位置で実施された。レンズの位置は、物体（単数または複数）の興味ある平面１４３０に焦点を合わせるように配設されている。この構成において、ＦＯＶは、興味ある平面１４３０が約７５０ｍｍの見える高さを画定するように、増大される。一般に、ひずみは、興味ある平面１４３０の内側で認められ得る。上側イメージ部分１４４０及び下側イメージ部分は、比較的小さい（例えば、１０ミル（０．２５４ｍｍ）（様々な物流管理の応用形態において一般に最小サイズである））識別可能なＩＤコード１４４２、１４５２を含む。

同様に、図１５は、改良されたＤＯＦを提供する、本明細書のシステム及び方法の原理を使用することにより、実質的に全高さにわたる鋭く焦点合わせされた領域（矢印１５１０）を有するＦＯＶのイメージ１５００を示す。逆に、図１６において、より小さく焦点合わせされた領域（矢印１６１０）が、従来の光学系を用いて、同じＦＯＶのイメージ１６００に生じる。

Ｖ．結論

明らかであるように、上述されたシステム及び方法は、視覚システム、普通構成（軸上）およびシャインプルーフ構成の双方に設計されたガラスレンズ、可変（例えば、液体）レンズ、及び光学系および関連した機構をネジを緩めて外さずに（又は別な方法で外さずに）異なる構成にレンズを適合させるための機械的システムを有利に組み合わせることによって、ＤＯＦを有効に広げて、より高い物体を正確に撮像するための能力を有効に広げる。このシステム及び方法は、例えば物流管理の応用形態に直面した特定の問題に有効に対処し、及び性能を向上させ、設置の複雑性を低減し、単一レンズの更なる柔軟性を提供し、且つ異なる応用形態において現在利用され得る改善された特徴を、ＩＤコード読み取り装置に提供する。特に、上述されたシステム及び方法は、（様々な実施形態において）ランタイム動作前の利用可能なダイナミックレンジ及び／又は網羅的な較正の全て又は一部にわたって、異なる光パワー（optical power：屈折力）を掃引する、複数のイメージの取得を必要としない。

前述のことは、本発明の例示的な実施形態の詳細な説明である。様々な変形および追加が、本発明の思想および範囲から逸脱せずに行われ得る。上述された様々な実施形態のそれぞれの特徴は、関連した新たな実施形態において特徴の組み合わせの多様性を提供するために、必要に応じて他の説明された実施形態の特徴と組み合わされる場合がある。更に、前述のことは、本発明の装置および方法の多数の別個の実施形態を説明しているが、本明細書で説明されたことは、本発明の原理の応用形態の単なる例示である。例えば、本明細書で使用される限り、「垂直」、「水平」、「上へ」、「下へ」、「下部」、「上部」、「側部」、「前部」、「後部」、「左」、「右」、「前方」、「後方」などのような、様々な方向および配向を示す用語（及びそれらの文法的変異）は、相対的な慣習としてのみ使用されており、重力の作用方向のような、固定された座標系に対する絶対的な向きとして使用されていない。更に、用語「実質的に」又は「約」は、所与の測定値、値または特性に対して使用され、所望の結果を達成するための通常の動作範囲内にある量を意味するが、システムの許容誤差（例えば、１～２％）内の固有の不正確さ及び誤差に起因した或る程度のバラツキを含む。また、留意するべきは、本明細書で使用される限り、用語「処理（プロセス）」及び／又は「プロセッサ」は、様々な電子ハードウェア及び／又はソフトウェアベースの機能および構成要素を含むように広く解釈されるべきである。更に、図示された「処理」または「プロセッサ」は、他の処理および／またはプロセッサと組み合わせられる、又は様々なサブ処理またはサブプロセッサへ分割され得る。係るサブ処理および／またはサブプロセッサは、本明細書の実施形態に従って、様々に組み合わせられ得る。同様に、本明細書の任意の機能、処理および／またはプロセッサは、電子ハードウェア、プログラム命令の持続性コンピュータ可読媒体からなるソフトウェア、又はハードウェア及びソフトウェアの組み合わせを用いて実現され得る。従って、本説明は、単なる例示として解釈されることが意図されており、他に本発明の範囲を制限することが意図されていない。

Claims (20)

1. 視覚システムのカメラにより撮像される物体に対して被写界深度（ＤＯＦ）を広げるためのシステムであって、
   イメージデータを視覚システムのプロセッサに伝達し、システムの光軸を画定するイメージセンサと、
   固体レンズ又はガラスレンズからなり、操向可能なレンズ光軸を画定するレンズアセンブリと、
   前記レンズアセンブリと前記イメージセンサとの間に配列され、前記プロセッサからの制御信号に応答して焦点を変更する可変レンズと、
   ＤＯＦを広げるように前記プロセッサからの制御信号に応答して、前記システムの光軸に対して前記操向可能なレンズ光軸を操向する傾斜機構とを含み、
   前記可変レンズは、前記操向可能なレンズ光軸の現在の相対角度に基づいて焦点を変更する、システム。
2. 前記傾斜機構は、（ａ）前記レンズアセンブリの相対角度を変化させる、（ｂ）前記レンズアセンブリ及び前記可変レンズの相対角度を変化させる、又は（ｃ）前記レンズアセンブリと前記物体との間に位置する操向可能ミラーの相対角度を変化させるように構築されて構成されている、請求項１に記載のシステム。
3. 前記傾斜機構は、前記レンズアセンブリと前記物体との間に位置する操向可能ミラーの相対角度を変化させるように構築されて構成され、折り畳みミラーは、前記操向可能ミラーと前記物体との間に位置する、請求項１に記載のシステム。
4. 前記傾斜機構は、２つの直交する回転軸のそれぞれの周りに回転する、請求項１～３の何れか１項に記載のシステム。
5. 前記可変レンズは、液体レンズからなる、請求項１～４の何れか１項に記載のシステム。
6. 前記固体レンズ又はガラスレンズからなるレンズアセンブリは、前記イメージセンサを収容するハウジングに対する傾斜マウントに取り付けられ、前記可変レンズは、前記傾斜マウントに取り付けられた液体レンズを含む、請求項１に記載のシステム。
7. 前記レンズアセンブリ、前記可変レンズ、及び前記イメージセンサは、前記物体に対する光路を画定し、前記光路は、軸上の構成と非軸上の構成との間で可変であり、前記非軸上の構成において、前記レンズアセンブリの光軸面は、前記イメージセンサに対する像面と平行でない、請求項１に記載のシステム。
8. 前記非軸上の構成は、シャインプルーフ構成を含む、請求項７に記載のシステム。
9. 前記プロセッサは、イメージ内の１次元および２次元ＩＤコードを見つけて復号するように構成されている、請求項１～８の何れか１項に記載のシステム。
10. 前記物体は、物流業務における前記視覚システムのカメラの視野（ＦＯＶ）を通過する、請求項９に記載のシステム。
11. 固体レンズ又はガラスレンズ、及び視覚システムのプロセッサからの制御信号に応答して焦点を変更する可変レンズからなるレンズアセンブリを介して、光路に沿って物体からの光をイメージセンサ上へ投影することにより、視覚システムのカメラにより撮像される前記物体に対する被写界深度（ＤＯＦ）を広げるための方法であって、前記光路が、前記光路を操向する機械的システムによりプリベリング角度に移動するものにおいて、
    （ａ）前記物体の移動速度、（ｂ）前記物体の最大サイズ、及び（ｃ）前記物体と前記移動速度で移動する別の隣接する物体との間の最小距離の少なくとも１つを含む制約に基づいて、前記物体と前記視覚システムのカメラの像面との間の距離を求めるステップと、
    前記像面に対して前記光路の前記プリベリング角度を求めるステップと、
    前記プリベリング角度に基づいて、前記機械的システムで前記光路を操向するステップと、
    前記光路の求められたプリベリング角度に基づいて、前記物体上の興味のある平面に対して投影された光を集束するように前記可変レンズを設定するステップと、
    前記視覚システムのカメラでイメージを取得するステップとを含む、方法。
12. 前記機械的システムは、（ａ）前記イメージセンサを収容するハウジングに対して前記レンズアセンブリを傾斜させることにより、（ｂ）前記レンズアセンブリ及び前記可変レンズを傾斜させることにより、又は（ｃ）前記レンズアセンブリと前記物体との間に位置する操向可能ミラーの相対角度を変更することにより、前記光路の角度を変更する、請求項１１に記載の方法。
13. 前記光路を傾斜させ且つ前記可変レンズの焦点を調整することにより、所望のＤＯＦを設定することを更に含む、請求項１１又は１２に記載の方法。
14. 前記可変レンズが液体レンズである、請求項１１～１３の何れか１項に記載の方法。
15. 前記物体上の少なくとも１つの１次元または２次元ＩＤコードを見つけて復号することを更に含む、請求項１１～１４の何れか１項に記載の方法。
16. 前記視覚システムのカメラの視野（ＦＯＶ）を通過中の前記物体を対象とすることを更に含む、請求項１１～１５の何れか１項に記載の方法。
17. 前記ＦＯＶを通過中の前記物体に隣接する別の物体を対象とし、前記物体および前記別の物体のそれぞれのイメージを取得することを更に含む、請求項１６に記載の方法。
18. 前記レンズアセンブリ、前記可変レンズ及び前記イメージセンサが、前記物体に対する光路を画定し、前記光路は、軸上の構成と非軸上の構成との間で可変であり、前記非軸上の構成において、前記レンズアセンブリの光軸面が前記像面と平行でない、請求項１１に記載の方法。
19. 前記非軸上の構成は、シャインプルーフ構成を含む、請求項１８に記載の方法。
20. 前記視覚システムのプロセッサでもって、前記イメージ内の１次元および２次元ＩＤコードを見つけて復号することを更に含む、請求項１１に記載の方法。

Images