WO2017199498A1 - レーン特定方法およびレーン特定装置 - Google Patents

レーン特定方法およびレーン特定装置 Download PDF

Info

Publication number
WO2017199498A1
WO2017199498A1 PCT/JP2017/005875 JP2017005875W WO2017199498A1 WO 2017199498 A1 WO2017199498 A1 WO 2017199498A1 JP 2017005875 W JP2017005875 W JP 2017005875W WO 2017199498 A1 WO2017199498 A1 WO 2017199498A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lane
line
processor
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/005875
Other languages
English (en)
French (fr)
Inventor
純子 上田
慎治 竹中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN201780028669.3A priority Critical patent/CN109074662A/zh
Priority to EP17798936.5A priority patent/EP3460755A4/en
Priority to US16/300,425 priority patent/US11087486B2/en
Priority to JP2018518086A priority patent/JP6956325B2/ja
Publication of WO2017199498A1 publication Critical patent/WO2017199498A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • This disclosure relates to a lane identification method and apparatus.
  • a moving body tracking device for tracking a moving body in an image.
  • the predicted position of the moving object in the current frame image is obtained based on the position information of the moving object in the past frame image.
  • candidate objects having predetermined characteristics peculiar to the moving object are extracted from the image data in the current frame image, and candidate objects closer to the predicted position among the extracted candidate objects are assigned as the moving object.
  • the present disclosure relates to a method and apparatus for accurately identifying a lane region existing in an image.
  • the processor identifies a lane region existing in an image based on a pattern in which information obtained based on the contour of an object in the image appears in the image.
  • the lane identification method and the lane identification device according to the present disclosure are effective for accurately identifying the lane region existing in the image.
  • FIG. 1 is a diagram illustrating how the lane identification device according to the first embodiment is used.
  • FIG. 2 is a diagram illustrating a configuration of the lane identification device according to the first embodiment.
  • FIG. 3 is a flowchart for explaining the operation of the lane identification device according to the first embodiment.
  • FIG. 4 is a diagram illustrating an image to be processed in the first embodiment.
  • FIG. 5 is a diagram showing a top view image in the first embodiment.
  • FIG. 6 is a diagram illustrating a state in which the contour of an object in the top view image according to the first embodiment is line-divided.
  • FIG. 7 is a diagram showing a pattern calculation concept in the first embodiment.
  • FIG. 8 is a diagram illustrating a state in which the lane region is specified based on the calculated pattern in the top view image according to the first embodiment.
  • FIG. 1 is a diagram illustrating how the lane identification device according to the first embodiment is used.
  • the lane identification device 100 is obtained by installing a lane identification program on a general-purpose computer.
  • the lane identification device 100 is connected to the imaging device 200 so as to be communicable.
  • the lane identification device 100 may be a dedicated embedded device or may be configured in hardware.
  • the imaging device 200 is a video camera.
  • the imaging apparatus 200 images the pool 300 from a bird's-eye view as shown in FIG.
  • the moving image or image captured by the imaging device 200 is transmitted to the lane identification device 100.
  • the pool 300 has a plurality of lanes.
  • a plurality of course ropes 302 are stretched around the pool 300.
  • FIG. 1 only the uppermost course rope is labeled, but the broken line in FIG. 1 represents the course rope.
  • the course rope 302 is a mark for partitioning the lane.
  • a pool is shown as an example of a stadium.
  • the present disclosure accurately obtains a lane region existing in an image having lanes. Therefore, the target for which the lane area is specified is not limited to the pool.
  • the present disclosure can be used to identify lanes on land tracks, roads, and the like. However, as will be described later, when the size or number of lanes for which the lane area is specified can be specified or assumed, the lane area can be specified with higher accuracy.
  • the present disclosure makes it possible to particularly preferably specify a lane region for an image in which ripples or light reflection is likely to appear in an image, such as an image of a pool.
  • FIG. 2 is a diagram illustrating a configuration of the lane identification device according to the first embodiment.
  • the lane identification device 100 includes a processor 101, a storage unit 102, a communication unit 103, an input unit 104, a display unit 105, and a bus 106.
  • the processor 101 controls other components of the lane identification device by performing calculations.
  • the storage unit 102 stores information temporarily or permanently.
  • the storage unit 102 corresponds to a ROM (Read Only Memory) or a RAM (Random Access Memory) of the lane identification device.
  • the lane identification device 100 may include a plurality of storage units 102 depending on the application and the necessity of access speed.
  • the storage unit 102 can be configured by applying HDD (Hard Disk Drive), SDRAM (Synchronous Dynamic Random Access Memory), SSD (Solid State Drive), or the like.
  • the communication unit 103 is an interface that connects the lane identification device 100 and the imaging device 200.
  • the communication unit 103 may be a wired connection interface or a wireless connection interface.
  • the communication unit 103 is for transmitting a moving image or an image captured by the imaging device 200 to the lane identification device 100. Therefore, when moving a moving image or an image from the imaging device 200 to the lane specifying device 100 using the storage medium, the communication unit 103 is not an essential configuration.
  • the input unit 104 receives an external signal.
  • the input unit 104 corresponds to an input device or an input interface of the lane identification device 100.
  • the input unit 104 can be configured by applying an input device such as a mouse or a keyboard, or an input interface such as a communication port or a wireless communication device.
  • Display unit 105 displays information to the outside.
  • the display unit 105 can be configured by applying a liquid crystal display or the like.
  • the bus 106 is a path for connecting each element constituting the lane identification device 100.
  • the bus 106 can be configured inside the processor 101 by integrating the bus 106 with the processor 101.
  • Each element of the bus 106 may be connected by wire, or each element may be connected wirelessly.
  • the configuration of the lane identification device 100 described above is an example. Therefore, the lane identification device 100 may be configured by adding another component to the configuration described above. Moreover, you may comprise the lane identification apparatus 100 by deleting a part of component from the structure described above as needed. In addition, the lane identification device 100 may be configured by integrating the components described above. Further, the lane identification device 100 may be configured by separating the above-described constituent elements into the above constituent elements.
  • the operation of the lane identification device 100 described above will be described.
  • the lane identification device 100 operates mainly when the processor 101 cooperates with each element of the lane identification device 100 to execute a program.
  • FIG. 3 is a flowchart for explaining the operation of the lane identification device according to the first embodiment.
  • step S300 the lane identification device 100 receives an image from the imaging device 200 via the communication unit 103.
  • the received image becomes an image to be processed in the following operation.
  • FIG. 4 is a diagram showing an image to be processed in the first embodiment.
  • the imaging device 200 captures an image so that the pool 300 is looked down on. Therefore, as illustrated in FIG. 4, the image captured by the imaging apparatus 200 is an image in which the pool 300 appears to expand from the back to the front.
  • FIG. 4 a plurality of course ropes 302 are stretched in the pool 300 as already described.
  • FIG. 4 FIG. 5 is the same
  • only the leftmost course rope is labeled, but in FIG. 4 (the same applies to FIG. 5), the broken line represents the course rope.
  • a lane line 304 indicating the center of the lane is drawn on the bottom of the pool.
  • FIG. 4 (FIG. 5 is also the same)
  • the solid line adjacent to the course rope 302 represents the lane line.
  • a cross line 306 orthogonal to the lane line 304 is drawn on the bottom surface of the pool.
  • step S302 the processor 101 converts the image received in step S300 into a top view image.
  • the top view image is an image of a composition (plan view) obtained when the object is looked down from directly above.
  • the image captured by the imaging apparatus 200 is an image in which the pool 300 appears to expand from the back to the front.
  • the pool 300 is originally rectangular in plan view.
  • the processor 101 converts the image shown in FIG. 4 into a top view image in order to facilitate subsequent image processing. This process is not an indispensable process because it is performed to facilitate later image processing. Converting an image to a top view image is called top view conversion.
  • a known method can be appropriately applied as a method for performing the top view conversion.
  • the user of the lane identification device 100 uses the input unit 104 to specify the coordinates of the four corners of the trapezoidally distorted pool.
  • the user designates coordinates 308, 310, 312, and 314 as four corner coordinates.
  • coordinates including the course rope are designated as the coordinates of the four corners. This facilitates the processing in step S310 described later.
  • step S310 can be facilitated by using the coordinates of the four corners as the intersections of an object (coarse rope or poolside) that partitions the pool and the front and rear front ends of the pool. it can.
  • the processor 101 generates a coordinate transformation matrix such that the coordinates of the designated four points are rectangular.
  • a top view image can be obtained by the processor 101 converting the coordinates of the pixels inside the coordinates of the four corners using the generated conversion matrix.
  • FIG. 5 is a diagram showing a top view image in the first embodiment.
  • the processor 101 converts the image captured by the imaging device 200 into the top view image 500. Note that the top-view conversion can be omitted even when the imaging apparatus 200 is installed at a location where imaging is performed in plan view. Further, the top view conversion need not be performed by the processor 101 of the lane identification device 100. Even when another processing device performs the top view conversion and transmits the image after the top view conversion to the lane specifying device, a result similar to the above-described operation can be obtained.
  • step S304 the processor 101 extracts a luminance edge from the top view image converted in step S302. If top view conversion is omitted, luminance edges are extracted from the image received in step S300.
  • the luminance edge is a portion where the luminance of the pixels constituting the image changes suddenly in the image.
  • a typical example of the location where the change in pixel brightness is abrupt is the contour of an object.
  • step S306 the processor 101 obtains the contour of the object by expanding and contracting the luminance edge extracted in step S304.
  • the outline of the actual object is linear, whereas the luminance edge is often obtained as a sparse point in the image.
  • the following processing is performed to bring the luminance edge closer to the actual contour of the object. First, if the pixel obtained as the luminance edge is at least one pixel within a predetermined range around a certain pixel in the image from which the luminance edge has been extracted, the processor 101 converts all the regions into luminance edge pixels. Replace (expansion process).
  • the processor 101 deletes the region from the luminance edge pixel if even one luminance edge pixel is missing in the region of the predetermined range of the luminance edge pixel group connected by expansion (contraction processing). By doing so, the expanded and contracted luminance edge pixels can reproduce the contour of the object more accurately. Note that the brightness edge pixel reproduces the contour of the object more accurately by repeating the expansion process and the contraction process not only once but multiple times.
  • steps S304 and S306 are applicable as long as the process can extract the contour of the object.
  • the contour of the object may be extracted using a change in color information in the pixel, or the contour of the object may be obtained using a distance sensor.
  • step S308 the processor 101 converts the contour of the object obtained in step S306 into a line segment.
  • a known algorithm called probabilistic Hough transform is used as a method for converting a set of points in an image into a line segment in the image.
  • the probabilistic Hough transform By using the probabilistic Hough transform, the coordinates of a set of points constituting a blurred or distorted line in the image are converted into coordinates constituting a smooth line.
  • the contour in the image is obtained as a smooth line segment by performing probabilistic Hough transform on the points constituting the contour of the object obtained in step S306.
  • the method of obtaining the line segment is not limited to the stochastic Hough transform.
  • a line segment may be obtained by applying a blur filter to the contour of an object.
  • the line segment may be obtained by further repeating the above-described expansion / contraction process on the contour of the object. Further, when a sufficient quality contour that can be regarded as a line segment is obtained in the processing up to step S306, the processing in step S308 may be omitted. Further, in the present disclosure, information to be obtained until step S308 is completed is not limited to a line segment. Information that should be obtained until step S308 is completed may be information that can be used as a target of processing in and after step S310. In the present disclosure, the information to be obtained until step S308 is completed may be a straight line including a part of the contour of the object, or may be a curve. In addition, a chain or mesh pattern may be used.
  • a line is obtained from the image based on the contour of the object as in the present embodiment, there is an advantage that the amount of calculation for the subsequent processing can be reduced.
  • a concept including a line segment, a straight line, and a curve is simply referred to as a line.
  • a line segment can be obtained as information from the contour of the object in the top view image.
  • FIG. 6 is a diagram showing a state in which the contour of the object in the top view image in the first embodiment is line-divided.
  • the line 600 obtained by linearly dividing the contours of the course rope and the poolside can be clearly extracted by performing the above-described processing.
  • a line including a line segment that appears at a coordinate that coincides with a location where an object that partitions the lane exists (such as a course rope or a poolside) in the image is referred to as a line that represents the object that partitions the lane.
  • FIG. 6 it is difficult for the lane line and the cross line to be faithfully extracted due to the reflection of the water surface and the influence of waves.
  • a final line segment is obtained by deleting a part of the set of line segments that are primarily obtained in step S308 based on the size of the pool (stadium). .
  • the processor 101 determines a line segment having a length less than a value obtained by dividing the size (length) in the traveling direction in the pool (stadium) image by a predetermined value (8 in the present embodiment). Does the processing without deleting it as a line segment. By doing in this way, the line segment which does not seem to be the outline of the object which partitions the lane of a stadium can be removed from a final line segment. Therefore, the accuracy of specifying the lane area can be improved.
  • step S310 the processor 101 calculates an appearance pattern in the image of the line segment obtained in step S308.
  • an object course rope or poolside
  • the predetermined pattern means a pattern resulting from the lane interval. For example, course ropes are stretched at equal intervals in the pool, and white lines are drawn at equal intervals on land tracks and roads.
  • the coordinates of the object that partitions the lane are specified, and the areas between the objects that partition the lane are specified as individual lanes.
  • step S310 is to identify the line 600 that appears according to a predetermined pattern.
  • FIG. 7 is a diagram showing a pattern calculation concept in the first embodiment.
  • the pattern is defined using the following formula defined by defining the horizontal coordinate after the top view conversion (the left end of the image is 0) as an angle and the vertical direction as a trigonometric ratio. calculate.
  • the value of ⁇ is determined based on a parameter that assumes the number of lanes present in the image. Specifically, it is determined based on the following formula.
  • ⁇ (assumed number of lanes) ⁇ 360 ⁇ (horizontal width of top view image) (Expression 2)
  • the processor 101 determines the value of (Expression 2), thereby generating a graph that takes a peak corresponding to the number of lanes +1 assumed based on (Expression 1).
  • the initial value of the number of lanes assumed here may be input by the user of the lane specifying apparatus 100 from the input unit 104, or may be recorded in the storage unit 102.
  • the horizontal direction of the graph is adjusted based on (Expression 1), assuming that the graph is present in the top view image with a horizontal phase difference ⁇ . In this embodiment, the initial value of ⁇ is 0.
  • step S310 can be suitably performed. Even when the top view conversion is not performed, the processing in step S310 can be suitably performed by shooting so that the course rope or the poolside is reflected at the left end of the image. Then, the processor 101 uses each of the horizontal coordinate values ⁇ of all the lines obtained in step S308 to obtain ⁇
  • the value of ⁇ may be the value of the intermediate coordinate in the horizontal direction between the end points of all the lines obtained in step S308.
  • the value of ⁇ is the horizontal coordinate of the entire course rope (the horizontal coordinate with periodicity).
  • ⁇ is likely to be a random value without periodicity, so that the values of ⁇ and ⁇ are more It becomes easy to find accurately.
  • the processor 101 obtains the value of (Expression 3) for the initial values of ⁇ and ⁇ , and then obtains the value of (Expression 3) for the value of ⁇ or ⁇ different from the initial value. Specifically, the processor 101 obtains the value of (Equation 3) by changing ⁇ to a value within a possible range of the number of lanes, which is about ⁇ 2 of the initial value. In the example of the pool, the general number of lanes is 6 to 10, so ⁇ may be changed in these ranges. Further, the processor 101 obtains a value of (Equation 3) by changing ⁇ from a default value of ⁇ 30 (degrees) to a value within the range of +30 (degrees).
  • the processor 101 After obtaining the values of (Equation 3) for all combinations of ⁇ and ⁇ , the processor 101 identifies the combination of ⁇ and ⁇ that takes the largest value. (Expression 1) in which ⁇ and ⁇ specified in this way are substituted is used as an expression for calculating the appearance pattern.
  • ⁇ is assumed not to take a value less than half of the maximum number (formula The calculation of 3) should be performed.
  • the contour of the lane line is represented by the information indicating the object that partitions the lane (the contour of the course rope or the pool side is drawn as a line). This is because the possibility of erroneous recognition as a differentiated line 600) is reduced.
  • Such a lower limit value of ⁇ may be obtained by the processor 101 from the maximum number of lanes as described above, or input to the lane identification device 100 via the input unit 104 by the user of the lane identification device 100. May be.
  • the lane identification device 100 may be any device that identifies the lane region existing in the image based on the patterns obtained up to step S310. That is, the lane identification device 100 may perform the processing from step S312 onward after acquiring a pattern obtained by another processing device performing processing equivalent to the processing up to step S310 from the communication unit 103.
  • the pattern calculation method is not limited to that described in the description of step S310.
  • the pattern of the present disclosure may be a pattern in which the outline of an object appears. If a complicated pattern other than a line is captured as the outline of an object, the pattern may be calculated using a spectrum analysis or other known method. Good.
  • step S312 the processor 101 specifies a lane region in the image based on the pattern calculated in step S310.
  • FIG. 8 is a diagram illustrating a state in which the lane region is specified based on the calculated pattern in the top view image according to the first embodiment.
  • the processor 101 synchronizes the horizontal coordinate of the calculated pattern with the horizontal coordinate of the top view image 500, and the top having the horizontal coordinate existing between the peak of the calculated pattern (starting point of the arrow in FIG. 8) and the adjacent peak.
  • An area of the view image 500 is specified as one lane.
  • the pattern since the pattern has eight peaks, a total of seven lanes are specified.
  • the image in which the lane region is specified is not limited to the top view image. For example, it is possible to specify the lane in the image captured by the imaging apparatus 200 by performing the reverse process of step S302 on the top view image shown in FIG.
  • the identified lane area can be used in various ways. For example, when displaying the top view image 500 or the image captured by the imaging device 200 on the display unit 105, the lane regions are displayed in different colors, thereby facilitating the editing work of the person in charge of the video editing work, or High sense of presence can be given to the viewer of the video.
  • the attributes of a person or object existing in a specific lane are known, it is possible to emphasize which person or object exists in which lane by displaying the attribute superimposed on the lane area. it can. If a person or object in the lane is being tracked using image recognition technology, it can be tracked by specifying in which lane area the person or object being tracked exists. It is also possible to specify the attributes of a person or object.
  • step S302 when the image received in step S300 is converted into a top view image, if the conversion that rotates the image by 90 degrees is also added together with the keystone correction, the processing in step S304 and subsequent steps can be similarly performed. it can.
  • the processor 101 of the lane identification device 100 uses the lane region existing in the image based on the pattern in which the information obtained based on the contour of the object in the image appears in the image. Is identified.
  • the object in the image is an object that partitions the lane.
  • the lane area is specified based on the appearance pattern of the object that realistically describes the lane area. Therefore, it is possible to specify the lane region existing in the image with higher accuracy.
  • the information obtained based on the contour of the object in the image is a line representing the object that partitions the lane.
  • the line representing the object that partitions the lane is obtained based on the size of the stadium existing in the image.
  • lines resulting from noise in the image can be eliminated, so that the lane region existing in the image can be specified more accurately.
  • the pattern is calculated based on a parameter that assumes the number of lanes present in the image.
  • the present disclosure can be applied to a method or apparatus for identifying a lane area in a video.
  • the present invention can be applied to a computer for handling sports video analysis.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

画像の中に存在するレーンの領域を精度よく特定する。レーン特定装置（１００）と撮像装置（２００）とプール（３００）とが存在する状況において、本開示におけるレーン特定装置（１００）のプロセッサは、撮像装置（２００）が撮像した画像中の物体の輪郭に基づいて得られる情報が画像中において現れるパターンに基づいて画像の中に存在するレーンの領域を特定する。これにより、画像の中に存在するレーンの領域を精度よく特定することができる。

Description

レーン特定方法およびレーン特定装置
　本開示は、レーン特定方法および装置に関する。
　従来から、映像において移動体を追跡する移動体追跡装置が知られている。例えば、特許文献１に記載の技術では、過去のフレーム画像における移動体の位置情報に基づき今回のフレーム画像における移動体の予測位置を求める。そして、今回のフレーム画像における画像データから移動体に特有の所定の特徴を持つ候補物体を抽出し、抽出された候補物体のうち予測位置により近い候補物体を移動体として割り当てる。
特開２００４－４６６４７号公報
　本開示は、画像の中に存在するレーンの領域を精度よく特定する方法および装置に関する。
　本開示におけるレーン特定方法およびレーン特定装置において、プロセッサは画像中の物体の輪郭に基づいて得られる情報が画像中において現れるパターンに基づいて画像の中に存在するレーンの領域を特定する。
　本開示におけるレーン特定方法およびレーン特定装置は、画像の中に存在するレーンの領域を精度よく特定するのに有効である。
図１は、実施の形態１におけるレーン特定装置の使用の様子を示す図である。 図２は、実施の形態１におけるレーン特定装置の構成を示す図である。 図３は、実施の形態１におけるレーン特定装置の動作を説明するフローチャートである。 図４は、実施の形態１における処理対象の画像を示す図である。 図５は、実施の形態１におけるトップビュー画像を示す図である。 図６は、実施の形態１におけるトップビュー画像における物体の輪郭を線分化した様子を示す図である。 図７は、実施の形態１におけるパターンの算出概念を示す図である。 図８は、実施の形態１におけるトップビュー画像中において、算出したパターンに基づいてレーンの領域を特定した様子を示す図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態１）
　以下、図１～８を用いて、実施の形態１を説明する。
　［１－１．構成］
　図１は、実施の形態１におけるレーン特定装置の使用の様子を示す図である。
　レーン特定装置１００は、汎用コンピュータにレーン特定プログラムがインストールされたものである。レーン特定装置１００は撮像装置２００と通信可能に接続される。レーン特定装置１００は専用の組込み機器であってもよいし、ハードウェア的に構成されてもよい。
　撮像装置２００は、ビデオカメラである。撮像装置２００はプール３００を図１に示すように俯瞰して撮像する。撮像装置２００が撮像した動画ないし画像はレーン特定装置１００へ送信される。
　プール３００は、複数のレーンを有する。プール３００にはコースロープ３０２が複数張られている。なお、図１においては最上部のコースロープのみに符号を付したが、図１における破線状のものはコースロープを表す。コースロープ３０２はレーンを仕切る目印である。本実施の形態においては競技場の一例としてプールを示す。本開示はレーンを有する画像に存在するレーンの領域を精度良く求めるものである。よって、レーン領域が特定される対象はプールに限定されない。たとえば本開示は、陸上トラックや、道路などにおけるレーンを特定するために用いられることもできる。ただし、後述するように、レーン領域が特定される対象のサイズやレーン数が特定または仮定できている場合は、より精度の高いレーン領域の特定が可能になる。また、本開示はプールを撮像した画像のような、画像中に波紋や光の反射が現れやすいものに対して、特に好適にレーン領域の特定を行うことを可能とするものである。
　図２は、実施の形態１におけるレーン特定装置の構成を示す図である。
　レーン特定装置１００はプロセッサ１０１と、記憶部１０２と、通信部１０３と、入力部１０４と、表示部１０５と、バス１０６とを有する。
　プロセッサ１０１は演算を行うことでレーン特定装置の他の構成要素を制御する。
　記憶部１０２は情報を一時的に、あるいは恒久的に記憶する。記憶部１０２はレーン特定装置のＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などに相当する。レーン特定装置１００は用途やアクセススピードの必要性に応じて記憶部１０２を複数備えても良い。ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｕｓ　Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などを適用することで記憶部１０２を構成することができる。
　通信部１０３は、レーン特定装置１００と撮像装置２００とを接続するインターフェースである。通信部１０３は、有線接続インターフェースでも良いし、無線接続インターフェースでも良い。通信部１０３は、撮像装置２００が撮像した動画または画像をレーン特定装置１００に送信するためのものである。よって、記憶媒体を用いて動画または画像を撮像装置２００からレーン特定装置１００へ移動する場合は、通信部１０３は必須の構成ではない。
　入力部１０４は外部からの信号を受け付ける。入力部１０４はレーン特定装置１００の入力装置や入力インターフェースなどに相当する。マウスやキーボードなどの入力装置、通信ポートや無線通信デバイスなどの入力インターフェースを適用することで入力部１０４を構成することができる。
　表示部１０５は外部へ情報を表示する。液晶ディスプレイなどを適用することで表示部１０５を構成することができる。
　バス１０６はレーン特定装置１００を構成する各要素を接続する経路である。プロセッサ１０１にバス１０６を統合することでプロセッサ１０１の内部にバス１０６を構成することもできる。バス１０６は各要素を有線で接続しても良いし、各要素を無線で接続しても良い。
　以上に述べたレーン特定装置１００の構成は一例である。したがって以上に述べた構成に別の構成要素を追加することでレーン特定装置１００を構成してもよい。また、以上に述べた構成から構成要素の一部を必要に応じて削除することでレーン特定装置１００を構成してもよい。また、以上に述べた構成要素を互いに統合することでレーン特定装置１００を構成してもよい。また、以上に述べた構成要素を以上の構成要素に分離してレーン特定装置１００を構成してもよい。
　［１－２．動作］
　以上に述べたレーン特定装置１００の動作を説明する。なお、レーン特定装置１００は主としてプロセッサ１０１がレーン特定装置１００の各要素と協業してプログラムを実行することで動作するものである。
　図３は、実施の形態１におけるレーン特定装置の動作を説明するフローチャートである。
　ステップＳ３００において、レーン特定装置１００は、撮像装置２００から通信部１０３を介して画像を受け取る。受け取った画像が以下の動作における処理対象の画像となる。
　図４は、実施の形態１における処理対象の画像を示す図である。図１に示すように、実施の形態１においては、撮像装置２００がプール３００を俯瞰するように撮像する。そのため、図４に示すように撮像装置２００が撮像した画像は奥から手前にかけてプール３００が広がって見える画像となる。
　図４からも明らかなように、すでに述べたとおりプール３００には複数のコースロープ３０２が張られている。なお、図４（図５も同じ）においては最左端のコースロープのみに符号を付したが、図４（図５も同じ）において破線状のものはコースロープを表す。
　図４に示すように、プールの底面にはレーンの中央を示すレーンライン３０４が引かれている。なお、図４（図５も同じ）においては最左端のレーンラインのみに符号を付したが、図４（図５も同じ）においてコースロープ３０２と隣接する実線状のものはレーンラインを表す。その他、プールの底面にはレーンライン３０４と直交するクロスライン３０６が引かれている。
　ステップＳ３０２において、プロセッサ１０１はステップＳ３００で受け取った画像をトップビュー画像に変換する。
　トップビュー画像とは対象物を真上から見下ろした際に得られる構図（平面視）の画像である。図４に示すように、撮像装置２００が撮像した画像は奥から手前にかけてプール３００が広がって見える画像となっていた。プール３００は、平面視において本来は長方形である。本実施の形態においてプロセッサ１０１は、後の画像処理を行いやすくするために図４に示す画像をトップビュー画像に変換する。この処理は後の画像処理を行いやすくするために行うものであるから必須の処理ではない。画像をトップビュー画像に変換することをトップビュー変換という。
　トップビュー変換を行うための手法は既知のものを適宜適用することができる。本実施の形態においては、台形補正を用いてトップビュー変換を行う手法を適用する例を説明する。まずレーン特定装置１００のユーザは入力部１０４を用いることで、台形に歪んだプールの４隅の座標を指定する。たとえば図４においては、ユーザは４隅の座標として座標３０８、座標３１０、座標３１２、座標３１４を指定することになる。本実施の形態では４隅の座標としてコースロープを含む座標を指定した。このようにすると後述するステップＳ３１０の処理が容易になる。具体的には、４隅の座標として、指定する箇所をプールを仕切る物体（コースロープやプールサイド）とプールの前後手前端との交点とすることで、ステップＳ３１０の処理を容易にすることができる。プロセッサ１０１は指定された４点の座標が長方形になるような座標の変換行列を生成する。プロセッサ１０１が当該生成した変換行列を用いて４隅の座標内部の画素の座標を変換することでトップビュー画像を得ることができる。
　図５は、実施の形態１におけるトップビュー画像を示す図である。以上のようにして、プロセッサ１０１は、撮像装置２００が撮像した画像をトップビュー画像５００に変換する。なお、撮像装置２００が平面視で撮像を行うような箇所に設置されている場合も、トップビュー変換を省略することができる。また、トップビュー変換はレーン特定装置１００のプロセッサ１０１によって行われる必要は無い。他の処理装置がトップビュー変換を行い、トップビュー変換後の画像をレーン特定装置に送信することでも、上述した動作と同様の結果を得ることができる。
　ステップＳ３０４において、プロセッサ１０１はステップＳ３０２で変換したトップビュー画像から輝度エッジを抽出する。なお、トップビュー変換を省略している場合はステップＳ３００で受け取った画像から輝度エッジを抽出する。
　輝度エッジとは、画像において当該画像を構成する画素の輝度の変化が急な箇所のことである。画素の輝度の変化が急になる箇所の典型例は物体の輪郭である。
　ステップＳ３０６において、プロセッサ１０１はステップＳ３０４で抽出した輝度エッジを膨張収縮させることで物体の輪郭を得る。実際の映像から輝度エッジを抽出すると、実際の物体の輪郭は線状であるのに対して、輝度エッジは画像中においてまばらな点として得られることが多い。本実施の形態では、輝度エッジを実際の物体の輪郭に近づけるために次の処理を行う。まず、プロセッサ１０１は、輝度エッジを抽出した画像に対して、輝度エッジとして得られた画素が、ある画素の周囲の所定範囲の領域内に１画素でもあれば、当該領域をすべて輝度エッジ画素に置き換える（膨張処理）。次にプロセッサ１０１は、膨張することで連結した輝度エッジ画素集の所定範囲の領域内に１画素でも輝度エッジ画素が欠けていれば当該領域を輝度エッジ画素から削除する（収縮処理）。このようにすることで膨張収縮された輝度エッジ画素が物体の輪郭をより正確に再現するようになる。なお、膨張処理、収縮処理を１回ずつだけでなく複数回繰り返すことで、輝度エッジ画素が物体の輪郭をより正確に再現するようになる。
　なお、ステップＳ３０４およびステップＳ３０６の処理は物体の輪郭を抽出できる処理であれば適宜適用可能である。たとえば画素における色情報の変化を用いて物体の輪郭を抽出してもよいし、距離センサを用いて物体の輪郭を得てもよい。
　ステップＳ３０８において、プロセッサ１０１はステップＳ３０６で得た物体の輪郭を線分に変換する。画像中における点の集合を画像中における線分に変換する手法としては確率的Ｈｏｕｇｈ変換と呼ばれる既知のアルゴリズムが用いられる。確率的Ｈｏｕｇｈ変換を用いることで、画像中においてブレやゆがみのある線を構成する点の集合の座標がスムーズな線を構成する座標に変換される。本実施の形態ではステップＳ３０６で得た物体の輪郭を構成する点に対して確率的Ｈｏｕｇｈ変換を行うことで画像中の輪郭をスムーズな線分として得る。なお、線分を得る方法は確率的Ｈｏｕｇｈ変換に限られない。たとえば物体の輪郭に対してぼかしフィルタをかけることで線分を得ても良い。また、物体の輪郭に対して上述した膨張収縮処理をさらに繰り返すことで線分を得てもよい。また、ステップＳ３０６までの処理で線分とみなせる程度の十分な品質の輪郭が得られている場合はステップＳ３０８の処理を省略しても良い。また、本開示においてステップＳ３０８が完了するまでにおいて得られるべき情報は線分に限られない。ステップＳ３０８が完了するまでにおいて得られるべき情報は、ステップＳ３１０以降の処理の対象として使用できる情報であればよい。本開示においてステップＳ３０８が完了するまでにおいて得られるべき情報は、物体の輪郭の一部を含む直線であってもよいし、もちろん曲線であってもよい。他には、鎖状や網目状の模様であっても良い。ただし、本実施の形態のように物体の輪郭に基づいて画像中から線を得ると、以降の処理の計算量が削減できるという利点がある。なお、本開示においては線分、直線、曲線を含む概念を単に線と呼ぶ。
　以上のようにして、本実施の形態においてはトップビュー画像における物体の輪郭からの情報として線分を得ることができる。
　図６は、実施の形態１におけるトップビュー画像における物体の輪郭を線分化した様子を示す図である。図６に示されるように以上に述べた処理を行うと、コースロープやプールサイドの輪郭を線分化した線６００が綺麗に抽出できることが発明者らによって確認されている。このように画像中において（コースロープや、プールサイドのように）レーンを仕切る物体が存在する箇所と一致する座標に出現する線分を含む線を、レーンを仕切る物体を表す線という。一方で、図６に示すように、レーンラインやクロスラインについては水面の反射や波の影響で輪郭が忠実に抽出され難い。
　なお、本実施の形態においては、ステップＳ３０８において一次的に得られた線分の集合の一部を、プール（競技場）のサイズに基づいて削除することで最終的な線分を得ている。具体的には、プロセッサ１０１は、プール（競技場）の画像中における進行方向のサイズ（長さ）を所定の値（本実施の形態では８）で除した値未満の長さの線分については線分としてみなさず削除を行う処理を行う。このようにすることで、競技場のレーンを仕切る物体の輪郭らしくない線分を最終的な線分から除去することができる。よって、レーン領域を特定する精度を向上させることができる。
　ステップＳ３１０において、プロセッサ１０１は、ステップＳ３０８で得られた線分の、画像中における出現パターンを算出する。本開示では、レーンを仕切る物体（コースロープやプールサイド）が所定のパターンに基づいて出現することを前提としている。所定のパターンとはレーンの間隔に起因するパターンを意味する。たとえばプールにおいては等間隔にコースロープが張られているし、陸上のトラックや道路においても等間隔に白線が引かれている。本開示では当該パターンを算出することで、レーンを仕切る物体の座標を特定し、当該レーンを仕切る物体の間の領域をそれぞれ個別のレーンとして特定する。
　ただし、図６に示すように、ステップＳ３０８で得られる直線は線６００以外にも様々なものが存在する。これらの線分のうち、所定のパターンにしたがって出現する線６００を特定することがステップＳ３１０の目的である。
　出現パターンを算出する仕方は様々なものが考えられる。図７は、実施の形態１におけるパターンの算出概念を示す図である。本実施の形態においては図７に示すように、トップビュー変換後の水平方向の座標（画像左端を０とする）を角度、垂直方向を三角比として定義される以下の式を用いてパターンを算出する。
　ｃｏｓ（αθ＋β）　　　・・・（式１）
　（式１）が線６００が出現する水平座標（θ）において１（ピーク）に近い値をなるべく多く取るように、αおよびβを求める。そして求めたαおよびβを代入した（式１）を、出現パターンを算出する式として用いる。
　具体的には図７に示すようなα、βを求める方法を説明する。まず、αの値は画像の中に存在するレーン数を仮定するパラメータに基づいて定められる。具体的には以下の式に基づいて定められる。
　α＝（仮定するレーン数）×３６０÷（トップビュー画像の水平方向の幅）・・・（式２）
　プロセッサ１０１は、（式２）の値を定めることで、（式１）に基づいて仮定するレーン数＋１個分のピークを取るグラフを生成する。ここで仮定するレーン数の初期値は入力部１０４からレーン特定装置１００のユーザによって入力されても良いし、記憶部１０２に記録されているものを用いても良い。続いて、当該グラフがトップビュー画像中に水平方向の位相差βで存在するとして、（式１）に基づいてグラフの水平方向を調整する。本実施の形態ではβの初期値は０とする。なお、トップビュー変換の際に４隅の座標としてコースロープやプールサイドを含む座標を指定していると、βの真の値が０に近づくためステップＳ３１０の処理を好適に行うことができる。トップビュー変換を行わない際も画像の左端にコースロープやプールサイドが映るように撮影を行うとステップＳ３１０の処理を好適に行うことができる。そして、プロセッサ１０１は、ステップＳ３０８で得られたすべての線の水平方向の座標値θそれぞれを用いて
　Σ｜ｃｏｓ（αθ＋β）｜　　　・・・（式３）
を求める演算をする。
　なおここで、θの値はステップＳ３０８で得られたすべての線の両端点の水平方向における中間の座標の値とするとよい。このようにすると、コースロープやプールサイドの輪郭を線分化した線６００のような、レーンの進行方向と平行に近い線についてはθの値がコースロープ全体の水平座標（周期性のある水平座標）を表すものとして扱われ、一方でレーンの進行方向と直行する線（たとえばクロスラインの輪郭に基づく線）についてはθが周期性のないランダムな値となりやすいため、αおよびβの値がより正確に求まりやすくなる。
　プロセッサ１０１は、αおよびβの初期値について（式３）の値を求めた後に、初期値とは異なるαまたはβの値について（式３）の値を求める。具体的にはプロセッサ１０１は、αを初期値の±２程度の、レーン数としてありうる範囲内の値に変化をさせて（式３）の値を求める。プールの例でいえば一般的なレーン数は６から１０であるからこれらの範囲でαを変化させてもよい。また、プロセッサ１０１はβを初期値の－３０（度）から＋３０（度）の範囲内の値に変化をさせて（式３）の値を求める。プロセッサ１０１は、全通りのαおよびβの組み合わせについて（式３）の値を求めた後に、最も大きい値をとるαとβの組み合わせを特定する。このようにして特定されたαおよびβを代入した（式１）を、出現パターンを算出する式として用いる。
　なお、事前にレーン特定装置１００のユーザによってレーンのとりうる最大の数が入力部１０４を介して入力されている場合は、αは当該最大の数の半分以下の値をとらないものとして（式３）の計算を行うと良い。このようにすると、本実施の形態のように、レーンの中央にレーンラインが引かれている場合に、レーンラインの輪郭を、レーンを仕切る物体を表す情報（コースロープやプールサイドの輪郭を線分化した線６００）として誤認識する可能性が低減するからである。このようなαの下限の値は、上述したようにレーンのとりうる最大の数からプロセッサ１０１が求めてもよいし、レーン特定装置１００のユーザによって入力部１０４を介してレーン特定装置１００に入力されてもよい。
　なお、以上の処理は必ずしもレーン特定装置１００によって行われている必要はない。本開示において、レーン特定装置１００は、ステップＳ３１０までに得られたパターンに基づいて画像の中に存在するレーンの領域を特定するものであれば良い。すなわち、レーン特定装置１００は、他の処理装置がステップＳ３１０までの処理と同等の処理を行うことで得られたパターンを通信部１０３から取得した後に、ステップＳ３１２以降の処理を行ってもよい。また、さらにいえば、パターンの算出方法もステップＳ３１０の説明で述べたものに限定されない。本開示のパターンは物体の輪郭が出現するパターンであれば良く、線以外の複雑な模様を物体の輪郭として捉えている場合は、スペクトル解析その他の既知の手法を用いてパターンを算出してもよい。
　ステップＳ３１２において、プロセッサ１０１はステップＳ３１０で算出したパターンに基づいて画像中のレーン領域を特定する。図８は、実施の形態１におけるトップビュー画像中において、算出したパターンに基づいてレーンの領域を特定した様子を示す図である。プロセッサ１０１は算出したパターンの水平座標と、トップビュー画像５００の水平座標とを同期させ、算出したパターンのピーク（図８における矢印の起点）と隣接するピークの間に存在する水平座標を有するトップビュー画像５００の領域をひとつのレーンとして特定する。図８においてはパターンが８つのピークをとるため、合計７つのレーンが特定されている。なお、レーン領域が特定される画像はトップビュー画像に限定されない。たとえば図８に示すトップビュー画像に対してステップＳ３０２とは逆の処理を行うことで、撮像装置２００が撮像した画像中においてレーンを特定することも可能である。
　以上のようにして、特定したレーンの領域は様々な態様で活用可能である。例えば表示部１０５においてトップビュー画像５００または撮像装置２００が撮像した画像を表示する際にレーンの領域をそれぞれ異なる色で表示することによって、映像編集作業の担当者の編集作業を容易にし、あるいは、映像の視聴者に高い臨場感を与えることができる。また、特定のレーン内に存在する人物や物体の属性が既知の場合は、当該属性をレーン領域に重畳して表示することで、どのレーンにどの人物や物体が存在するかを強調することができる。また、レーン内に存在する人物や物体を、画像認識技術を用いて追跡している場合は、当該追跡している人物や物体がどのレーン領域に存在するかを特定することで、追跡している人物や物体の属性を特定することも可能である。
　なお、本実施の形態において、撮像装置２００をプール３００のレーンが縦に映る位置に設置した例について説明したが、撮像装置２００をプール３００のレーンが横に映る位置に設置してもよい。その場合、ステップＳ３０２において、ステップＳ３００で受け取った画像をトップビュー画像に変換する際に、台形補正と合わせて画像を９０度回転させる変換も加えると、ステップＳ３０４以降の処理を同様に行うことができる。
　［１－３．効果等］
　以上のように、本実施の形態において、レーン特定装置１００のプロセッサ１０１は、画像中の物体の輪郭に基づいて得られる情報が画像中において現れるパターンに基づいて画像の中に存在するレーンの領域を特定する。
　これにより、画像の中に存在するレーンの領域を精度よく特定することができる。
　また、本実施の形態において、画像中の物体はレーンを仕切る物体である。
　これにより、レーンの領域を現実的に画している物体の出現パターンに基づいてレーンの領域を特定することになる。よって、画像の中に存在するレーンの領域をより精度よく特定することができる。
　また、本実施の形態において、画像中の物体の輪郭に基づいて得られる情報は、レーンを仕切る物体を表す線である。これにより、パターンを算出する精度が向上するため、画像の中に存在するレーンの領域をより精度よく特定することができる。
　また、本実施の形態において、レーンを仕切る物体を表す線は、画像の中に存在する競技場のサイズに基づいて得られる。これにより、画像中のノイズに起因する線を排除することができる為、画像の中に存在するレーンの領域をより精度よく特定することができる。
　また、本実施の形態において、パターンは画像の中に存在するレーン数を仮定するパラメータを基に算出される。これにより、物体の輪郭に基づいて得られる情報のうち、パターンの算出に用いることが望ましくない情報を排除することができる。よって、画像の中に存在するレーンの領域をより精度よく特定することができる。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、映像中のレーンの領域を特定する方法または装置に適用可能である。たとえばスポーツ映像等の解析を取り扱う為のコンピュータに適用可能である。
　　１００　レーン特定装置
　　１０１　プロセッサ
　　１０２　記憶部
　　１０３　通信部
　　１０４　入力部
　　１０５　表示部
　　１０６　バス
　　２００　撮像装置
　　３００　プール
　　３０２　コースロープ
　　３０４　レーンライン
　　３０６　クロスライン
　　３０８　座標
　　３１０　座標
　　３１２　座標
　　３１４　座標
　　５００　トップビュー画像
　　６００　線

Claims (10)

  1. 　プロセッサが画像の中に存在するレーンの領域を特定する方法であって、
    　前記プロセッサは、
    　画像中の物体の輪郭に基づいて得られる情報が前記画像中において現れるパターンに基づいて前記画像の中に存在するレーンの領域を特定する、
    レーン特定方法。
  2. 　前記画像中の物体はレーンを仕切る物体である、
    　請求項１に記載のレーン特定方法。
  3. 　前記画像中の物体の輪郭に基づいて得られる情報は、前記レーンを仕切る物体を表す線である、
    　請求項２に記載のレーン特定方法。
  4. 　前記線は、前記画像の中に存在する競技場のサイズに基づいて前記画像から得られる、
    　請求項３に記載のレーン特定方法。
  5. 　前記パターンは、前記画像の中に存在するレーン数を仮定するパラメータを基に算出される、
    　請求項１に記載のレーン特定方法。
  6. 　画像の中に存在するレーンの領域を特定する装置であって、
    　前記装置のプロセッサは、
    　画像中の物体の輪郭に基づいて得られる情報が前記画像中において現れるパターンに基づいて前記画像の中に存在するレーンの領域を特定する、
    レーン特定装置。
  7. 　前記画像中の物体はレーンを仕切る物体である、
    　請求項６に記載のレーン特定装置。
  8. 　前記画像中の物体の輪郭に基づいて得られる情報は、前記レーンを仕切る物体を表す線である、
    　請求項７に記載のレーン特定装置。
  9. 　前記線は、前記画像の中に存在する競技場のサイズに基づいて前記画像から得られる、
    　請求項８に記載のレーン特定装置。
  10. 　前記パターンは、前記画像の中に存在するレーン数を仮定するパラメータを基に算出される、
    　請求項６に記載のレーン特定装置。
PCT/JP2017/005875 2016-05-18 2017-02-17 レーン特定方法およびレーン特定装置 Ceased WO2017199498A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780028669.3A CN109074662A (zh) 2016-05-18 2017-02-17 分道确定方法以及分道确定装置
EP17798936.5A EP3460755A4 (en) 2016-05-18 2017-02-17 METHOD FOR TRAVEL SPECIFICATION AND DEVICE FOR TRAVEL SPECIFICATION
US16/300,425 US11087486B2 (en) 2016-05-18 2017-02-17 Lane specification method and lane specification device
JP2018518086A JP6956325B2 (ja) 2016-05-18 2017-02-17 レーン特定方法およびレーン特定装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016099368 2016-05-18
JP2016-099368 2016-05-18

Publications (1)

Publication Number Publication Date
WO2017199498A1 true WO2017199498A1 (ja) 2017-11-23

Family

ID=60324967

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005875 Ceased WO2017199498A1 (ja) 2016-05-18 2017-02-17 レーン特定方法およびレーン特定装置

Country Status (5)

Country Link
US (1) US11087486B2 (ja)
EP (1) EP3460755A4 (ja)
JP (1) JP6956325B2 (ja)
CN (1) CN109074662A (ja)
WO (1) WO2017199498A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024500688A (ja) * 2020-12-09 2024-01-10 バリック マルティナ 移動可能な物体の三次元位置を決定するための位置決めシステム及び方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018198693A1 (ja) * 2017-04-25 2018-11-01 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
US10803723B2 (en) * 2019-06-27 2020-10-13 Darryl L Hurt Safety apparatus for a water body
JP7322549B2 (ja) * 2019-06-28 2023-08-08 セイコーエプソン株式会社 画像処理方法および画像処理装置
KR20210112672A (ko) * 2020-03-05 2021-09-15 삼성전자주식회사 객체를 검출하기 위한 프로세서 및 객체 검출 방법
CN114092891B (zh) * 2020-07-02 2024-09-20 上海际链网络科技有限公司 区域占用的分析方法及装置、存储介质、计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003123058A (ja) * 2001-10-17 2003-04-25 Hitachi Ltd 走行レーン認識装置
JP2016018540A (ja) * 2014-07-11 2016-02-01 株式会社日本自動車部品総合研究所 走行区画線認識装置
WO2016017121A1 (ja) * 2014-07-28 2016-02-04 パナソニックＩｐマネジメント株式会社 拡張現実表示システム、端末装置および拡張現実表示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046647A (ja) 2002-07-12 2004-02-12 Univ Waseda 動画像データに基づく移動物体追跡方法及び装置
EP1817689B1 (en) * 2004-11-18 2014-03-12 Gentex Corporation Improved image acquisition and processing systems for vehicle equipment control
DE602006020231D1 (de) * 2005-12-06 2011-04-07 Nissan Motor Detektionsvorrichtung und -verfahren
KR102227843B1 (ko) * 2014-08-22 2021-03-15 현대모비스 주식회사 차선 이탈 경보 시스템의 동작방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003123058A (ja) * 2001-10-17 2003-04-25 Hitachi Ltd 走行レーン認識装置
JP2016018540A (ja) * 2014-07-11 2016-02-01 株式会社日本自動車部品総合研究所 走行区画線認識装置
WO2016017121A1 (ja) * 2014-07-28 2016-02-04 パナソニックＩｐマネジメント株式会社 拡張現実表示システム、端末装置および拡張現実表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3460755A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024500688A (ja) * 2020-12-09 2024-01-10 バリック マルティナ 移動可能な物体の三次元位置を決定するための位置決めシステム及び方法

Also Published As

Publication number Publication date
EP3460755A1 (en) 2019-03-27
US20190096085A1 (en) 2019-03-28
JPWO2017199498A1 (ja) 2019-04-04
US11087486B2 (en) 2021-08-10
CN109074662A (zh) 2018-12-21
JP6956325B2 (ja) 2021-11-02
EP3460755A4 (en) 2019-03-27

Similar Documents

Publication Publication Date Title
JP6956325B2 (ja) レーン特定方法およびレーン特定装置
EP3104332B1 (en) Digital image manipulation
US20140362240A1 (en) Robust Image Feature Based Video Stabilization and Smoothing
JP4142732B2 (ja) 画像処理装置
US12106460B2 (en) Information processing apparatus, information processing method, and non- transitory computer-readable storage medium
JP6435740B2 (ja) データ処理システム、データ処理方法およびデータ処理プログラム
CN106897648A (zh) 识别二维码位置的方法及其系统
JP6777150B2 (ja) 劣化検出装置、劣化検出方法、及びプログラム
CN107784631A (zh) 图像去模糊方法及装置
JP5548212B2 (ja) 横断歩道標示検出方法および横断歩道標示検出装置
JP2016009448A (ja) 判定装置、判定方法及び判定プログラム
JP7360303B2 (ja) 画像処理装置および画像処理方法
JP2009129181A (ja) 速度計測方法
KR20150046810A (ko) 영상 처리 방법 및 장치
JP6996623B2 (ja) 横断歩道検出装置、方法およびプログラム
US9842260B2 (en) Image processing apparatus and image processing method of performing image segmentation
JP7148387B2 (ja) 外装材の損傷検出方法
JP2009277001A (ja) 画像処理装置
US10460414B2 (en) Digital watermark information detecting device and digital watermark information detecting method
KR102161212B1 (ko) 움직임 검출 시스템 및 방법
JP6101656B2 (ja) マーカ埋め込み装置、マーカ検出装置、及びプログラム
JP2017027363A (ja) 映像処理装置、映像処理方法、及びプログラム
US9898681B2 (en) Apparatus and method for detecting object using multi-directional integral image
JP2014142866A (ja) 車線識別装置および車線識別方法
CN111179346B (zh) 标签图像的特征提取方法、装置及定位方法、定位设备

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018518086

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17798936

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017798936

Country of ref document: EP

Effective date: 20181218

WWW Wipo information: withdrawn in national office

Ref document number: 2017798936

Country of ref document: EP