JP7825035B2 - 移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム - Google Patents

移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム

Info

Publication number
JP7825035B2
JP7825035B2 JP2024510583A JP2024510583A JP7825035B2 JP 7825035 B2 JP7825035 B2 JP 7825035B2 JP 2024510583 A JP2024510583 A JP 2024510583A JP 2024510583 A JP2024510583 A JP 2024510583A JP 7825035 B2 JP7825035 B2 JP 7825035B2
Authority
JP
Japan
Prior art keywords
user
moving body
stop position
stopping position
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024510583A
Other languages
English (en)
Other versions
JPWO2023187890A5 (ja
JPWO2023187890A1 (ja
Inventor
健太郎 山田
裕司 安井
七海 塚本
直希 細見
アニルド レッディ コンダパッレィ
康輔 中西
英樹 松永
アマン ジェイン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JPWO2023187890A1 publication Critical patent/JPWO2023187890A1/ja
Publication of JPWO2023187890A5 publication Critical patent/JPWO2023187890A5/ja
Application granted granted Critical
Publication of JP7825035B2 publication Critical patent/JP7825035B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/40—Control within particular dimensions
    • G05D1/43—Control of position or course in two dimensions [2D]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/228—Command input arrangements located on-board unmanned vehicles
    • G05D1/2285—Command input arrangements located on-board unmanned vehicles using voice or gesture commands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253—Taxi operations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096827—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed onboard
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096833—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route
    • G08G1/096838—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route where the user preferences are taken into account or the user selects one route out of a plurality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096833—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route
    • G08G1/096844—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route where the complete route is dynamically recomputed based on new data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096877—Systems involving transmission of navigation instructions to the vehicle where the input to the navigation device is provided by a suitable I/O arrangement
    • G08G1/096888—Systems involving transmission of navigation instructions to the vehicle where the input to the navigation device is provided by a suitable I/O arrangement where input information is obtained using learning systems, e.g. history databases
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/202—Dispatching vehicles on the basis of a location, e.g. taxi dispatching
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/20—Specific applications of the controlled vehicles for transportation
    • G05D2105/22—Specific applications of the controlled vehicles for transportation of humans
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/10—Outdoor regulated spaces
    • G05D2107/13—Spaces reserved for vehicle traffic, e.g. roads, regulated airspace or regulated waters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Operations Research (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Primary Health Care (AREA)

Description

本発明は、移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラムに関する。
近年、超小型モビリティ（マイクロモビリティともいわれる）と呼ばれる、乗車定員が１～２名程度である電動車両が知られており、手軽な移動手段として普及することが期待されている。
自動運転により走行する超小型モビリティを手軽な移動手段として利用するためには、ユーザが容易に乗車することができる適切な場所に、超小型モビリティが停止することが望ましい。特許文献１は、家屋から出てくるユーザを自動運転車に乗車させる場合に、ユーザが乗車位置まで歩く距離をできるだけ短くし、不便を感じさせないようにする技術を開示している。また、特許文献２は、自動運転により走行する車両が、自車両の乗員が乗降エリアに存在すると認識した場合に、当該エリア内で自車両と乗員との距離が数メートル以内となる位置に停止位置を決定し、当該停止位置まで走行する技術を開示している。
特開２０１９－９１２１６号公報 特開２０２０－１４２７２０号公報
ところで、ユーザが超小型モビリティを利用する場合に、超小型モビリティとユーザとがそれぞれ移動しながら動的にモビリティの停止位置を調整するようなユースケースが考えられる。このようなユースケースは、予定していた位置での合流が混雑や規制などにより困難となった場合や、停止位置を細かく調整する場合などに有効である。上述の従来技術では、車両とユーザとがそれぞれ移動しながら動的に車両の停止位置を調整するようなユースケースは考慮していなかった。
本発明は、上記課題に鑑みてなされ、その目的は、ユーザと（例えば車両などの）移動体との間で移動体の停止位置を柔軟に調整することが可能な技術を実現することである。
本発明によれば、
ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御装置であって、
ユーザの指示情報を取得する指示取得手段と、
前記移動体において撮影される撮影画像を取得する画像取得手段と、
前記移動体の停止位置を決定する決定手段と、
前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御する制御手段と、を含み、
前記決定手段は、（ｉ）ユーザの使用する通信装置の位置情報、又は、前記ユーザの第１の指示情報に含まれる目的地に対応する位置情報を用いて第１の停止位置を決定し、（ｉｉ）前記移動体の走行により前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、前記ユーザの第２の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第２の停止位置を決定し、
前記決定手段は、前記ユーザの前記第２の指示情報から前記所定の物標の指定を識別したうえで、前記所定の物標の指定に対応する前記所定の物標の領域を前記撮影画像から識別することにより、前記第２の停止位置を決定する、移動体の制御装置が提供される。
本発明によれば、ユーザと移動体との間で移動体の停止位置を柔軟に調整することが可能になる。
本発明の実施形態に係る情報処理システムの一例を示す図 本実施形態に係る車両のハードウェアの構成例を示すブロック図（１） 本実施形態に係る車両のハードウェアの構成例を示すブロック図（２） 本実施形態に係る車両の機能構成例を示すブロック図 本実施形態に係る制御ユニットにより実現される機能構成例を示すブロック図 本実施形態に係る、発話と画像を用いた車両の停止位置の決定について説明するための図（１） 本実施形態に係る、発話と画像を用いた車両の停止位置の決定について説明するための図（２） 本実施形態に係る、発話と画像を用いた車両の停止位置の決定について説明するための図（３） 本実施形態に係る、発話と画像を用いた車両の停止位置の決定について説明するための図（４） 本実施形態に係る、発話と画像を用いた車両の停止位置の決定について説明するための図（５） 本実施形態に係る、発話と画像を用いた車両の停止位置の決定について説明するための図（６） 本実施形態に係る、発話と画像を用いた車両の停止位置の決定について説明するための図（７） 本実施形態に係る、発話と画像を用いた車両の停止位置の決定について説明するための図（８） 本実施形態に係る、停止位置の指示に応じた車両制御の状態遷移を説明する図 本実施形態に係る、停止位置決定処理の一連の動作を示すフローチャート 本実施形態に係る、相対位置を用いた停止位置調整処理の一連の動作を示すフローチャート 他の実施形態に係る情報処理システムの一例を示す図
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
（情報処理システムの構成）
図１を参照して、本実施形態に係る情報処理システム１０の構成について説明する。情報処理システム１０は、車両１００と通信装置１２０とを含む。
車両１００は、移動体の一例であり、例えば、バッテリを搭載しており、主にモータの動力で移動する超小型モビリティである。超小型モビリティとは、一般的な自動車よりもコンパクトであり、乗車定員が１又は２名程度の超小型車両である。超小型モビリティは、車道或いは歩道を走行可能であってよい。本実施形態では、車両１００は、例えば、四輪車である。なお、本実施形態は、車両に限らず他の移動体にも適用可能である。移動体は、乗物に限らず、歩くユーザと並走して荷物を運んだり、人を先導したりするような小型モビリティを含んでよく、また、その他の自律移動が可能な移動体（例えば歩行型ロボットなど）を含んでもよい。
車両１００は、例えば、第５世代移動体通信、路車間通信、又はＷｉ‐Ｆｉなどの無線通信を介してネットワーク１４０に接続する。車両１００は、様々なセンサによって（車両の位置、走行状態、周囲の物体の物標などの）車両内外の状態を計測し、計測したデータを蓄積する。このように収集されて送信されるデータは、一般にフローティングデータ、プローブデータ、交通情報などとも呼ばれる。車両１００は蓄積したデータを不図示のサーバに送信してもよい。車両に関する情報がサーバに送信される場合、一定の間隔でまたは特定のイベントが発生したことに応じて、送信される。車両１００は、ユーザ１３０が乗車していない場合であっても自動運転により走行可能である。車両１００は、通信装置１２０からの発話情報などに応じて、最初の停止位置からユーザ１３０を乗車させる位置に向かって走行を開始することができる。車両１００は、後述するように、ネットワーク１４０を介して、通信装置１２０から送信されるユーザの発話情報を取得したり、通信装置１２０に発話情報を送信したりして、ユーザとの間で停止位置を調整する。車両１００は、調整した停止位置に車両を停止させて、ユーザを乗車させる。
通信装置１２０は、例えばスマートフォンであるが、これに限らず、イヤフォン型の通信端末であってもよいし、パーソナルコンピュータ、タブレット端末、ゲーム機などであってもよい。通信装置１２０は、例えば、第５世代移動体通信やＷｉ‐Ｆｉなどの無線通信を介してネットワーク１４０に接続する。
ネットワーク１４０は、例えばインターネットや携帯電話網などの通信網を含み、車両１００、通信装置１２０、不図示のサーバなどの間の情報を伝送する。
この情報処理システム１０では、離れた場所にいたユーザ１３０と車両１００が、（視覚的な目印となる）物標等を視覚で確認できる程度に近づいた場合に、発話情報と車両１００で撮影された画像情報とを用いて停止位置を調整する。
ユーザ１３０と車両１００とが物標等を視覚で確認できる程度に近づく前には、まず車両１００は、ユーザの地図上の現在位置、又はユーザの発話情報から得られる目的地の地図上の位置を停止位置として移動する。そして、車両１００が停止位置に接近すると、ユーザを識別したり、視覚的な目印に関連する場所を尋ねる発話情報（例えば「近くにお店ありますか？」）を通信装置１２０へ送信したりする。これにより、車両１００が画像情報からユーザを発見（識別）可能な場合にはユーザの位置に向かったり、ユーザを識別困難な状況であっても、発話情報から得られる目印に向かって移動したりすることができる。
視覚的な目印に関連する場所は、例えば、画像から識別可能な物標の名称を含む。車両１００は、視覚的な目印に関連する場所を含む発話情報（例えば「自動販売機の前に止まって」）を通信装置１２０から受け付ける。そして、車両１００は、画像情報から目印の物標を識別して当該目印の場所の前まで移動する。
（車両の構成）
次に、図２Ａ、図２Ｂを参照して、本実施形態に係る車両の一例としての車両１００の構成について説明する。
図２Ａは本実施形態に係る車両１００の側面を示し、図２Ｂは車両１００の内部構成を示している。図中矢印Ｘは車両１００の前後方向を示しＦが前をＲが後を示す。矢印Ｙ、Ｚは車両１００の幅方向（左右方向）、上下方向を示す。
車両１００は、走行ユニット１２を備え、バッテリ１３を主電源とした電動自律式車両である。バッテリ１３は例えばリチウムイオンバッテリ等の二次電池であり、バッテリ１３から供給される電力により走行ユニット１２によって車両１００は自走する。走行ユニット１２は、例えば、左右一対の前輪２０と、左右一対の後輪２１とを備えた四輪車である。走行ユニット１２は三輪車の形態等、他の形態であってもよい。車両１００は、一人用又は二人用の座席１４を備える。
走行ユニット１２は操舵機構２２を備える。操舵機構２２はモータ２２ａを駆動源として一対の前輪２０の舵角を変化させる機構である。一対の前輪２０の舵角を変化させることで車両１００の進行方向を変更することができる。走行ユニット１２は、また、駆動機構２３を備える。駆動機構２３はモータ２３ａを駆動源として一対の後輪２１を回転させる機構である。一対の後輪２１を回転させることで車両１００を前進又は後進させることができる。走行ユニット１２は、車両１００の走行速度、加速度、操舵角、車両１００のボディの回転加速度などの車両１００の運動を表す物理量を検知して出力することができる。
車両１００は、車両１００の周囲の物標を検知する検知ユニット１５～１７を備える。検知ユニット１５～１７は、車両１００の周辺を監視する外界センサ群であり、本実施形態の場合、いずれも車両１００の周囲の画像を撮像する撮像装置であり、例えば、レンズなどの光学系とイメージセンサとを備える。車両１００は、撮像装置に加えて、レーダやライダ（Light Detection and Ranging）を採用することも可能である。車両１００は、検知ユニットで得られた画像情報に基づいて、車両１００の座標系から見た特定の人物或いは特定の物標の位置（以下、相対位置という）を取得することができる。相対位置は例えば、左に１ｍ、前方１０ｍの位置などのように示すことができる。
検知ユニット１５は車両１００の前部にＹ方向に離間して二つ配置されており、主に、車両１００の前方の物標を検知する。検知ユニット１６は車両１００の左側部及び右側部にそれぞれ配置されており、主に、車両１００の側方の物標を検知する。検知ユニット１７は車両１００の後部に配置されており、主に、車両１００の後方の物標を検知する。
図３は、車両１００の制御系のブロック図である。車両１００は、制御ユニット（ＥＣＵ）３０を備える。制御ユニット３０は、車両（移動体）の制御装置として機能する。制御ユニット３０は、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。プロセッサ、記憶デバイス、インタフェースは、車両１００の機能別に複数組設けられて互いに通信可能に構成されてもよい。
制御ユニット３０は、検知ユニット１５～１７の検知結果、操作パネル３１の入力情報、音声入力装置３３から入力された音声情報、通信装置１２０からの発話情報などを取得して、対応する処理を実行する。制御ユニット３０は、モータ２２ａ、２３ａの制御（走行ユニット１２の走行制御）、操作パネル３１の表示制御、音声による車両１００の乗員への報知、情報の出力を行う。制御ユニット３０は、プロセッサとして、ＣＰＵのほか、ＧＰＵ、或いは、ニューラルネットワーク等の機械学習モデルの処理の実行に適した専用のハードウェアを更に含んでよい。その他、制御ユニット３０は、後述する本実施形態に係る停止位置決定処理を実行する。
音声入力装置３３は、車両１００の乗員の音声を収音する。制御ユニット３０は、入力された音声を認識して、対応する処理を実行可能である。ＧＮＳＳ(Global Navigation Satellite system)センサ３４は、ＧＮＳＳ信号を受信して車両１００の現在位置を検知する。
記憶装置３５は、車両１００が走行可能な走路、建造物などのランドマーク、店舗等の情報を含む地図データ等を記憶する大容量記憶デバイスである。記憶装置３５にも、プロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納されてよい。記憶装置３５は、制御ユニット３０によって実行される音声認識や画像認識用の機械学習モデルの各種パラメータ（例えばディープニューラルネットワークの学習済みパラメータやハイパーパラメータなど）を格納してもよい。また、記憶装置３５は不図示のサーバ上に設けられてもよい。
通信装置３６は、例えば、第５世代移動体通信やＷｉ‐Ｆｉなどの無線通信を介してネットワーク１４０に接続可能な通信装置である。
（停止位置決定処理のためのソフトウェア構成）
次に、図４を参照して、制御ユニット３０における停止位置決定処理のためのソフトウェア構成について説明する。本ソフトウェア構成は、制御ユニット３０が、記憶媒体に格納されたプログラムを実行することにより実現される。
本実施形態に係るソフトウェア構成は、インタラクション部４０１と、車両制御部４０２と、データベース４０３とを含む。インタラクション部４０１は、通信装置１２０との間でやりとりされる音声情報（発話情報）に対する処理や、検知ユニット１５等で取得される画像情報に対する処理、停止位置を推定する処理等を行う。
車両制御部４０２は、インタラクション部４０１で設定される停止位置までの経路の決定、経路に沿った車両各部の制御などを行う。詳細は後述するが、車両制御部４０２は、相対位置を用いた走行中に車両１００が停止位置に接近すると、残存距離に応じて走行速度を制御する。例えば、車両制御部４０２は、停止位置までの残存距離が所定値より大きい場合には、予め定めた（比較的速度の速い）第１速度で停止位置まで接近するように制御する。また、車両制御部４０２は、残存距離が所定値以下になった場合には、安全な加減速によって素早く停止制御を行うことができる第２速度（第１速度＞第２速度）で停止位置まで近づくように制御する。
データベース４０３は、上述した、車両１００が走行可能な走路、建造物などのランドマーク、店舗等の情報を含む地図データ、自車両や他の車両の走行履歴情報などの各種データを格納する。
ユーザデータ取得部４１３は、通信装置１２０から送信される発話情報や位置情報を取得する。ユーザデータ取得部４１３は、取得した発話情報や位置情報をデータベース４０３に格納してもよい。後述するように、ユーザデータ取得部４１３が取得した発話情報は、ユーザの意図を推定するために、学習済み機械学習モデルに入力される。なお、以下の説明では、ユーザの指示を発話情報に基づいて取得する場合を例に説明する。しかし、ユーザの指示を含む情報（指示情報）は、音声情報に限らず、テキスト情報などユーザの意図を含む他の情報であってもよい。
音声情報処理部４１４は、音声情報を処理する機械学習モデルを含み、当該機械学習モデルの推論段階の処理を実行する。音声情報処理部４１４の機械学習モデルは、例えば、ディープニューラルネットワーク（ＤＮＮ）を用いた深層学習アルゴリズムの演算を行って、ユーザの発話内容を認識したり、ユーザの発話意図を推定したりする。ユーザの発話内容の認識と、ユーザの意図の推定とは別個の機械学習アルゴリズムが用いられてよい。
ユーザの意図の推定は、発話情報を、予め定められた意図クラスに分類する分類処理であってよい。発話の意図クラスは、ユーザ１３０が車両１００を利用する利用シーンごと（例えば、乗車前、乗車中、降車後）に定義されてもよい。利用シーンごとに意図クラスを定義することにより、意図認識における分類数が制限され、認識精度を向上させることができる。「乗車前」の利用シーンには、例えば、問い合わせ、お迎え要求、挨拶、場所指示、目印表現、同意、否定、聞き返しといった意図クラスが対応付けられてよい。また、「乗車中」の利用シーンには、例えば、経路指示、停止指示、加速指示、減速指示、同意、否定、聞き返しといった、乗車前とは少なくとも一部が異なる意図クラスが対応付けられてよい。同様に、「降車後」の利用シーンにも乗車前及び乗車中とは少なくとも一部が異なる意図クラスが対応付けられてよい。意図クラスの推定の一例としては、乗車前の段階で「今乗車できる？」といった発話は、「問い合わせ」の意図に分類される。また、「すぐ来られる？」といった発話は、「お迎え要求」の意図に分類される。更に、「自動販売機の前」といった発話情報は、「目印表現」の意図に分類される。
ユーザの発話内容の認識では、例えば、ユーザの発話意図が、場所指示である場合に、発話情報に含まれる場所名等を識別してもよい。ユーザの発話内容の認識では、例えば、発話情報に含まれる場所名、建造物などのランドマーク名、店舗名、物標の名称などを認識する。物標は、発話情報に含まれる通行人、看板、標識、自動販売機など野外に設置される設備、窓や入口などの建物の構成要素、道路、車両、二輪車、などを含んでよい。
ＤＮＮは、学習段階の処理を行うことにより学習済みの状態となり、発話情報を学習済みのＤＮＮに入力することにより当該発話情報に対する認識処理（推論段階の処理）を行うことができる。なお、本実施形態では、車両１００が音声認識処理を実行する場合を例に説明するが、不図示のサーバで音声認識処理を実行し、認識結果をサーバから受信するようにしてもよい。
画像情報処理部４１５は、画像情報を処理する機械学習モデルを含み、学習済みの機械学習モデルが推論段階の処理を実行する。画像情報処理部４１５の機械学習モデルは、例えば、ディープニューラルネットワーク（ＤＮＮ）を用いた深層学習アルゴリズムの演算を行って、画像情報に含まれる物標を認識する処理を行う。物標は、画像内に含まれる通行人、看板、標識、自動販売機など野外に設置される設備、窓や入口などの建物の構成要素、道路、車両、二輪車、などを含んでよい。そのほか、画像情報処理部４１５の機械学習モデルは、画像情報に含まれる人物の顔、人物の行動（例えば手振り）、服の形状、及び服の色などを認識することができる。
停止位置決定部４１６は、上述の音声情報処理部４１４、画像情報処理部４１５と連携して、後述する停止位置決定処理の動作を実行する。停止位置決定処理については後述する。
（停止位置決定処理の概要）
図５Ａ～図５Ｈを参照して、車両１００において実行される停止位置決定処理の概要について説明する。なお、この説明で車両１００を動作主体として説明する動作は、車両１００の制御ユニット３０がプログラムを実行し、図４に示した各部が動作することにより実現される。
停止位置決定処理では、ユーザによるお迎え要求があった場合に、まず、離れた場所にいたユーザ１３０と車両１００が、ユーザや目印となる物標等を視覚で確認できる程度まで近づく。その後、車両１００は、ユーザ１３０との間で、音声情報（発話情報）と画像情報とに基づいて停止位置を調整し、ユーザ１３０の所望の位置に停止する。このように停止位置を調整できるようにするのは、周囲の状況に応じてユーザが一度決めた停止位置を修正する可能性を考慮したものである。また、騒音や光の状態などの周囲環境に応じて、音声認識や画像認識の精度が変動する可能性がある場合にも、停止位置を調整可能にすることで容易に対応することができるようになる。後述するように、本実施形態では、車両１００が現在設定されている停止位置へ移動しながら、或いは停止中に、新たな停止位置の調整を行うことができ、新たな停止位置での合流を円滑に行うことができる。
図５Ａは、車両１００が走行可能な区域において、待機場所に停止している車両１００をユーザ１３０が発話によって呼び寄せる際の様子を模式的に示している。まず、ユーザ１３０は、通信装置１２０を用いて、車両１００に「直ぐ来られる？」という発話情報５１０を送信する。車両１００は、ユーザ１３０の発話情報を取得して、その発話情報の発話意図が「お迎え要求」であると判定すると、「はい、すぐ行きます」という発話情報５１１を通信装置１２０に送信する。ユーザ１３０の現在の位置の近傍には、例えば、車両の停止が不可能な領域が存在する。また、ユーザ１３０は、移動方向の先にある自動販売機５００の方に向かって移動しながら、車両１００に乗車したいと考えている。このため、ユーザ１３０は、「急いでいるから、追いかけてきて」という発話情報５１２を通信装置１２０から車両１００に送信する。車両１００は、当該発話情報５１２を受信してその発話意図及び内容を認識すると、「了解しました」という発話情報５１３を通信装置１２０に送信する。このとき、ユーザの発話情報には、目的地の指定が含まれていないため、車両１００は、ユーザ１３０の通信装置１２０の位置情報（例えばＧＰＳの情報）を取得して、ユーザ１３０の位置と地図情報とに基づいて停止位置に設定する。そして、車両１００は、停止位置（現時点ではユーザ１３０の位置）まで移動する経路を地図情報から算出し、当該経路に従って移動する。
図５Ｂは、車両１００が「直ぐ来られる？」という発話情報５１０を取得して音声情報処理等を行った後の、システムステータスの例を模式的に示している。システムステータスは、一例として、視覚情報の処理結果を示す視覚情報理解５２０と、発話情報の処理結果を示す言語情報理解５２１と、推定される停止位置の尤もらしさ５２２とによって示している。
視覚情報理解５２０では、撮像された画像情報５２３内に、認識された物標の表示５２４が表示される。なお、本説明では、図面の視認性を確保するため、説明と無関係な被写体の情報を省略している。このため、図５Ｂに示す例では、画像情報５２３には何も記載されていないが、実際には撮影された背景の被写体等が存在する。図５Ｂに示す例では、物標が認識されていないことを示す「Ｎｏｎｅ」が重畳されている。
言語情報理解５２１では、ユーザ１３０の発話意図の推定結果５２５が示されている。横向きの棒グラフは、推定されたユーザの意図がカテゴリ（お迎え要求、場所指示、等）に該当する確率を示している。この例では、ユーザ１３０の「直ぐ来られる？」という発話情報の発話意図が、お迎え要求である確率が高いことを示す。
停止位置の尤もらしさ５２２は、図５Ａに示した領域をメッシュ状にしたマップ５２６で表されており、色分けされている領域５２７は、停止位置として推定される確率（尤度）が高い領域である。黒く塗りつぶされた領域は、停止位置として最も確率の高い領域を示している。また、ハッチングで表される領域は、次いで確率の高い領域を示す。
図５Ｃは、車両１００がユーザ１３０を画像情報により確認できる程度までユーザに近づいた状況を示している。この状況では、車両１００は、緯度・経度を用いる「絶対位置に基づく走行状態」から、相対位置を用いて停止位置を制御するための「相対位置に基づく停止制御状態」に動作状態を切り替える。ここで、緯度、経度など、特定の地理座標を基準とした位置からの移動体或いは物標の位置を絶対位置という。相対位置は、画像情報を用いて決定されるため、車両１００は、画像内の人物がユーザ１３０であるかを確認するための対話を行う。例えば、車両１００は、「近くまで来ました。手を振ってくれますか？」との発話情報５３０を送信する。ユーザ１３０は、手を振りながら、「おーい、ここにいるよ」との発話情報５３１を通信装置１２０から車両１００に送信する。車両１００は、画像内で手を振っているユーザ１３０を認識して、例えば、「赤い服の方ですか？」という発話情報５３２を通信装置１２０に送信する。これに対して、ユーザ１３０は「はい、そうです」という同意を表す発話情報５３３を通信装置１２０から車両１００に送信する。
図５Ｄは、車両１００とユーザ１３０の間で図５Ｃに示した対話が進行した状態のシステムステータスの例を模式的に示している。画像情報５２３では、手を振っている人物を認識した認識結果５４１と、物標としての自動販売機を認識した認識結果５４０とを示している。また、言語情報理解５２１では、ユーザ１３０の「はい、そうです」という発話情報５３３を受信して、発話意図が「同意」である確率が高いことを示す、発話意図の推定結果５２５を示している。更に、車両１００は、画像情報による認識結果５４１から得られるユーザ１３０の相対位置と、車両１００の絶対位置とに基づいて、停止位置の尤もらしさ５２２を算出する。この例では、ユーザ１３０が移動したため、色分けされている領域５４２の位置がマップ５２６上で右側に移動している。
図５Ｅは、車両１００がユーザ１３０の位置を相対位置で取得した後の対話例を示している。車両１００は、「目の前に止まりますね」との発話情報５５０を通信装置１２０に送信する。これに対して、ユーザ１３０は、他の場所での乗車を希望しているため、「いや、あっちに止まって」との発話情報５５１を車両１００に送信する。このとき、ユーザ１３０は、自動販売機５００を指さししている。ユーザ１３０の（「あっち」を含む）発話情報５５１と指差し動作に基づいて、車両１００は、目印（自動販売機）を画像情報から認識する。そして、車両１００は、目印を確認するための「自動販売機のところですね？」との発話情報５５２を送信したうえで、ユーザ１３０による「はい、そうです」との発話情報５５３を受信する。これらの対話及び認識処理により、車両１００は、自動販売機５００の位置を停止位置として設定し、当該位置で停止するように走行を制御する。このように、車両１００は、最初に設定した停止位置にアプローチしながらユーザ１３０と対話を進めて、停止位置を探索することができ、新規の停止位置が指示された場合であっても柔軟に新規の停止位置を再設定することができる。
図５Ｆでは、車両１００がユーザ１３０による「いや、あっちに止まって」との発話情報５５１を処理した状態のシステムステータスの例を模式的に示している。画像情報５２３では、指を指している人物を認識した認識結果５６１と、物標としての自動販売機を認識した認識結果５６０とを示している。また、言語情報理解５２１では、ユーザ１３０の「いや、あっちに止まって」という発話情報５５１を受信して、発話意図が「場所指示」である確率が高いことを示す、発話意図の推定結果５２５を示している。更に、車両１００は、画像情報による認識結果５６０及び５６１から得られる自動販売機５００の相対位置と、車両１００の絶対位置とに基づいて、停止位置の尤もらしさ５２２を算出する。この例では、自動販売機５００の位置が停止位置となる可能性が高いため、色分けされている領域５６２の位置がマップ５２６上で右側（自動販売機５００に相当する位置）に移動している。
図５Ｇは、車両１００が自動販売機５００の位置に接近した際の車両１００とユーザ１３０の対話例を示している。車両１００は、画像情報に現れる自動販売機の相対位置を継続的に計測しながら走行し、その相対位置に接近すると、「おまたせしました」との発話情報５７０を通信装置１２０に送信する。また、車両１００は、現在設定されている停止位置で停止する。ユーザ１３０による「ありがとう」との発話情報５７１を受信した場合、車両１００は、配車を完了した（すなわち相対位置が再指定されない）と判定することができる。
図５Ｈは、車両１００がユーザ１３０による「ありがとう」との発話情報５７１を処理した状態のシステムステータスの例を模式的に示している。画像情報５２３では、人物を認識した認識結果５８１と、物標としての自動販売機を認識した認識結果５８０とを示している。また、言語情報理解５２１では、ユーザ１３０の「ありがとう」という発話情報５７１を受信して、発話意図が「お礼」である確率が高いことを示す、発話意図の推定結果５２５を示している。更に、車両１００は、画像情報による認識結果５８０から得られる自動販売機５００の相対位置と、車両１００の絶対位置とに基づいて、停止位置の尤もらしさ５２２を算出する。この例では、自動販売機５００の位置が停止位置である可能性が極めて高いため、高い確率を示す領域５８２の位置がマップ５２６上の自動販売機５００に相当する位置を示している。
次に、図６を参照して、停止位置の指示に応じた車両１００の走行系制御の状態遷移について説明する。まず、車両１００の状態遷移が開始されると、車両１００は「停止」状態に入る。この状態で、お迎え要求などの発進指令が入ると、車両１００は、自動走行状態に入る。自動走行状態は、大まかに、「絶対位置に基づく走行状態」と「相対位置に基づく停止制御状態」と、「停止制御状態」とを含む。
「絶対位置に基づく走行状態」は、上述のように、車両１００は、ユーザによるお迎え要求を受け付けると、まず、最初の停止位置を絶対位置で設定する。例えば、車両１００は、お迎え要求の発話情報に目印が含まれる場合にはその目印の位置を絶対位置で設定し、発話情報に当該目印が含まれない場合には、ユーザの位置（通信装置１２０のＧＰＳ位置情報）を絶対位置で設定する。このため、車両１００は、「自動走行状態」のうちの「絶対位置に基づく走行状態」に遷移して、走行を開始する。車両１００は、走行中にユーザ１３０に停止位置を確認してもよい。ユーザ１３０の発話情報が、現在の停止位置で良いことを示す場合、車両１００は、停止位置に到着すると停止制御状態に遷移する。例えば、停止制御状態において所定時間が経過すると、車両１００は、配車が完了したと判定して、状態を「停止」に遷移させる。
車両１００は、ユーザや目印となる物標等を視覚で確認できる程度まで、（絶対位置で設定された）停止位置に接近すると、「相対位置に基づく停止制御状態」の「停止位置探索中」に遷移する。停止位置探索中において、車両１００は、ユーザ或いは目印を特定し、特定した目印等の相対位置で停止位置を設定する。例えば、車両１００は、ユーザ１３０に停止位置を確認する発話情報を送信する。上述の例のように、「いや、あっちに止まって」との発話情報５５１を取得すると、車両１００は、指示対象（自動販売機５００）を特定し、指示対象の相対位置を停止位置に設定して、「接近／停止制御」状態に遷移する。
「接近／停止制御」状態では、車両１００は、設定した停止位置に向かって移動する。このとき、車両１００は、障害物が目の前に現れるなど、画像情報から停止位置となる目印を検出できなくなった場合、車両１００の状態を「停止位置探索中」に遷移させる。また、車両１００は、上述したように、相対位置を用いた走行中に車両１００が停止位置に接近すると、残存距離に応じて走行速度を制御してよい。車両１００は、相対位置に到着すると停止して停止待機状態となる。停止待機状態において、ユーザ１３０から相対位置を再指定する発話情報を取得した場合、車両１００は、停止位置を再設定して、状態を「接近／停止制御」状態に戻す。ユーザ１３０の発話情報が「ありがとう」のように、停止位置がそれで良いことを示す場合、車両１００は、停止制御状態に遷移する。
車両１００は、「停止位置探索中」、「接近／停止制御」及び「停止待機中」の各状態において、それぞれの状態に対応する走行制御パラメータを設定し、当該車速制御パラメータに応じて車両の走行を制御してもよい。例えば、「停止位置探索中」、「接近／停止制御」及び「停止待機中」の各状態について、予め定めた目標（制限）車速、目標加減速度、最低状態保持時間をテーブルとして保持し、状態の遷移に応じて、車速等を制御するようにしてもよい。例えば、「停止位置探索中」では、（新たに）停止位置が決定される走行経路が変更される可能性が高いことから、既に停止位置が決定している「接近／停止制御」よりも、目標車速が低くてもよい。すなわち、「停止位置探索中」、「接近／停止制御」及び「停止待機中」に対する目標車速がそれぞれ（Ａ、Ｂ、０）（ここでＡ＜Ｂ）となるように設定されてもよい。このようにすることで、状態の遷移に伴って、状態ごとに設定されている加減速度や目標車速に合わせた走行を実現することができる。なお、車両１００の走行制御はこの例に限定されない。後述するように、停止位置に対する確信度の高さに応じて、車速を制御するようにしてもよい。
（停止位置決定処理の一連の動作）
次に、車両１００における停止位置決定処理の一連の動作について、図７を参照して説明する。なお、本処理は、制御ユニット３０がプログラムを実行することにより実現される。以下の説明では、説明の簡単のために制御ユニット３０が各処理を実行するものとして説明するが、（図４にて上述した）インタラクション部４０１の各部と車両制御部４０２により対応する処理が実行される。
Ｓ７０１において、制御ユニット３０は、お迎え要求の発話情報とユーザの位置情報とを通信装置１２０から受信する。お迎え要求の発話情報は、例えば、図５Ａで上述した「直ぐ来られる？」のような発話を含む。お迎え要求の発話情報は、「ＡＡＡの前に、直ぐ来られる？」のように、目的地を含んだものであってもよい。ユーザの位置情報は、例えば通信装置１２０が検出している位置情報である。Ｓ７０２において、制御ユニット３０は、お迎え要求のユーザ発話情報から目的地を識別する。例えば、制御ユニット３０は、「ＡＡＡの前に、直ぐ来られる？」のような発話情報から「ＡＡＡ」を目的地として識別することができる。制御ユニット３０は、「直ぐ来られる？」のように発話情報が目的地を含まない場合、目的地を識別できなかったと判定してよい。また、制御ユニット３０は、目的地を尋ねるような発話情報を通信装置１２０に送信し、目的地を含む発話情報を追加的に取得してもよい。
Ｓ７０３において、制御ユニット３０は、目的地を識別できたかを判定する。制御ユニット３０は、例えば、お迎え要求の発話情報に目的地を示す語が含まれている場合、目的地を識別できたと判定して処理をＳ７０５に進め、そうでない場合にはＳ７０４に処理を進める。
Ｓ７０４において、制御ユニット３０は、（発話情報から目的地を識別できない場合に）ユーザの位置を停止位置として設定する。このとき、ユーザの位置情報は、絶対位置である。停止位置としてユーザの位置を設定することで、車両１００は、まずユーザの位置に向かってユーザに接近する経路を走行することになる。
Ｓ７０５において、制御ユニット３０は、識別できた目的地の位置を、地図情報から特定して、停止位置に設定する。例えば、制御ユニット３０は、例えば、目的地であるＡＡＡの名称を地図情報から検索し、検索して得られる位置情報（例えば緯度・経度情報）を停止位置として設定する。この場合も位置情報は絶対位置である。
Ｓ７０６において、制御ユニット３０は、設定した停止位置へ車両１００を移動させる。例えば、制御ユニット３０は、地図情報に基づいて停止位置までの走行経路を決定し、走行経路に従って走行する。
Ｓ７０７において、制御ユニット３０は、停止位置に接近したかを判定する。例えば、制御ユニット３０は、車両１００の現在の位置情報を取得して、当該位置情報が、停止位置として定めた緯度・経度から所定の距離以内であるかを判定する。制御ユニット３０は、現在の車両の位置が停止位置から所定の距離以内である場合には、停止位置に接近したと判定してＳ７０８に処理を進め、そうでない場合には、処理をＳ７０７に戻す（すなわち経路を走行しながら判定を繰り返す）。
Ｓ７０８において、制御ユニット３０は、相対位置を用いた停止位置調整処理を実行する。停止位置調整処理の詳細は、図８を参照して後述する。制御ユニット３０は、相対位置を用いた停止位置調整処理を完了すると、その後、一連の動作を終了する。
（相対位置を用いた停止位置調整処理の動作）
更に、車両１００における、相対位置を用いた停止位置調整処理の動作について、図８を参照して説明する。なお、本処理は、図７に示した処理と同様、制御ユニット３０がプログラムを実行することにより実現される。本処理は、検知ユニット１５等で取得する画像情報で識別されるユーザや目印の物標の相対位置を特定し、画像情報に基づく相対位置を用いて停止位置までの走行を制御する処理である。換言すれば、本処理は、概ね、図６で上述した「相対位置に基づく停止制御状態」における処理に対応する。
Ｓ８０１において、制御ユニット３０は、検知ユニット１５などで取得した画像に対する物体認識処理を実行して、（視覚的な目印に対応する）画像内の物体領域を識別する。
Ｓ８０２において、制御ユニット３０は、周囲に所定数以上の物体が存在するかを判定する。例えば、制御ユニット３０は、Ｓ８０１で識別された物体領域の数が所定数以上であるかを判定し、物体領域の数が所定数以上である場合には処理をＳ８０４に進め、そうでない場合にはＳ８０３に処理を進める。
Ｓ８０３において、制御ユニット３０は、画像情報からユーザを識別する。制御ユニット３０は、このとき、ユーザの手振りや指差し動作などのユーザ動作を更に識別してもよい。また、「手を振ってくれますか？」、又は「赤い服の方ですね？」のようなユーザを特定する際に対象人物を限定するための発話情報を通信装置１２０に送信してもよい。
Ｓ８０４において、制御ユニット３０は、停止位置の目印を尋ねる発話情報を通信装置１２０に送信する。このように、画像内で検出された領域数が一定以上である場合、画像認識結果のみから高い確度で目印を特定することが難しい。このため、画像内で検出された領域数が一定以上である場合である場合には、停止位置の目印を尋ねる発話情報を送信する等、発話情報を活用して、発話情報と画像情報とを用いた目印の識別を行う。制御ユニット３０は、例えば「赤い自動販売機ですか？」などの、視覚的な目印を絞り込むための追加的な発話情報を送信してもよい。ユーザ１３０の発話情報と車両１００の画像情報との関係において、視覚的な目印を１つに絞り込めない場合には、ユーザからの追加的な発話情報を得られるようにすることで、視覚的な目印の曖昧性を低減させることができる。これにより、より確度の高い目印の識別を行うことができる。
Ｓ８０５において、制御ユニット３０は、ユーザの発話情報を取得して、発話情報から目印を識別する。制御ユニット３０は、このとき、ユーザの手振りや指差し動作などのユーザ動作を更に識別してもよい。例えば、ユーザ１３０の発話情報が、「あっちに止まって」である場合、指示語である「あっち」を識別する。また、ユーザ１３０の発話情報が「自動販売機の前に止まって」である場合、制御ユニット３０は、「自動販売機」を目印として識別する。
Ｓ８０６において、制御ユニット３０は、Ｓ８０５で識別した発話情報に対応する目印を画像情報から識別して、その相対位置を特定する。制御ユニット３０は、例えば、ユーザの発話情報から「あっち」が識別された場合、画像内のユーザの指差しを認識し、その方向にある物体を目印として識別する。また、制御ユニット３０は、発話情報から「自動販売機」が識別された場合、画像情報のなかの自動販売機の領域を識別する。そして、制御ユニット３０は、識別した物体の相対位置を特定する。相対距離は上述したように、車両１００から見た位置であり、例えば、左に１ｍ、前方に１０ｍなどで表す。
なお、画像内の１つ以上の物体領域に対して、視覚的な目印に対応する確率を示す確率分布を算出してもよい。例えば、発話情報に含まれる目印が「自動販売機」であって、画像内に「自動販売機」の領域が２つ以上存在する場合、制御ユニット３０は、発話内容の限定的な言語要素（例えば「青い」）に更に基づいて、物体領域の確率分布を算出してよい。この場合、例えば、画像内に青い自動販売機と赤い自動販売機が存在する場合、青い自動販売機の確率が「０．９０」、赤い自動販売機の確率が「０．１０」となる確率分布を算出してもよい。
発話情報に含まれる目印が「自動販売機」であって、画像内に「自動販売機」の領域が２つ以上存在する場合、両方の物体領域に同じ確率を付与してもよい。このとき、制御ユニット３０は、視覚的な目印となる物標と、ユーザ１３０との相対的な位置関係に応じて、更に確率分布を変動させてよい。制御ユニット３０は、仮にユーザ１３０或いは車両１００の現在位置から赤い自動販売機の方が近い場合には、確率分布を補正して、赤い自動販売機の確率が「０．６」となり、青い自動販売機の確率が「０．４」となるようにしてもよい。ユーザが近づいてくる方向から見て候補になり得る順に確率が高くなる確率分布を付与することができる。
発話情報が「建物の左側の自動販売機」のような物体との位置関係を含む場合、制御ユニット３０は、車両１００から見た相対的な位置関係を考慮した確率分布を算出するようにしてもよい。例えば、建物に対して左側にある自動販売機の領域の確率を「０．９」、右側になる自動販売機の領域の確率を「０．１」として算出してもよい。
制御ユニット３０は、目印に対する確率分布を算出した場合、最も確率の高い物体を目印として識別して、その相対位置を特定する。
Ｓ８０７において、制御ユニット３０は、停止位置を確認する発話情報を通信装置１２０に送信する。例えば、制御ユニット３０は、「目の前に止まりますね」といった発話情報を通信装置１２０に送信する。また、制御ユニット３０は、停止位置を確認する発話情報に対して、ユーザ１３０の確認に関する発話情報を受信する。例えば、制御ユニット３０は、「いや、あっちによろしく」という発話情報を受信する。
Ｓ８０８において、制御ユニット３０は、受信した発話情報に、停止位置の指定があるかを判定する。つまり、制御ユニット３０は、Ｓ８０７における停止位置の確認に対して、停止位置を変更する指定があるかを判定する。例えば、制御ユニット３０は、ユーザ１３０の発話情報に「あっち」或いは「自動販売機の前」などの場所の指定を含むと判定した場合、処理をＳ８０５に進め、そうでない場合にはＳ８０９に処理を進める。Ｓ８０９に進める場合は、例えば、ユーザ１３０から「ＯＫ」という発話情報を受信した場合がある。
Ｓ８０９において、制御ユニット３０は、画像情報で識別されるユーザ或いは目印の物標の相対位置を特定する。相対距離は上述したように、車両１００から見た位置であり、例えば、左に１ｍ、前方に１０ｍなどで表す。
Ｓ８１０において、制御ユニット３０は、特定した相対位置を停止位置に設定し、停止位置までの走行を制御する。このとき、画像情報において停止位置の目印が識別されるときは、停止位置を目印の位置で更新する。制御ユニット３０は、上述したように、停止位置までの残存距離に応じて走行速度を制御してよい。また、走行速度は、停止位置の確信度に応じて調整されてもよい。例えば、ユーザの発話情報から得られた視覚的な目印が、画像上に複数存在（例えば２つの自動販売機が存在）する場合、上述のように、制御ユニット３０はユーザの発話や相対位置に応じて、各自動販売機に確率分布を割り当てることができる。この場合、制御ユニット３０は、当該確率分布の値を確信度として用いてもよい。つまり、制御ユニット３０は、確信度が低い場合には確信度が高い場合よりも走行速度を低下させる。このようにすることで、停止位置が変更になる可能性が高い場合に車両の速度を抑えて走行することができ、停止位置の変更に備えることができる。一方、確信度が高い場合には速やかに停止位置まで接近することができる。
例えば、
最終速度＝（最大設定速度－最小設定速度）＊停止位置の確信度＋最小設定速度
のように確信度に応じて線形に車両の速度を変化させてもよい。この例に限らず、非線形な関数を用いて、確信度に応じた走行速度を設定してもよい。
更に、ユーザと車両との間の対話の進行度合いに応じて、速度を変化させてもよい。例えば、
最終速度＝（最大設定速度－最小設定速度）＊対話の進行度合い＋最小設定速度
のようにして車両の走行速度を設定してもよい。
また、制御ユニット３０は、停止位置を確信度の分布とセットで取得し、評価関数を用いることにより最終速度を求めてもよい。例えば、
・ステージコスト=α＊ステップ時間 ＋ β＊加減速操作コスト
・終端コスト＝β＊divergence（分布距離）（停止位置の分布、自車両位置の分布）
・制約: 上限車速、上限加減速度
のような最適化問題を考え、予測時間内における上記コストが最小となる目標速度を求めてもよい。このようにすれば、停止位置の分布に対して、加減速と停止位置への到達時間とを両立した速度制御を行うことができる。
Ｓ８１１において、制御ユニット３０は、（例えばユーザ１３０から停止位置を指定する発話情報を受信するなどの）停止位置の再指定があるかを判定し、停止位置の再指定があると判定した場合には処理をＳ８０５に進め、そうでない場合にはＳ８１２に処理を進める。Ｓ８１２において、制御ユニット３０は、停止位置までの距離が所定の距離以内にまで接近したかを判定する。制御ユニット３０は、停止位置までの距離が所定の距離以内にまで接近した場合には処理をＳ８１３に進め、そうでない場合には処理をＳ８１１に戻す。
Ｓ８１３において、制御ユニット３０は、停止位置の再指定が無く且つ停止位置に接近したため、減速して走行し、停止位置で停止する。このとき、制御ユニット３０は、到着を知らせる発話情報（例えば「お待たせしました」）を通信装置１２０に送信する。制御ユニット３０は、その後、相対位置を用いた停止位置調整処理を終了して、呼び出し元に戻る。そして、制御ユニット３０は、図７に示す一連の処理も終了する。
以上説明したように、車両１００は、まず、絶対位置を用いてユーザや目印となる物標等を視覚で確認できる程度まで接近し、その後、ユーザ１３０との間で、音声情報（発話情報）と画像情報とに基づいて停止位置を調整することで、ユーザ１３０の所望の位置に停止するようにした。このようにすることで、ユーザと車両（移動体）との間で車両（移動体）の停止位置を柔軟に調整することが可能になる。
（変形例）
以下、本発明に係る変形例について説明する。上記実施形態では、停止位置決定処理を車両１００において実行する例について説明した。しかし、上述の停止位置決定処理は、サーバ側で実行することもできる。この場合、情報処理システム９００は、図９に示すように、車両９１０と通信装置１２０とサーバ９０１とで構成される。
図９を参照して、本実施形態に係る情報処理システム９００の構成について説明する。情報処理システム９００は、車両９１０と、サーバ９０１と、通信装置１２０とを含む。サーバ９０１は、１つ以上のサーバ装置で構成され、車両９１０から送信される車両に関する情報や、通信装置１２０から送信される発話情報及び位置情報を、ネットワーク１４０を介して取得し、車両９１０の走行を制御可能である。サーバは、一般に、車両などと比べて豊富な計算資源を用いることができる。また、様々な車両で撮影された画像データを受信、蓄積することで、多種多用な状況における学習データを収集することができ、より多くの状況に対応した学習が可能になる。
例えば、本変形例に係る実施形態では、ユーザの発話情報は、通信装置１２０からサーバ９０１へ送信される。また、サーバ９０１は、車両９１０で撮影された画像情報を、車両９１０のフローティングデータの一部として位置情報等と共に、ネットワーク１４０を介して取得する。例えば、サーバ９０１は、上述の停止位置決定処理のＳ７０１～Ｓ７０５に対応する処理を行うと、Ｓ７０６において、走行速度などの制御量を車両９１０に送信する。車両９１０は、受信した制御量に従って走行する（走行を継続する）。サーバ９０１は、続いてＳ７０７、及び、Ｓ７０８に対応する処理を実行する。サーバ９０１は、相対位置を用いた停止位置調整処理においても、Ｓ８０１～Ｓ８０９に対応する処理を実行し、Ｓ８１０において、走行速度などの制御量を車両９１０に送信する。車両９１０は、受信した制御量に従って走行する（走行を継続する）。サーバ９０１は、続いてＳ８１１～Ｓ８１３に対応する処理を実行する。サーバ９０１によるこれらの処理は、サーバ９０１が含む不図示のプロセッサが、サーバ９０１が含む不図示の記憶媒体に格納されるプログラムを実行することにより実現される。
また、車両９１０の構成は、制御ユニット３０が停止位置決定処理を実行しないこと、及びサーバ９０１からの制御量に従って車両を走行させることを除き、車両１００と同一の構成であってよい。
このように、サーバ９０１は、絶対位置を用いてユーザや目印となる物標等を視覚で確認できる程度まで車両を接近させ、その後、ユーザ１３０との間で、音声情報（発話情報）と画像情報とに基づいて停止位置を調整することで、ユーザ１３０の所望の位置に車両を停止させる。このようにすることで、ユーザと車両（移動体）との間で車両（移動体）の停止位置を柔軟に調整することが可能になる。
なお、上述の実施形態では、合流しようとするユーザと車両（移動体）との間で車両（移動体）の停止位置を調整することについて説明したが、本発明の適用はこれに限定されるものではない。たとえば、ユーザが車両（移動体）に搭乗した状態で、目印となる物標に基づき停止位置の指示を行う場合に本発明を適用してもよい。たとえば、ユーザが移動体に搭乗した状態で、ユーザの「あそこの自動販売機の前に停めて」との発話情報（指示情報）に対して、移動体が「あの赤い自販機ですか？」などと応答しながら停止位置を決定する。その後、移動体が、ユーザの「やっぱりあっちのコンビニエンスストアに停めて」などの発話情報（指示情報）に基づいて、停止位置を調整する場合が考えられる。
＜実施形態のまとめ＞
１．上述の実施形態では、
ユーザの指示に基づき移動体の停止位置を調整する、移動体（例えば、１００）の制御装置（例えば、３０）であって、
ユーザの指示情報を取得する指示取得手段（例えば、４１３）と、
前記移動体において撮影される撮影画像を取得する画像取得手段（例えば、１５～１７）と、
前記移動体の停止位置を決定する決定手段（例えば、４１６）と、
前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御する制御手段（例えば、４０２）と、を含み、
前記決定手段は、（ｉ）ユーザの使用する通信装置の位置情報、又は、前記ユーザの第１の指示情報に含まれる目的地に対応する位置情報を用いて第１の停止位置を決定し、（ｉｉ）前記移動体の走行により前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、前記ユーザの第２の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第２の停止位置を決定する、移動体の制御装置が提供される。
この実施形態によれば、ユーザと移動体との間で移動体の停止位置を柔軟に調整することが可能になる。
２．上述の実施形態では、
前記決定手段は、前記ユーザの前記第２の指示情報から前記所定の物標の指定を識別したうえで、前記所定の物標の領域を前記撮影画像から識別することにより、前記第２の停止位置を決定する。
この実施形態によれば、「自動販売機の前に止まって」のようなユーザの指示情報から、撮影画像内の物標（例えば自動販売機）の領域を識別して、その物標（例えば自動販売機）の位置を停止位置とすることができる。
３．上述の実施形態では、
前記決定手段は、前記ユーザの指示情報と前記撮影画像に基づいて前記撮影画像内のユーザを特定したうえで、前記ユーザの前記第２の指示情報と前記撮影画像で識別されるユーザの行動とに基づいて前記所定の物標の領域を前記撮影画像から識別することにより、前記第２の停止位置を決定する。
この実施形態によれば、発話とユーザの動作でユーザを特定することができ、更にそのユーザが物標（例えば自動販売機）を指差しながら「あっちに止まって」等と発話する場合に、発話と指差しに基づいて物標の位置を停止位置とすることができる。
４．上述の実施形態では、
前記決定手段は、迎えの要求を含む指示情報を受け付けたことに応じて、前記通信装置の位置情報を用いて前記第１の停止位置を決定する。
この実施形態によれば、「来られる？」のようなお迎え要求の発話だけで、ユーザの位置へ移動体を向かわせることができる。
５．上述の実施形態では、
前記決定手段は、迎えの要求と前記目的地とを含む１以上の指示情報を用いて、前記第１の停止位置を決定する。
この実施形態によれば、例えば「ＡＡＡの前に、直ぐ来られる？」のように、目的地を含んだお迎え要求や、目的地を含む追加的な発話に基づいて、当該指定の目的地に移動体を向かわせることができる。
６．上述の実施形態では、
前記制御手段は、前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、所定の基準に従って低下させた走行速度で前記移動体を走行させる。
この実施形態によれば、停止位置に十分に近づいている場合や、複数の物標が存在して確信度が低い場合などに走行速度を低下させ、安全な加減速を可能にすることができる。
７．上述の実施形態では、
前記制御手段は、前記移動体の位置から前記所定の物標の位置までの距離に応じて、前記走行速度を低下させる。
この実施形態によれば、停止位置から遠い場合には速やかに近づき、停止位置に十分に近づいているときは、安全な加減速を可能にすることができる。
８．上述の実施形態では、
前記決定手段は、撮影画像において識別される１つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出して、最も高い確率を有する物標の領域に基づいて前記第２の停止位置を決定し、
前記制御手段は、前記第２の停止位置に対応する物標に付与された確率が低いほど、走行速度を低くする。
この実施形態によれば、複数の物標が存在する場合に最も可能性の高い物標から停止位置を決定することができ、また、停止位置が変更されても安全な加減速で対応することができる。
９．上述の実施形態では、
前記決定手段は、撮影画像において識別される１つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出して、最も高い確率を有する物標の領域に基づいて前記第２の停止位置を決定し、
前記制御手段は、前記第２の停止位置に対応する物標に付与された確率が高いほど、前記所定の基準に従って低下させた走行速度より高くなるように走行速度を制御する。
この実施形態によれば、停止位置に十分に近づいている場合に走行速度を低下させつつ、停止位置である確率が高ければ走行速度を向上させるように走行速度を調節することができる。
この実施形態によれば、複数の物標が存在する場合に最も可能性の高い物標から停止位置を決定することができる。
１１．上述の実施形態では、
前記決定手段は、撮影画像において識別される複数の物標の領域に対して、停止位置である確率を示す確率分布を算出し、高い確率を有する所定数の複数の物標の領域を候補として、候補の物標までの距離に応じて第二の停止位置を決定する。
この実施形態によれば、遠くにある最も確率が高い領域（第１の候補）と、近くにある最大確率より少しだけ確率が低い領域（第２の候補）があった際に、停止位置を近い方に合わせるような柔軟な停止位置の決定が可能になる。
１２．上述の実施形態では、
前記決定手段は、前記決定された停止位置に向かって前記移動体が走行する間に、前記発話取得手段が他の目的地又は他の物標に係る指示情報を取得した場合、走行を継続しながら、他の目的地又は他の物標に係る新たな停止位置を決定する。
この実施形態によれば、移動体の走行を継続しながら、停止位置の調整を行うことができる。
１３．上述の実施形態では、
前記決定手段は、前記決定された停止位置に向かって前記移動体が走行する間に、前記発話取得手段が他の目的地又は他の物標に係る指示情報を取得した場合、他の目的地又は他の物標を絞り込むための追加の指示情報を前記通信装置に送信する。
この実施形態によれば、識別すべき物標を絞り込むための対話をユーザとの間で行うことができ、ユーザの意図する停止位置を精度よく特定することが可能になる。
１４．上述の実施形態では、
前記第１の停止位置は、特定の地理座標を基準とした位置からの物標の位置である絶対位置で定められ、
前記第２の停止位置は、前記移動体の座標系からみた前記物標の相対的な位置である相対位置で定められる。
この実施形態によれば、移動体とユーザとが近づいた後は、画像を通した停止位置の見え方と親和性の高い座標系で処理を行うことができる。
１５．上述の実施形態では、
前記指示取得手段は、前記指示情報をユーザの発話情報に基づき取得する。
この実施形態によれば、ユーザは指示情報を、発話によって容易に提供することが可能になる。
１６．上述の実施形態では、
前記移動体は超小型モビリティである。
この実施形態によれば、手軽な移動手段を利用することができる。
１７．上述の実施形態では、
ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御方法であって、
ユーザの指示情報を取得することと、
前記移動体において撮影される撮影画像を取得することと、
前記移動体の停止位置を決定することと、
前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御することと、を含み、
前記移動体の停止位置を決定することは、（ｉ）ユーザの使用する通信装置の位置情報、又は、前記ユーザの第１の指示情報に含まれる目的地に対応する位置情報を用いて第１の停止位置を決定し、（ｉｉ）前記移動体の走行により前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、前記ユーザの第２の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第２の停止位置を決定することを含む、移動体の制御方法が提供される。
この実施形態によれば、この実施形態によれば、ユーザと移動体との間で移動体の停止位置を柔軟に調整することが可能になる。
１００…車両、１２０…通信装置、３０…制御ユニット、４１３…ユーザデータ取得部、４１４…音声情報処理部、４１５…画像情報処理部、４１６…停止位置決定部

Claims (26)

  1. ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御装置であって、
    ユーザの指示情報を取得する指示取得手段と、
    前記移動体において撮影される撮影画像を取得する画像取得手段と、
    前記移動体の停止位置を決定する決定手段と、
    前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御する制御手段と、を含み、
    前記決定手段は、（ｉ）ユーザの使用する通信装置の位置情報、又は、前記ユーザの第１の指示情報に含まれる目的地に対応する位置情報を用いて第１の停止位置を決定し、（ｉｉ）前記移動体の走行により前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、前記ユーザの第２の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第２の停止位置を決定し、
    前記決定手段は、前記ユーザの前記第２の指示情報から前記所定の物標の指定を識別したうえで、前記所定の物標の指定に対応する前記所定の物標の領域を前記撮影画像から識別することにより、前記第２の停止位置を決定する、ことを特徴とする移動体の制御装置。
  2. 前記決定手段は、前記ユーザの指示情報と前記撮影画像に基づいて前記撮影画像内のユーザを特定したうえで、前記ユーザの前記第２の指示情報と前記撮影画像で識別されるユーザの行動とに基づいて前記所定の物標の領域を前記撮影画像から識別することにより、前記第２の停止位置を決定する、ことを特徴とする請求項１に記載の移動体の制御装置。
  3. ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御装置であって、
    ユーザの指示情報を取得する指示取得手段と、
    前記移動体において撮影される撮影画像を取得する画像取得手段と、
    前記移動体の停止位置を決定する決定手段と、
    前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御する制御手段と、を含み、
    前記決定手段は、（ｉ）ユーザの使用する通信装置の位置情報、又は、前記ユーザの第１の指示情報に含まれる目的地に対応する位置情報を用いて第１の停止位置を決定し、（ｉｉ）前記移動体の走行により前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、前記ユーザの第２の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第２の停止位置を決定し、
    前記決定手段は、前記ユーザの指示情報と前記撮影画像に基づいて前記撮影画像内のユーザを特定したうえで、前記ユーザの前記第２の指示情報と前記撮影画像で識別されるユーザの行動とに基づいて前記所定の物標の領域を前記撮影画像から識別することにより、前記第２の停止位置を決定する、ことを特徴とする移動体の制御装置。
  4. 前記決定手段は、迎えの要求を含む指示情報を受け付けたことに応じて、前記通信装置の位置情報を用いて前記第１の停止位置を決定する、ことを特徴とする請求項１から３のいずれか１項に記載の移動体の制御装置。
  5. 前記決定手段は、迎えの要求と前記目的地とを含む１以上の指示情報を用いて、前記第１の停止位置を決定する、ことを特徴とする請求項１から３のいずれか１項に記載の移動体の制御装置。
  6. 前記制御手段は、前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、所定の基準に従って低下させた走行速度で前記移動体を走行させる、ことを特徴とする請求項１から５のいずれか１項に記載の移動体の制御装置。
  7. 前記制御手段は、前記移動体の位置から前記所定の物標の位置までの距離に応じて、前記走行速度を低下させる、ことを特徴とする請求項６に記載の移動体の制御装置。
  8. 前記決定手段は、撮影画像において識別される１つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出して、最も高い確率を有する物標の領域に基づいて前記第２の停止位置を決定し、
    前記制御手段は、前記第２の停止位置に対応する物標に付与された確率が低いほど、走行速度を低くする、ことを特徴とする請求項６に記載の移動体の制御装置。
  9. 前記決定手段は、撮影画像において識別される１つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出して、最も高い確率を有する物標の領域に基づいて前記第２の停止位置を決定し、
    前記制御手段は、前記第２の停止位置に対応する物標に付与された確率が高いほど、前記所定の基準に従って低下させた走行速度より高くなるように走行速度を制御する、ことを特徴とする請求項６に記載の移動体の制御装置。
  10. 前記決定手段は、撮影画像において識別される１つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出し、最も高い確率を有する物標の領域に基づいて前記第２の停止位置を決定する、ことを特徴とする請求項１から７のいずれか１項に記載の移動体の制御装置。
  11. 前記決定手段は、撮影画像において識別される複数の物標の領域に対して、停止位置である確率を示す確率分布を算出し、高い確率を有する所定数の複数の物標の領域を候補として、候補の物標までの距離に応じて第二の停止位置を決定する、ことを特徴とする請求項１から７のいずれか１項に記載の移動体の制御装置。
  12. ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御装置であって、
    ユーザの指示情報を取得する指示取得手段と、
    前記移動体において撮影される撮影画像を取得する画像取得手段と、
    前記移動体の停止位置を決定する決定手段と、
    前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御する制御手段と、を含み、
    前記決定手段は、（ｉ）ユーザの使用する通信装置の位置情報、又は、前記ユーザの第１の指示情報に含まれる目的地に対応する位置情報を用いて第１の停止位置を決定し、（ｉｉ）前記移動体の走行により前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、前記ユーザの第２の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第２の停止位置を決定し、
    前記制御手段は、前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、所定の基準に従って低下させた走行速度で前記移動体を走行させ、
    前記決定手段は、撮影画像において識別される１つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出して、最も高い確率を有する物標の領域に基づいて前記第２の停止位置を決定し、
    前記制御手段は、前記第２の停止位置に対応する物標に付与された確率が低いほど、走行速度を低くする、ことを特徴とする移動体の制御装置。
  13. ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御装置であって、
    ユーザの指示情報を取得する指示取得手段と、
    前記移動体において撮影される撮影画像を取得する画像取得手段と、
    前記移動体の停止位置を決定する決定手段と、
    前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御する制御手段と、を含み、
    前記決定手段は、（ｉ）ユーザの使用する通信装置の位置情報、又は、前記ユーザの第１の指示情報に含まれる目的地に対応する位置情報を用いて第１の停止位置を決定し、（ｉｉ）前記移動体の走行により前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、前記ユーザの第２の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第２の停止位置を決定し、
    前記制御手段は、前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、所定の基準に従って低下させた走行速度で前記移動体を走行させ、
    前記決定手段は、撮影画像において識別される１つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出して、最も高い確率を有する物標の領域に基づいて前記第２の停止位置を決定し、
    前記制御手段は、前記第２の停止位置に対応する物標に付与された確率が高いほど、前記所定の基準に従って低下させた走行速度より高くなるように走行速度を制御する、ことを特徴とする移動体の制御装置。
  14. 前記決定手段は、前記決定された停止位置に向かって前記移動体が走行する間に、前記指示取得手段が他の目的地又は他の物標に係る指示情報を取得した場合、走行を継続しながら、他の目的地又は他の物標に係る新たな停止位置を決定する、ことを特徴とする請求項１から１３のいずれか１項に記載の移動体の制御装置。
  15. 前記決定手段は、前記決定された停止位置に向かって前記移動体が走行する間に、前記指示取得手段が他の目的地又は他の物標に係る指示情報を取得した場合、他の目的地又は他の物標を絞り込むための追加の指示情報を前記通信装置に送信する、ことを特徴とする請求項１から１４のいずれか１項に記載の移動体の制御装置。
  16. 前記第１の停止位置は、特定の地理座標を基準とした位置からの物標の位置である絶対位置で定められ、
    前記第２の停止位置は、前記移動体の座標系からみた前記物標の相対位置で定められる、ことを特徴とする請求項１から１５のいずれか１項に記載の移動体の制御装置。
  17. 前記指示取得手段は、前記指示情報をユーザの発話情報に基づき取得する、ことを特徴とする請求項１から１６のいずれか１項に記載の移動体の制御装置。
  18. 前記移動体は超小型モビリティである、ことを特徴とする請求項１から１７のいずれか１項に記載の移動体の制御装置。
  19. ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御方法であって、
    ユーザの指示情報を取得することと、
    前記移動体において撮影される撮影画像を取得することと、
    前記移動体の停止位置を決定することと、
    前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御することと、を含み、
    前記移動体の停止位置を決定することは、（ｉ）ユーザの使用する通信装置の位置情報、又は、前記ユーザの第１の指示情報に含まれる目的地に対応する位置情報を用いて第１の停止位置を決定し、（ｉｉ）前記移動体の走行により前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、前記ユーザの第２の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第２の停止位置を決定することを含み、
    前記移動体の停止位置を決定することは、前記ユーザの前記第２の指示情報から前記所定の物標の指定を識別したうえで、前記所定の物標の指定に対応する前記所定の物標の領域を前記撮影画像から識別することにより、前記第２の停止位置を決定することを含む、ことを特徴とする移動体の制御方法。
  20. ユーザの指示に基づき停止位置を調整する移動体であって、
    ユーザの指示情報を取得する発話取得手段と、
    前記移動体において撮影される撮影画像を取得する画像取得手段と、
    前記移動体の停止位置を決定する決定手段と、
    前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御する制御手段と、を含み、
    前記決定手段は、（ｉ）ユーザの使用する通信装置の位置情報、又は、前記ユーザの第１の指示情報に含まれる目的地に対応する位置情報を用いて第１の停止位置を決定し、（ｉｉ）前記移動体の走行により前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、前記ユーザの第２の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第２の停止位置を決定し、
    前記決定手段は、前記ユーザの前記第２の指示情報から前記所定の物標の指定を識別したうえで、前記所定の物標の指定に対応する前記所定の物標の領域を前記撮影画像から識別することにより、前記第２の停止位置を決定する、ことを特徴とする移動体。
  21. ユーザの指示に基づき移動体の停止位置を調整する、情報処理装置において実行される情報処理方法であって、
    ユーザの指示情報を取得することと、
    前記移動体において撮影される撮影画像と前記移動体の位置情報とを、前記移動体から取得することと、
    前記移動体の停止位置を決定することと、
    前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御する制御命令を前記移動体に送信することと、を含み、
    前記移動体の停止位置を決定することは、（ｉ）ユーザの使用する通信装置の位置情報、又は、前記ユーザの第１の指示情報に含まれる目的地に対応する位置情報を用いて第１の停止位置を決定し、（ｉｉ）前記移動体の走行により前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、前記ユーザの第２の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第２の停止位置を決定することを含み、
    前記移動体の停止位置を決定することは、前記ユーザの前記第２の指示情報から前記所定の物標の指定を識別したうえで、前記所定の物標の指定に対応する前記所定の物標の領域を前記撮影画像から識別することにより、前記第２の停止位置を決定することを含む、ことを特徴とする情報処理方法。
  22. ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御方法であって、
    ユーザの指示情報を取得することと、
    前記移動体において撮影される撮影画像を取得することと、
    前記移動体の停止位置を決定することと、
    前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御することと、を含み、
    前記移動体の停止位置を決定することは、（ｉ）ユーザの使用する通信装置の位置情報、又は、前記ユーザの第１の指示情報に含まれる目的地に対応する位置情報を用いて第１の停止位置を決定し、（ｉｉ）前記移動体の走行により前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、前記ユーザの第２の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第２の停止位置を決定することを含み、
    前記移動体の停止位置を決定することは、前記ユーザの指示情報と前記撮影画像に基づいて前記撮影画像内のユーザを特定したうえで、前記ユーザの前記第２の指示情報と前記撮影画像で識別されるユーザの行動とに基づいて前記所定の物標の領域を前記撮影画像から識別することにより、前記第２の停止位置を決定する、ことを特徴とする移動体の制御方法。
  23. ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御方法であって、
    ユーザの指示情報を取得することと、
    前記移動体において撮影される撮影画像を取得することと、
    前記移動体の停止位置を決定することと、
    前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御することと、を含み、
    前記移動体の停止位置を決定することは、（ｉ）ユーザの使用する通信装置の位置情報、又は、前記ユーザの第１の指示情報に含まれる目的地に対応する位置情報を用いて第１の停止位置を決定し、（ｉｉ）前記移動体の走行により前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、前記ユーザの第２の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第２の停止位置を決定することを含み、
    前記移動体の走行を制御することは、前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、所定の基準に従って低下させた走行速度で前記移動体を走行させることを含み、
    前記移動体の停止位置を決定することは、撮影画像において識別される１つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出して、最も高い確率を有する物標の領域に基づいて前記第２の停止位置を決定することを含み、
    前記移動体の走行を制御することは、前記第２の停止位置に対応する物標に付与された確率が低いほど、走行速度を低くすることを含む、ことを特徴とする移動体の制御方法。
  24. ユーザの指示に基づき移動体の停止位置を調整する、移動体の制御方法であって、
    ユーザの指示情報を取得することと、
    前記移動体において撮影される撮影画像を取得することと、
    前記移動体の停止位置を決定することと、
    前記決定された停止位置に向かって前記移動体が走行するように前記移動体の走行を制御することと、を含み、
    前記移動体の停止位置を決定することは、（ｉ）ユーザの使用する通信装置の位置情報、又は、前記ユーザの第１の指示情報に含まれる目的地に対応する位置情報を用いて第１の停止位置を決定し、（ｉｉ）前記移動体の走行により前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、前記ユーザの第２の指示情報と撮影画像内で識別される所定の物標の領域とに基づいて、第２の停止位置を決定することを含み、
    前記移動体の走行を制御することは、前記移動体の位置が前記第１の停止位置から所定の距離以内となったことに応じて、所定の基準に従って低下させた走行速度で前記移動体を走行させることを含み、
    前記移動体の停止位置を決定することは、撮影画像において識別される１つ以上の物標の領域に対して、停止位置である確率を示す確率分布を算出して、最も高い確率を有する物標の領域に基づいて前記第２の停止位置を決定することを含み、
    前記移動体の走行を制御することは、前記第２の停止位置に対応する物標に付与された確率が高いほど、前記所定の基準に従って低下させた走行速度より高くなるように走行速度を制御することを含む、ことを特徴とする移動体の制御方法。
  25. コンピュータを、請求項１から１８のいずれか１項に記載の移動体の制御装置の各手段として機能させるためのプログラム。
  26. 請求項１から１８のいずれか１項に記載の移動体の制御装置の各手段としてコンピュータを機能させるためのプログラムを格納する記憶媒体。
JP2024510583A 2022-03-28 2022-03-28 移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム Active JP7825035B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/014966 WO2023187890A1 (ja) 2022-03-28 2022-03-28 移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2023187890A1 JPWO2023187890A1 (ja) 2023-10-05
JPWO2023187890A5 JPWO2023187890A5 (ja) 2024-12-05
JP7825035B2 true JP7825035B2 (ja) 2026-03-05

Family

ID=88199645

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024510583A Active JP7825035B2 (ja) 2022-03-28 2022-03-28 移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US20250021106A1 (ja)
EP (1) EP4501737A4 (ja)
JP (1) JP7825035B2 (ja)
CN (1) CN118973890A (ja)
WO (1) WO2023187890A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025120851A1 (ja) * 2023-12-08 2025-06-12 本田技研工業株式会社 処理システム、学習方法、処理方法、およびプログラム
JP7851980B2 (ja) * 2024-03-27 2026-04-27 本田技研工業株式会社 制御装置、制御方法、及び制御プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019067012A (ja) 2017-09-29 2019-04-25 日本電気株式会社 車両制御装置、車両、及び自動配車方法
JP2020135113A (ja) 2019-02-14 2020-08-31 トヨタ自動車株式会社 走行制御装置および走行制御方法
WO2021100190A1 (ja) 2019-11-22 2021-05-27 三菱電機株式会社 合流支援装置、合流支援システム、及び、合流支援方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6910806B2 (ja) * 2017-01-30 2021-07-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 自動運転車両の制御装置、制御方法及びプログラム
JP7109905B2 (ja) 2017-11-14 2022-08-01 アルパイン株式会社 経路設定装置および経路設定方法
JP7058236B2 (ja) 2019-03-07 2022-04-21 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
CN110570463B (zh) * 2019-09-11 2023-04-07 深圳市道通智能航空技术股份有限公司 一种目标状态估计方法、装置和无人机
JP7294231B2 (ja) * 2020-05-07 2023-06-20 トヨタ自動車株式会社 自動運転車両の制御装置、配車システム、及び配車方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019067012A (ja) 2017-09-29 2019-04-25 日本電気株式会社 車両制御装置、車両、及び自動配車方法
JP2020135113A (ja) 2019-02-14 2020-08-31 トヨタ自動車株式会社 走行制御装置および走行制御方法
WO2021100190A1 (ja) 2019-11-22 2021-05-27 三菱電機株式会社 合流支援装置、合流支援システム、及び、合流支援方法

Also Published As

Publication number Publication date
EP4501737A4 (en) 2025-05-28
WO2023187890A1 (ja) 2023-10-05
US20250021106A1 (en) 2025-01-16
EP4501737A1 (en) 2025-02-05
CN118973890A (zh) 2024-11-15
JPWO2023187890A1 (ja) 2023-10-05

Similar Documents

Publication Publication Date Title
US20200307648A1 (en) Parking lot management device, parking lot management method, and storage medium
JP7195161B2 (ja) 案内システム、案内方法、およびプログラム
US20200361462A1 (en) Vehicle control device, terminal device, parking lot management device, vehicle control method, and storage medium
US20190317512A1 (en) Method to evaluate trajectory candidates for autonomous driving vehicles (advs)
JP7032295B2 (ja) 車両制御システム、車両制御方法、およびプログラム
CN120293165A (zh) 到目标的自主和用户控制的车辆召唤
JP7798629B2 (ja) 移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム
CN110389583A (zh) 生成自动驾驶车辆的轨迹的方法
JP2019111882A (ja) 車両制御装置、車両制御方法、およびプログラム
US20210284108A1 (en) Method for enhancing in-path obstacle detection with safety redundancy autonomous system
KR102359497B1 (ko) 단일 차량 동작용으로 설계된 자율 주행 시스템에 따른 차량 플래툰 구현
JP7733465B2 (ja) 情報処理装置、情報処理方法、移動体の制御装置、移動体の制御方法及びプログラム
US20220044337A1 (en) Management device, management system, and management method
US20200311783A1 (en) Parking lot management device, parking lot management method, and storage medium
US20250021106A1 (en) Moving object control apparatus, method for controlling moving object, moving object, information processing method, and storage medium
US20240336266A1 (en) Driving assistance device, driving assistance method, and storage medium
JP7641799B2 (ja) 情報処理装置、移動体の制御装置、情報処理装置の制御方法、移動体の制御方法、及びプログラム
JP7372868B2 (ja) 収容領域管理装置
US12403903B2 (en) Mobile object control device and mobile object control method
CN115079689A (zh) 移动体的控制系统、移动体、移动体的控制方法及存储介质
US20240140431A1 (en) Course generation device, course generation method, medium, and moving body
US12371071B2 (en) Vehicle control device, vehicle control method, and storage medium
JP7611054B2 (ja) 情報処理装置、移動体、それらの制御方法、及びプログラム
JP7685629B2 (ja) 走行支援装置及び走行支援方法
US12097864B2 (en) Mobile object control device and mobile object control method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260220

R150 Certificate of patent or registration of utility model

Ref document number: 7825035

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150