JP7560593B2 - 制御システム、制御方法およびプログラム - Google Patents

制御システム、制御方法およびプログラム Download PDF

Info

Publication number
JP7560593B2
JP7560593B2 JP2023044638A JP2023044638A JP7560593B2 JP 7560593 B2 JP7560593 B2 JP 7560593B2 JP 2023044638 A JP2023044638 A JP 2023044638A JP 2023044638 A JP2023044638 A JP 2023044638A JP 7560593 B2 JP7560593 B2 JP 7560593B2
Authority
JP
Japan
Prior art keywords
user
control system
vehicle
image data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023044638A
Other languages
English (en)
Other versions
JP2023143829A (ja
Inventor
輝久 翠
健太郎 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JP2023143829A publication Critical patent/JP2023143829A/ja
Application granted granted Critical
Publication of JP7560593B2 publication Critical patent/JP7560593B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253—Taxi operations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/202—Dispatching vehicles on the basis of a location, e.g. taxi dispatching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/041—Potential occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Navigation (AREA)
  • Operations Research (AREA)

Description

本発明は、ユーザとのインタラクションを実行可能な制御システム、制御方法およびプログラムに関する。
従来、車両等の機器を音声制御する技術が知られている。特許文献1には、音声認識の結果に対応する意味が曖昧である場合、車両とユーザの位置関係などに基づいて、曖昧性を解消することが記載されている。また、車両等の機器を音声制御する技術は、車両の自動配車サービスにおいて、当該サービスを利用するユーザと車両の間のインタラクションにおいても用いられている。
特開2017-156511号公報
しかしながら、特許文献1では、配送サービスを利用するユーザと移動体の間のインタラクションの結果に基づいて、ユーザの発信情報を評価する仕組みについては言及されていない。
本発明は、配送サービスを利用するユーザと移動体の間のインタラクション通信においてユーザから発信された情報を評価する制御システム、制御方法およびプログラムを提供することを目的とする。
本発明に係る制御システムは、ユーザからの配送依頼に応じて、前記配送依頼で指定された指定場所まで移動体を走行させる走行制御手段と、前記指定場所に到達する前に、前記ユーザが保持する携帯端末を介して、前記ユーザと前記移動体の間でのインタラクション通信を行う通信手段と、前記インタラクション通信の結果、前記指定場所に到達した後、撮像手段により前記指定場所の周辺が撮像された画像データを取得する取得手段と、前記取得手段により取得された前記画像データに基づいて、前記インタラクション通信において前記ユーザから発信された情報を評価する評価手段とを備えることを特徴とする。
本発明に係る制御方法は、制御システムにおいて実行される制御方法であって、ユーザからの配送依頼に応じて、前記配送依頼で指定された指定場所まで移動体を走行させる走行制御工程と、前記指定場所に到達する前に、前記ユーザが保持する携帯端末を介して、前記ユーザと前記移動体の間でのインタラクション通信を行う通信工程と、前記インタラクション通信の結果、前記指定場所に到達した後、撮像手段により前記指定場所の周辺が撮像された画像データを取得する取得工程と、前記取得工程において取得された前記画像データに基づいて、前記インタラクション通信において前記ユーザから発信された情報を評価する評価工程とを有することを特徴とする。
本発明によれば、配送サービスを利用するユーザと移動体の間のインタラクション通信においてユーザから発信された情報を評価することができる。
配車サービスのシステム構成を示す図である。 配車サービスの流れを示す図である。 インタラクションの処理を示すフローチャートである。 問合せの処理を示すフローチャートである。 評価の処理を示すフローチャートである。 評価の処理を示すフローチャートである。 課金の処理を示すフローチャートである。 S425の閾値を変更する処理を示すフローチャートである。 インタラクションの一例を示す図である。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
図1は、本実施形態における配車サービスのシステム構成の一例を示す図である。図1に示すように、システムは、車両100、ユーザが保持する携帯端末200、配車サービスを提供するサーバ300を含む。ユーザは、配車サービスを享受可能なアプリケーションをサーバ300から携帯端末200にインストールし、アプリケーションを介してサーバ300にユーザに関する情報(ユーザ情報)を登録する。なお、アプリケーションは、Webブラウザ上で起動するWebアプリケーションであっても良い。一方、サーバ300は、ユーザから登録された情報として、ユーザ名やメールアドレスといった識別情報を管理する。
ユーザは、サーバ300にユーザ情報を登録した状態で、例えば街中において、携帯端末200からアプリケーションを介して車両100の配車を依頼することができる。車両100は、例えばタクシーやライドシェアリングを目的とする自動運転車両であり、ユーザは、配車された車両100に乗車することで配車サービスを享受することができる。また、配車サービスの利用についての課金は、ユーザの車両100の降車後などの適宜のタイミングで行われる。
ユーザからの配車依頼に応じて車両100がその依頼場所に向かう際、車両100とユーザとの間で、車両100が依頼場所に到達する(もしくはユーザを発見する)ための対話(インタラクション)が行われることがある。例えば、車両100から「どこにいますか?」といった質問に対し、ユーザから「交差点の角にいます」といった応答が行われる。車両100の配車時間は、そのようなインタラクションがスムーズに成功するか否かに大きく影響される。街中では、死角も多く、多くの種類の目印が錯綜するようなシーンも少なくなく、ユーザが真剣に自身の居場所を車両100に伝えようとしているにも関わらずにインタラクションがスムーズに成功しない場合がある。そのため、インタラクションがスムーズに成功せずに車両100の配車に時間がかかってしまった場合には、ユーザの意図をスムーズに認識できなかったとしてサービスの利用料金を割り引くなどの対応がとられる場合がある。しかしながら、一方で、ユーザが、利用料金の割引を目的として、故意に車両100の到達を遅らせようとするケースも想定される。
本実施形態では、ユーザが真剣に自身の居場所を車両100に伝えようとしているケースを利用料金の割引の対象とする可能性を高め、ユーザが故意に車両100の認識を遅らせようとするケースを割引の対象としてしまう可能性を低減させることができる。
車両100の構成について説明する。
制御部120は、車両100の走行を統括的に制御し、例えば複数のECUにより実現される。なお、ここでの車両100の走行とは、車両100の運転者の関与を有する走行と運転者の関与を有さない自動運転による走行を含む。
外界認識部121は、外界認識用カメラ及び外界認識用センサからの信号に基づいて、車両100の外界情報を認識する。ここで、外界認識用カメラは、カメラ群145に含まれ、車両100の周囲を撮影するカメラである。また、外界認識用センサは、センサ群144に含まれ、車両100の周囲の物体を検知したり、物体との距離を測距する例えばLIDAR(Light Detection and Ranging)である。外界認識部121は、外界認識用カメラ及び外界認識用センサからの信号に基づいて、例えば、交差点や踏切、トンネル等のシーン、路肩等のフリースペース、他車両の挙動(速度や進行方向等)を認識する。
自己位置認識部122は、センサ群144に含まれるGPSセンサからの信号に基づいて車両100の現在位置を認識する。
車内認識部123は、車内認識用カメラ及び車内認識用センサからの信号に基づいて、車両100の搭乗者を識別し、また、搭乗者の状態を認識する。車内認識用カメラは、カメラ群145に含まれ、例えば、通知部146に含まれる表示装置上に設置された近赤外カメラである。車内認識部123は、例えば、撮影された画像データから搭乗者の視線の方向を検出する。また、車内認識用センサは、センサ群144に含まれ、例えば、搭乗者の生体信号を検知し生体情報を取得するためのセンサである。生体情報とは、例えば、脈拍、心拍数、体重、体温、血圧、発汗、睡眠情報といった生体に関わる情報である。車内認識用センサは、そのような生体に関わる情報を例えば搭乗者のウエアラブルデバイスから取得するようにしても良い。車内認識部123は、それらの信号に基づいて、搭乗者の居眠り状態、運転以外の作業中の状態、であることなどを認識する。
行動計画部124は、外界認識部121、自己位置認識部122による認識の結果に基づいて、最適経路、リスク回避経路など、車両100の行動を計画する。行動計画部124は、例えば、交差点や踏切等の開始点や終点に基づく進入判定、他車両の挙動の予測結果に基づく行動計画を行う。駆動制御部125は、行動計画部124による行動計画に基づいて、駆動部141、制動部142、操舵部143を制御する。ここで、駆動部141は、例えば、車両100の駆動輪を回転させる駆動力を出力するパワープラントに対応し、制動部142は、ブレーキ装置に対応する。また、操舵部143は、ステアリングホイールに対する運転者の運転操作(操舵操作)に応じて車輪を操舵する機構を含む電動パワーステアリング装置に対応する。電動パワーステアリング装置は、操舵操作をアシストしたり、あるいは、車輪を自動操舵するための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両100の運転状態が自動運転の場合、制御部120は、駆動部141、制動部142、操舵部143を自動制御し、車両100の走行を制御する。
デバイス制御部126は、制御部120に接続されるデバイスを制御する。例えば、デバイス制御部126は、スピーカ、マイクを制御し、警告やナビゲーションのためのメッセージ等、所定の音声メッセージを出力させ、車両内の搭乗者が発話した音声信号を検知して音声データを取得する。また、例えば、デバイス制御部126は、通知部146に含まれる表示装置を制御し、所定のインタフェース画面を表示させる。また、例えば、デバイス制御部126は、ナビゲーション装置を制御し、ナビゲーション装置から設定情報を取得する。
通信部147は、外部との通信可能な通信装置であり、例えば、地図情報や交通情報、気象情報を提供するサーバや、周辺の他車両との無線通信が可能である。通信部147は、複数種類の通信機能を有し、例えば、専用狭域通信(DSRC:Dedicated Short Range Communication)機能やセルラー通信機能を有する。
制御部120は、図1に示す以外の機能ブロックを適宜含んでも良く、例えば、外部のサーバから取得した地図情報に基づいて目的地までの最適経路を算出する最適経路算出部を含んでも良い。また、制御部120が、図1に示すカメラ群145やセンサ群144以外から情報を取得しても良く、例えば、通信部147を介して他の車両の情報を取得するようにしても良い。
制御部110は、本実施形態における車両100の動作を実現するための制御部110であり、記憶部130と制御部120と相互に通信可能である。制御部110は、プロセッサ111、メモリ112、データ処理部113、通信インタフェース(I/F)116を含む。プロセッサ111は、メモリ112もしくは記憶部130などのコンピュータ読取可能な記憶媒体に記憶されたプログラムを読み出して実行することにより、制御部110を統括的に制御する。本実施形態における車両110の動作は、例えば、プロセッサ111による上記のプログラムの実行により実現される。
データ処理部113は、携帯端末200から受信した音声データ、画像データを処理する処理部を含む。音声データ処理部114は、携帯端末200から受信した音声データに基づいて特徴を抽出し、その特徴量に基づいて音声認識を行う。ここでの音声データは、例えば、携帯端末200のマイク205に対してユーザが発した音声信号が通信データに変換されたものである。また、音声データ処理部114は、携帯端末200のユーザに対して通知する音声データを生成する。その場合に生成される音声データは、所定のフォーマットに従った音声データと、携帯端末200から受信した音声データの音声認識結果に基づいて生成された音声データを含む。画像データ処理部115は、車両100のカメラにより撮影された車両100の周辺画像の撮影データに基づいて特徴を抽出し、その特徴量に基づいて画像認識を行う。データ処理部113は、音声データ処理部114、画像データ処理部115以外のブロックを含んでも良い。例えば、テキストデータ等、携帯端末200のユーザと車両100のインタラクション通信に用いられる他の種類のデータを処理するブロックや、携帯端末200の表示部204に表示させるためのユーザインタフェース画面を生成するブロックを含んでも良い。
通信I/F116は、ネットワーク400を介して他の装置との通信を実現するためのインタフェースである。例えば、通信I/F116は、ネットワーク400を介した携帯端末200との通信を実現する。記憶部130は、本実施形態の動作を実現するためのプログラム等を記憶し、例えば、携帯端末200から受信した情報をサーバ300に送信するためのプログラムや、携帯端末200のユーザと車両100のインタラクション通信を実行するためのプログラムを記憶する。車両100は、図1に示すブロック構成に限られず、他のブロックを適宜含み得る。
携帯端末200は、例えばスマートフォンやタブレット型の情報処理端末であり、プロセッサ201、メモリ202を含む。本実施形態の携帯端末200の動作は、例えば、プロセッサ201がメモリ202に記憶されたプログラムを実行することにより実現される。通信I/F203は、ネットワーク400を介して他の装置との通信を実現するためのインタフェースである。表示部204は、例えばタッチパネルであり、各種のユーザインタフェース画面を表示するとともに、ユーザ操作を受付可能である。マイク205は、携帯端末200のユーザが発する音声を受け付ける。スピーカ206は、携帯端末200のユーザに対して音声通知を行う。携帯端末200は、図1に示すブロック構成に限られず、他のブロックを適宜含み得る。例えば、携帯端末200は、外部を撮影可能なカメラを含んでも良い。
サーバ300は、例えばPC等の汎用的な情報処理装置として構成され、プロセッサ301、メモリ302、通信I/F303、記憶部304を含む。本実施形態のサーバ300の動作は、例えば、プロセッサ301がメモリ302や記憶部304のコンピュータ読取可能な記憶媒体に記憶されたプログラムを実行することにより実現される。通信I/F303は、ネットワーク400を介して他の装置との通信を実現するためのインタフェースである。記憶部304は、配車サービスを実現するためのプログラム及びデータや、携帯端末200がダウンロード可能なアプリケーションなどを記憶する。配車サービスを実現するためのデータとして、例えば、配車の対象となる各車両の稼働情報および位置情報が記憶されている。また、記憶部304は、携帯端末200などユーザに対応する機器を介して登録されたユーザ情報を記憶する。また、記憶部304は、地図情報、交通情報、気象情報等のデータベースを構成する。
サーバ300は、図1に示すブロック構成に限られず、他のブロックを適宜含み得る。また、サーバ300は、説明上、1つのサーバとして示されているが、複数のサーバ装置として構成されても良い。また、サーバ300の構成の一部が車両100に含まれても良い。例えば、地図情報などのデータベースが車両100の記憶部130に構成されても良いし、後述する評価の処理を車両100の制御部110で実行可能としても良い。また、車両100の構成の一部がサーバ300に含まれても良い。例えば、音声データ処理部114、画像データ処理部115がサーバ300に構成されても良い。
図2は、図1のシステム構成における配車サービスの流れを示す図である。図2のシーケンスが開始される前に、サーバ300に携帯端末200のユーザのユーザ情報が登録されている。
S101において、携帯端末200は、ユーザ指示により、サーバ300の配車サービスのアプリケーションを起動し、所定のIDとパスワードによりログインする。アプリケーションの起動は、サーバ300から予めダウンロードされていたものがクリック操作等により起動されても良いし、サーバ300に対応するURLが指定されることにより起動されても良い。アプリケーションの起動後、携帯端末200は、ユーザ指示により、アプリケーション上で予約画面を開き、配車の予約を行う。配車の予約は、例えば、「10月20日 15:00 A市B丁目」のように行われる。住所の指定は、例えば地図上でのユーザ指定により行われても良い。アプリケーション上で予約情報が確定されると、携帯端末200は、確定した予約情報をサーバ300に送信する。
S102において、サーバ300は、携帯端末200から予約情報を受信すると、その予約情報に基づいて配車を計画する。S102の配車計画では、例えば、予約情報で指定された日時及び場所において配車が可能であるか否かの判断が行われる。配車計画において配車が可能であると判定された場合、S103において、サーバ300は、予約情報で指定された日時及び場所に配車する車両100を決定し、予約確定の通知情報を携帯端末200に対して送信する。配車する車両100は、例えば、稼動可能な複数の車両のうち、予約日時の場所に最も近い場所に位置する車両が決定される。配車計画において配車が可能でないと判定された場合、S103において、サーバ300は、予約情報に基づく配車は不可であることを示す通知情報を携帯端末200に対して送信し、図2の処理を終了する。以下、S103で予約確定の通知情報が送信されたとして説明する。
ユーザは、携帯端末200で予約確定の通知情報をサーバ300から受信したことを確認すると、予約情報で指定した日時に、予約情報で指定した場所に赴き、携帯端末200から配車依頼を行う。なお、本実施形態では、S101で予約を行う機器とS104で配車依頼を行う機器とを同じ携帯端末200としているが異なっていても良い。例えば、S101及びS103の処理は、携帯端末200と異なるPCにおいて実行されても良い。
S104において、携帯端末200は、ユーザ指示により、上述のようにサーバ300の配車サービスのアプリケーションを起動し、アプリケーション画面上で配車依頼をサーバ300に対して送信する。S105において、サーバ300は、配車依頼を受信すると、S102で決定した車両100に対して、予約情報で指定された場所に向かうよう指示する。
S106において、サーバ300から指示された車両100は、現在の車両100の位置から、指定された場所までの経路を計画する。なお、サーバ300から指示された時点での車両100は、他のユーザによる配車サービスの利用により道路を走行中である場合や、配車サービスの待機中である場合がある。S107において、車両100は、S106で計画された経路に基づいて、指定された場所を目的地として走行を開始する。S108において、車両100は、指定された目的地までの所定範囲に達すると、ユーザが待機する場所に到達するため、ユーザとのインタラクション通信を開始する。
S109において、ユーザと車両100との間でインタラクション通信が実行される。なお、本実施形態では、インタラクション通信は、音声により行われる。インタラクション通信は、例えば、ユーザ近傍にある建物等の目印の発見と、ユーザ自身の発見の2段階に分けて行われる。例えば、ユーザは、自身の近傍にある建物などの目印となる情報を音声で伝え、車両100は、その音声情報に基づき、目印の発見を試みる。発見できなかった場合には、車両100は、さらなる情報の提供をユーザに要求する。一方、目印を発見できた場合には、車両100は、発見できたことをユーザに通知し、ユーザ自身の情報の提供をユーザに要求する。ユーザは、自身の情報(服の色等)を音声で伝え、車両100は、ユーザの発見を試みる。発見できなかった場合には、車両100は、さらなる情報の提供をユーザに要求する。一方、ユーザを発見できた場合には、車両100は、発見できたことをユーザに通知し、路肩のスペースなどの停止可能な位置で停止する(S110)。
S110で車両100が停止すると、S111において、ユーザは車両100に乗車し、携帯端末200のアプリケーションを介して乗車したことを示す情報をサーバ300に送信する。乗車したことを示す情報の送信は、アプリケーション画面上での所定のボタンの押下により行われても良い。ユーザが車両100に乗車後、ユーザの所望の目的地までの走行が開始される。
サーバ300は、ユーザが車両100に乗車したことを示す情報を受信すると、S112において、ユーザと車両100の間のインタラクション通信においてユーザから発信された情報を評価する。S112での評価については後述する。S113において、サーバ300は、S112での評価結果に基づいてユーザに対する課金を行う。また、本実施形態では、S112及びS113の処理がサーバ300で実行されるものとして説明するが、それらの少なくともいずれかの処理が車両100の制御部110で実行されるようにしても良い。
図3は、S109のインタラクション通信の処理を示すフローチャートである。図3の処理は、例えば、プロセッサ111がメモリ112に記憶されたプログラムを実行することにより実現される。図3の処理は、図2のS107において車両100の走行を開始すると開始される。
S201において、プロセッサ111は、S105でサーバ300から指示された場所までの所定距離内に達したか否かを判定する。例えば、プロセッサ111は、S106で計画した経路に基づいて判定を行っても良いし、指示された場所を中心とする半径が所定距離内に領域に達したか否かに基づいて判定を行っても良い。所定距離内に達していないと判定された場合、S201の処理を繰り返し、所定距離内に達していると判定された場合、S202に進む。
S202において、プロセッサ111は、音声データ処理部114により、携帯端末200のユーザとのインタラクション通信を開始する。例えば、プロセッサ111は、「まもなく依頼場所に到着します。近くの目印を教えて下さい。」といったインタラクション通信の開始メッセージを示す音声データを生成し、携帯端末200に送信する。なお、そのようなメッセージは、テキストデータでも良く、本実施形態では、音声データを一例として説明する。携帯端末200のユーザは、上記のメッセージによる通知を受信すると、自身の近傍にある目印となるものの特徴を音声によりマイク205に入力する。
図9の上段は、ユーザがマイク205により入力したメッセージの一例を示している。例えば、ユーザは、自身が黄色い建物の前に立っている場合には、「黄色い建物の前にいます。」といった音声をマイク205に入力する。携帯端末200のプロセッサ201は、入力された音声信号を音声データとして車両100に送信する。
S203において、プロセッサ111は、音声データ処理部114により、通信I/F116を介して受信した音声データの特徴を抽出し、その特徴量に基づいて音声認識を行う。例えば、上記のユーザの音声を表す音声データから特徴として「黄色い建物」を抽出する。ここで抽出された特徴は、メモリ112に記憶され、S112の評価の処理で用いられる。
S204において、プロセッサ111は、画像データ処理部115により、S203で抽出された特徴に基づいて、その特徴を表す目標物を検索する。プロセッサ111は、車両100のカメラ群145により撮像された周辺の画像データに基づいて、特徴を有するオブジェクトを目標物候補として検索する。
S205において、プロセッサ111は、目標物が発見されたか否かを判定する。S205では、プロセッサ111は、目標物候補が一つ検索された場合には発見されたと判定し、目標物候補が複数検索されたかもしくは目標物が検索されなかった場合には発見されなかったと判定する。このような判定は、他の方法により行われても良い。例えば、目標物候補が複数検索されたとしても、それらが近接している場合にはそれらを一つとみなし、発見されたと判定しても良い。S205で発見されたと判定された場合、S207に進み、発見されなかったと判定された場合、S206に進む。
S206において、プロセッサ111は、音声データ処理部114により、目標物についての問合せを示すメッセージを生成し、携帯端末200に送信する。
図4は、S206の問合せの処理を示すフローチャートである。図4の処理の開始前には、S206の処理の実行回数(問合せ回数)を示す変数がメモリ112に確保されており、0回に初期化されている。S301において、プロセッサ111は、問合せ回数をインクリメントする。S205でNoと判定され、最初にS206の処理が実行される場合、問合せ回数は「1」にインクリメントされる。
S302において、プロセッサ111は、音声データ処理114により、目標物についての問合せを示すメッセージを生成する。
図9の中段は、問合せの一例を示している。S205で「黄色い建物」の特徴を有するオブジェクトをカメラ群145により撮像された周辺の画像データで認識できなかった場合、目標物についての問合せを示すメッセージが生成される。そのようなメッセージとして、例えば「すみません。黄色い建物は見つかりません。他の情報をください。」のメッセージが生成される。なお、S205で「黄色い建物」の特徴を有するオブジェクトが画像データ上で複数検索された場合にも、上記のメッセージが生成される。
S303において、プロセッサ111は、S302で生成されたメッセージを携帯端末200に送信する。
携帯端末200のユーザは、上記のメッセージによる通知を受信すると、自身の近傍にある他の目印となるものの特徴を音声によりマイク205に入力する。例えば、携帯端末200のユーザに対して「すみません。黄色い建物は見つかりません。他の情報をください。」のメッセージが通知された場合、ユーザは、「黄色い建物は交差点にあります。」といった音声をマイク205に入力する。携帯端末200のプロセッサ201は、入力された音声信号を音声データとして車両100に送信する。
S304において、プロセッサ111は、音声データ処理部114により、通信I/F116を介して受信した音声データの特徴を抽出し、その特徴量に基づいて音声認識を行う。例えば、上記のユーザの音声を表す音声データから特徴として「交差点」を抽出する。ここで抽出された特徴量は、メモリ112に記憶され、S112の評価の処理で用いられる。
S304の後、図4の処理を終了し、図3のS204から繰り返す。上記の例では、S206からS204に進んだ場合、S304で抽出された特徴「交差点」に基づいて、その特徴を表す目標物を検索し、S205の判定が行われる。S205で発見されたと判定された場合、プロセッサ111は、車両100を目標物の近傍に移動させるよう制御部120に要求する。
S207において、プロセッサ111は、車両100が目標物の近傍まで移動したか否かを判定する。S207の判定は、車両100が目標物の近傍まで移動したと判定されるまで繰り返される。目標物の近傍まで移動したと判定された場合、S208に進む。
S208において、プロセッサ111は、音声データ処理部114により、目標物の近傍まで移動したことを示すメッセージを生成し、携帯端末200に送信する。例えば、プロセッサ111は、「黄色い建物に到着しました。あなたの特徴を教えて下さい。」といったメッセージを生成する。また、S206の問合せの処理を介さずに目標物の近傍まで移動した場合と、S206の問合せの処理を介して目標物の近傍まで移動した場合との間で生成されるメッセージを異ならせても良い。例えば、S206の問合せの処理を介して目標物の近傍まで移動した場合には、図9の下段に示すような「遅くなりましてすみません、今、やっと黄色い建物がどれなのかわかりました。」のようなメッセージと、「あなたの特徴を教えて下さい。」のメッセージを生成するようにしても良い。
携帯端末200のユーザは、上記のメッセージによる通知を受信すると、自身の特徴を音声によりマイク205に入力する。例えば、ユーザは、「青い服を着ています。」といった音声をマイク205に入力する。携帯端末200のプロセッサ201は、入力された音声信号を音声データとして車両100に送信する。S209において、プロセッサ111は、音声データ処理部114により、通信I/F116を介して受信した音声データの特徴を抽出し、その特徴量に基づいて音声認識を行う。例えば、上記のユーザの音声を表す音声データから特徴として「青い服」を抽出する。ここで抽出された特徴は、メモリ112に記憶され、S112の評価の処理で用いられる。
S210において、プロセッサ111は、画像データ処理部115により、S209で抽出された特徴に基づいて、その特徴を表すユーザを検索する。プロセッサ111は、車両100のカメラ群145により撮像された周辺の画像データに基づいて、特徴を有するオブジェクトを目標物候補として検索する。
S211において、プロセッサ111は、ユーザが発見されたか否かを判定する。S211で発見されたと判定された場合、S213に進み、発見されなかったと判定された場合、S212に進む。
S212の問合せの処理について、図4を参照しながら説明する。なお、問合せ回数については、現時点までの値が、メモリ112に確保されている変数領域に格納されている。
S301において、プロセッサ111は、問合せ回数をインクリメントする。S302において、プロセッサ111は、音声データ処理114により、ユーザについての問合せを示すメッセージを生成する。例えば「他の特徴を教えてください。」といったメッセージが生成される。
S303において、プロセッサ111は、S302で生成されたメッセージを携帯端末200に送信する。
携帯端末200のユーザは、上記のメッセージによる通知を受信すると、他の特徴を音声によりマイク205に入力する。例えば、ユーザは、「茶色い鞄を持っています。」といった音声をマイク205に入力する。その際、自身の特徴でなく、近傍の物体の特徴を入力するようにしても良い。例えば、ユーザは、「電柱の横にいます。」といった音声をマイク205に入力しても良い。携帯端末200のプロセッサ201は、入力された音声信号を音声データとして車両100に送信する。
S304において、プロセッサ111は、音声データ処理部114により、通信I/F116を介して受信した音声データの特徴を抽出し、その特徴量に基づいて音声認識を行う。例えば、上記のユーザの音声を表す音声データから特徴として「茶色い鞄」を抽出する。ここで抽出された特徴は、メモリ112に記憶され、S112の評価の処理で用いられる。
S304の後、図4の処理を終了し、図3のS210から繰り返す。上記の例では、S212からS210に進んだ場合、S304で抽出された特徴「茶色い鞄」に基づいて、その特徴を表す目標物を検索し、S211の判定が行われる。なお、S210の処理が行われる時点においては、ユーザが車両100から死角となる位置にいることは想定し難いので、S206でメモリ112に蓄積されている特徴を用いずに判定するようにしても良い。
S211で発見されたと判定された場合、S213において、プロセッサ111は、車両100をユーザの近傍で停止させるよう制御部120に要求する。S213で車両100が停止させる処理は、図2のS110に対応する。プロセッサ111は、車両100の停止時刻をメモリ112に記憶する。
S214において、プロセッサ111は、車両100の周辺の画像をカメラ群145により撮影するよう制御部120に要求する。S214で撮影された画像データは、記憶部130等の記憶領域に格納され、S112の評価の処理において用いられる。そのため、車両100の周囲360度に渡って撮影されるようにする。S214の後、図3の処理を終了する。
次に、S112の評価の処理について説明する。
図5及び図6は、S112の評価の処理を示すフローチャートである。図5及び図6の処理は、例えば、サーバ300のプロセッサ301がメモリ302に記憶されたプログラムを実行することにより実現される。
S401において、プロセッサ301は、車両100から、メモリ112に記憶された問合せ回数を取得する。S402において、プロセッサ301は、問合せ回数が所定値以上であるか否かを判定する。所定値以上でないと判定された場合、図5及び図6の処理を終了し、S113の課金の処理が行われる。なお、その際に行われる課金では、サーバ300の登録されたユーザが通常、配車サービスを利用する際の料金が適用される。一方、所定値以上であると判定された場合、S403に進む。
S403において、プロセッサ301は、車両100から、図3のS214で取得された画像データを取得する。そして、S404において、プロセッサ301は、車両100から、メモリ112に記憶された特徴を取得する。ここでの特徴は、S203、S209、S304で抽出された特徴である。
S405において、プロセッサ301は、S404で取得された特徴の一つに着目し、その特徴は、S403で取得された画像データ内で特定されるオブジェクトの特徴と対応するかを分析する。そして、S406において、プロセッサ301は、S405で着目された特徴は真の特徴であるか否かを判定する。例えば、「黄色い建物」を特徴として有するオブジェクトが画像データ内で特定された場合、その特徴は真の特徴であると判定する。その場合、S407において、プロセッサ301は、その特徴に対して「真」を表すフラグを付加する。一方、例えば、「黄色い建物」を特徴として有するオブジェクトが画像データ内で特定されなかった場合、その特徴は偽の特徴量であると判定する。その場合、S408において、プロセッサ301は、その特徴に対して「偽」を表すフラグを付加する。S407及びS408の後、S409に進む。
S409において、プロセッサ301は、S404で取得された特徴のすべてについてS405~S408の処理が実行された否かを判定する。すべての特徴について処理が実行されていないと判定された場合、S410において、プロセッサ301は、次の特徴に着目し、S405からの処理を繰り返す。一方、すべての特徴について処理が実行されたと判定された場合、図6のS421に進む。
S421において、プロセッサ301は、S405~S408で処理が実行された特徴のすべては真の特徴であるか否かを判定する。例えば、プロセッサ301は、特徴のすべてに対して「真」を表すフラグが付加されているか否かを判定する。特徴のすべてに対して「真」を表すフラグが付加されていると判定された場合、S422に進む。一方、特徴のすべてに対して「真」を表すフラグが付加されていない、即ち、「偽」を表すフラグが付加されている特徴があると判定された場合、S425に進む。
S422において、プロセッサ301は、除外対象の特徴があるか否かを判定する。ここで、除外対象の特徴とは、インタラクション通信において抽出された特徴を有するオブジェクトが画像データ内で特定された場合であっても、その特定されたオブジェクトが、予約情報で指定された場所には明らかにないと判断可能な特徴量である。例えば、予約情報で指定された場所が市街であるとする。そして、特定されたオブジェクトが遠方且つ上方に見える山などの場合には、その特徴は除外対象の特徴であると認識する。例えば、プロセッサ301は、記憶部304にデータベースとして構成された地図情報を参照して、「真」を表すフラグが付加されている特徴を有するオブジェクトの位置を推定する。そして、プロセッサ301は、その推定された位置が予約情報で指定された場所から所定距離分離れているといった条件を満たしているのであれば、S424において、その特徴に対して「偽」を表すフラグを付加する。S424の後、S425に進む。S422で除外対象の特徴がないと判定された場合、S423に進む。
S423において、プロセッサ301は、携帯端末200のユーザについて評価フラグを付与する。ここでの評価フラグとは、当該ユーザについて割引の対象とすることを表すフラグである。S423の後、図5及び図6の処理を終了し、S113の課金の処理が行われる。
以上のように、インタラクション通信において所定回数以上の問合せが行われた場合であって、携帯端末200のユーザからの音声データから抽出された特徴がすべて、画像データ内で特定されるオブジェクトの特徴に対応するものである場合、当該ユーザを割引の対象とする。例えば、ユーザが市街の煩雑な場所で配車依頼を行っていた場合、周りには様々な紛らわしい目印があったり死角が多かったりするようなケースが想定される。そのような場合であっても、ユーザが真剣に自身の場所を伝えようとしているのであれば、その配車依頼の場所周辺の画像データの中で、ユーザが伝えようとしている特徴はすべて特定される(言い換えれば一致する)はずである。本実施形態では、そのような場合には、ユーザの真剣さが高いとして、当該ユーザを割引の対象とすることができる。また、ユーザが故意に、配車依頼を行っている場所から見えていないものもしくは見えていても明らかにその場所から離れているようなものの特徴を伝えているケースを割引対象から除外することができる。
S425において、プロセッサ301は、S405~S408で処理が実行された特徴のうち、「偽」を表すフラグが付加された特徴の割合が閾値以下であるか否かを判定する。閾値以下でないと判定された場合、図5及び図6の処理を終了する。つまり、その場合、当該ユーザを割引の対象としない。S425で「偽」を表すフラグが付加された特徴の割合が閾値以下であると判定された場合、S426に進む。
S426において、プロセッサ301は、「偽」を表すフラグが付加された特徴について類似性判断を行う。例えば、プロセッサ301は、「偽」を表すフラグが付加された特徴の特徴量が所定範囲内のオブジェクトが画像データ内で特定されるかを分析する。そして、S427において、プロセッサ301は、「偽」を表すフラグが付加された特徴と類似性のある特徴を有するオブジェクトが特定されたか否かを判定する。類似性のある特徴を有するオブジェクトが特定された場合、S423において、携帯端末200のユーザについて評価フラグが付与される。例えば形状についての類似性であり、円形と楕円形といった、曲率が所定範囲内のものを類似性があると判断する。また、例えば色度についての類似性であり、彩度や輝度が所定範囲内のものを類似性があると判断する。
例えば、ユーザの周りに様々な紛らわしい目印があるような状況においては、ユーザの見間違えが生じる可能性がある。本実施形態では、そのようなケースを考慮し、「偽」を表すフラグが付加された特徴が一定程度あったとしても、類似性が認められる場合には、ユーザの真剣さが高いとして、当該ユーザを割引の対象とすることができる。
S427で類似性のある特徴を有するオブジェクトが特定されなかった場合、図5及び図6の処理を終了する。つまり、その場合、当該ユーザを割引の対象としない。
S425では、「偽」を表すフラグが付加された特徴が一定程度あったとしても、類似性が認められる場合には、ユーザの真剣さが高いとして、当該ユーザを割引の対象とすることができることを説明した。ここで、S425の閾値を、評価フラグの付与回数に応じて変更するようにしても良い。
図8は、評価フラグの付与回数に応じてS425の閾値を変更する処理を示すフローチャートである。図8の処理は、例えば、プロセッサ301がメモリ302に記憶されたプログラムを実行することにより実現される。図8の処理は、例えば、S112の評価が行われた後に実行される。また、サーバ300は、記憶部304に記憶されるユーザ情報として、評価フラグの付与回数を蓄積している。
S601において、プロセッサ301は、当該ユーザについて、評価フラグの付与回数が所定値以上であるか否かを判定する。所定値以上でないと判定された場合、図8の処理を終了する。一方、所定値以上であると判定された場合、S602に進む。
S602において、プロセッサ301は、S425で用いられる閾値を所定分、大きくする。S602の後、図8の処理を終了する。このように、真剣さが顕著なユーザに対しては、割引の対象となる可能性をより大きくすることができる。
図7は、S113の課金の処理を示すフローチャートである。図7の処理は、例えば、プロセッサ301がメモリ302に記憶されたプログラムを実行することにより実現される。
S501において、プロセッサ301は、車両100から、S213で停止した時刻を、予約情報で指定された場所に到着した時刻として取得する。そして、プロセッサ301は、車両100から取得した時刻が予約情報で指定された時刻以降である場合、その遅れが所定時間内であるか否かを判定する。遅れが所定時間内であると判定された場合、S504に進み、課金処理が行われる。例えば、交通事情等を考慮した所定時間内の遅れである場合には、本実施形態の割引の対象とせず、通常の課金が行われる。一方、遅れが所定時間内でないと判定された場合、S502に進む。
また、S501の判定の条件を以下のようにしても良い。例えば、図3のS201で所定距離内であると判定された場合、プロセッサ111は、そのときの時刻をメモリ112等に記憶する。その際、プロセッサ111は、経路情報や交通情報に基づいて、その時の車両100の位置から指定場所までの到着時刻(もしくは所要時間)を推定するようにしても良い。そして、S501では、推定時刻とS213で記憶された実際の到達時刻とに基づいて、その差分が所定時間内の遅れであるか否かを判定するようにし、所定時間内の遅れでない場合にS502に進むようにしても良い。また、上記の構成において、S105で指示を受信したときに、プロセッサ111は、経路情報や交通情報に基づいて、その時の車両100の位置から指定場所までの到着時刻を推定するようにしても良い。
S502において、プロセッサ301は、携帯端末200のユーザについて、S423で評価フラグが付与されているか否かを判定する。評価フラグが付与されていないと判定された場合、S504に進み、課金処理が行われる。即ち、その場合、当該ユーザは割引の対象とされず、通常の課金が行われる。一方、評価フラグが付与されていると判定された場合、S503に進む。
S503において、プロセッサ301は、携帯端末200のユーザについて割引率を決定する。ここでの割引率は、所定の割引率であっても良いし、評価フラグの付与回数に応じて割引率を変更するようにしても良い。例えば、評価フラグの付与回数が所定回数以上であれば、割引率が大きくなるようにしても良い。また、その所定回数について複数段階設けるようにし、評価フラグの付与回数が大きくなるほどに、割引率が大きくなるようにしても良い。
S504において、プロセッサ301は、携帯端末200のユーザについて課金処理を行う。例えば、課金処理として、ユーザのメールアドレスに対する請求額の通知の送信などが行われる。また、S503で割引率が決定されている場合には、その割引率が課金処理に適用される。S504の後、図7の処理を終了する。
以上のように、本実施形態によれば、配車サービスのインタラクション通信におけるユーザの真剣さを判断する。そして、その判断結果に基づいて割引が行われる。そのような構成により、車両100の遅れが所定時間以上である場合の割引対象となるユーザを適切に絞ることができる。また、本実施形態では、S503において割引率を決定することを説明したが、割引率の決定以外の処理であっても良い。例えば、次回の配車依頼の優先度を上げるといった処理でも良い。
本実施形態においては、車両100を自動運転車両として説明した。しかしながら、車両100は自動運転車両に限られるものではなく、乗員が搭乗しないマイクロモビリティや自律移動型ロボットが車両100として用いられても良い。そのような構成であっても、本実施形態における効果と同様の効果を奏する。
<実施形態のまとめ>
上記実施形態の制御システムは、ユーザからの配送依頼に応じて、前記配送依頼で指定された指定場所まで移動体を走行させる走行制御手段(120)と、前記指定場所に到達する前に、前記ユーザが保持する携帯端末を介して、前記ユーザと前記移動体の間でのインタラクション通信を行う通信手段(110)と、前記インタラクション通信の結果、前記指定場所に到達した後、撮像手段により前記指定場所の周辺が撮像された画像データを取得する取得手段(110、145)と、前記取得手段により取得された前記画像データに基づいて、前記インタラクション通信において前記ユーザから発信された情報を評価する評価手段(300)とを備える。
そのような構成により、インタラクション通信においてユーザから発信された情報を評価することができる。
また、制御システムは、前記携帯端末から受信したデータに基づいて前記ユーザから発信された情報を認識する認識手段(113)、をさらに備える。前記認識手段は、前記携帯端末から受信した音声データに基づいて、前記ユーザから発信された情報を認識する。
そのような構成により、インタラクション通信においてユーザから発信された音声情報を評価することができる。
また、前記評価手段は、前記ユーザから発信された情報と、前記画像データから抽出された情報との一致に基づいて、前記ユーザから発信された情報を評価する。前記評価手段は、前記ユーザに対する課金処理において割引を行うか否かを評価する(図5、図6)。
そのような構成により、インタラクション通信においてユーザから発信された情報に基づいて、該ユーザを割引の対象とするか否かを評価することができる。
また、前記情報は、特徴を表す情報であり、前記評価手段は、前記ユーザから発信された特徴がすべて、前記画像データから抽出された特徴と一致した場合、前記課金処理において割引を行うと評価する(図5、図6)。前記評価手段は、前記ユーザから発信された特徴が前記画像データから抽出された特徴と一致した割合が閾値以上である場合、前記課金処理において割引を行うと評価する(図5、図6)。
そのような構成により、移動体が指定場所に到着したときの周辺の撮影画像に基づいて、ユーザから発信された情報を評価することができる。
また、前記ユーザから発信された特徴のうち前記一致しなかった特徴が前記画像データから抽出された特徴と類似している場合、前記評価手段は、前記課金処理において割引を行うと評価する(図6)。また、前記評価手段はさらに、前記ユーザから発信された特徴のうち前記一致しなかった特徴が前記画像データから抽出された特徴と類似しているか否かを判定し、前記評価手段は、当該判定の結果に基づいて、前記課金処理において割引を行うと評価する。前記類似は、形状、色の少なくともいずれかについての類似である。
そのような構成により、ユーザの見間違え等を考慮した評価を行うことができる。
また、制御システムは、前記評価手段により前記課金処理において割引を行うと評価された回数を蓄積する記憶手段と、前記回数が所定値以上となった場合、前記閾値を変更する変更手段とをさらに備える。
そのような構成により、情報を正確に伝えるモチベーションを向上させることができる。また、前記評価手段による評価は、前記移動体の前記指定場所への到着が条件を満たす場合に行われる。前記条件は、前記移動体の前記指定場所への到着が、推定された所要時間より遅れた場合を含む。前記所要時間は、前記移動体の位置と前記指定場所とに基づいて推定される。そのような構成により、移動体が指定場所に遅れて到着した場合に、ユーザから発信された情報の評価を行うことができる。
また、前記制御システムは、前記移動体に搭載されている。
そのような構成により、移動体において、インタラクション通信においてユーザから発信された情報を評価するシステムを構築することができる。
発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

Claims (17)

  1. ユーザからの配送依頼に応じて、前記配送依頼で指定された指定場所まで移動体を走行させる走行制御手段と、
    前記指定場所に到達する前に、前記ユーザが保持する携帯端末を介して、前記ユーザと前記移動体の間でのインタラクション通信を行う通信手段と、
    前記インタラクション通信の結果、前記指定場所に到達した後、撮像手段により前記指定場所の周辺が撮像された画像データを取得する取得手段と、
    前記取得手段により取得された前記画像データに基づいて、前記インタラクション通信において前記ユーザから発信された情報を評価する評価手段と、
    を備えることを特徴とする制御システム。
  2. 前記携帯端末から受信したデータに基づいて前記ユーザから発信された情報を認識する認識手段、をさらに備えることを特徴とする請求項1に記載の制御システム。
  3. 前記認識手段は、前記携帯端末から受信した音声データに基づいて、前記ユーザから発信された情報を認識することを特徴とする請求項2に記載の制御システム。
  4. 前記評価手段は、前記ユーザから発信された情報と、前記画像データから抽出された情報との一致に基づいて、前記ユーザから発信された情報を評価することを特徴とする請求項1に記載の制御システム。
  5. 前記評価手段は、前記ユーザに対する課金処理において割引を行うか否かを評価することを特徴とする請求項4に記載の制御システム。
  6. 前記情報は、特徴を表す情報であり、
    前記評価手段は、前記ユーザから発信された特徴がすべて、前記画像データから抽出された特徴と一致した場合、前記課金処理において割引を行うと評価する、
    ことを特徴とする請求項5に記載の制御システム。
  7. 前記評価手段は、前記ユーザから発信された特徴が前記画像データから抽出された特徴と一致した割合が閾値以上である場合、前記課金処理において割引を行うと評価する、
    ことを特徴とする請求項5に記載の制御システム。
  8. 前記ユーザから発信された特徴のうち前記一致しなかった特徴が前記画像データから抽出された特徴と類似している場合、前記評価手段は、前記課金処理において割引を行うと評価することを特徴とする請求項7に記載の制御システム。
  9. 前記評価手段はさらに、前記ユーザから発信された特徴のうち前記一致しなかった特徴が前記画像データから抽出された特徴と類似しているか否かを判定し、
    前記評価手段は、当該判定の結果に基づいて、前記課金処理において割引を行うと評価する、
    ことを特徴とする請求項8に記載の制御システム。
  10. 前記類似は、形状、色の少なくともいずれかについての類似であることを特徴とする請求項8に記載の制御システム。
  11. 前記評価手段により前記課金処理において割引を行うと評価された回数を蓄積する記憶手段と、
    前記回数が所定値以上となった場合、前記閾値を変更する変更手段と、
    をさらに備えることを特徴とする請求項7に記載の制御システム。
  12. 前記評価手段による評価は、前記移動体の前記指定場所への到着が条件を満たす場合に行われることを特徴とする請求項1に記載の制御システム。
  13. 前記条件は、前記移動体の前記指定場所への到着が、推定された所要時間より遅れたことを含むことを特徴とする請求項12に記載の制御システム。
  14. 前記所要時間は、前記移動体の位置と前記指定場所とに基づいて推定されることを特徴とする請求項13に記載の制御システム。
  15. 前記制御システムは、前記移動体に構成されていることを特徴とする請求項1に記載の制御システム。
  16. 制御システムにおいて実行される制御方法であって、
    ユーザからの配送依頼に応じて、前記配送依頼で指定された指定場所まで移動体を走行させる走行制御工程と、
    前記指定場所に到達する前に、前記ユーザが保持する携帯端末を介して、前記ユーザと前記移動体の間でのインタラクション通信を行う通信工程と、
    前記インタラクション通信の結果、前記指定場所に到達した後、撮像手段により前記指定場所の周辺が撮像された画像データを取得する取得工程と、
    前記取得工程において取得された前記画像データに基づいて、前記インタラクション通信において前記ユーザから発信された情報を評価する評価工程と、
    を有することを特徴とする制御方法。
  17. 請求項1乃至14のいずれか1項に記載の制御システムの各手段としてコンピュータを機能させるためのプログラム。
JP2023044638A 2022-03-24 2023-03-20 制御システム、制御方法およびプログラム Active JP7560593B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/703,577 2022-03-24
US17/703,577 US12367773B2 (en) 2022-03-24 2022-03-24 Control system, control method, and storage medium for storing program to control the operation of a mobile device

Publications (2)

Publication Number Publication Date
JP2023143829A JP2023143829A (ja) 2023-10-06
JP7560593B2 true JP7560593B2 (ja) 2024-10-02

Family

ID=88080024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023044638A Active JP7560593B2 (ja) 2022-03-24 2023-03-20 制御システム、制御方法およびプログラム

Country Status (3)

Country Link
US (1) US12367773B2 (ja)
JP (1) JP7560593B2 (ja)
CN (1) CN116804860B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250232681A1 (en) * 2024-01-12 2025-07-17 The Boeing Company Optimized flight monitoring and turnaround handling

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019168815A (ja) 2018-03-22 2019-10-03 東芝メモリ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3991314B2 (ja) * 2002-07-19 2007-10-17 富士フイルム株式会社 画像送信装置
WO2004057271A1 (ja) * 2002-12-20 2004-07-08 Jicoux Datasystems, Inc. 画像提供装置、画像表示システム、画像提供方法、及びプログラム
US7509215B2 (en) * 2005-12-12 2009-03-24 Microsoft Corporation Augmented navigation system
JP4441887B2 (ja) * 2006-03-31 2010-03-31 株式会社デンソー 自動車用ユーザーもてなしシステム
WO2013136894A1 (ja) * 2012-03-12 2013-09-19 日産自動車株式会社 監視システム及び監視方法
JP2013253961A (ja) * 2012-05-07 2013-12-19 Denso Corp 画像表示システム
WO2015038147A1 (en) * 2013-09-13 2015-03-19 Intel Corporation Context-aware distributive taxi cab dispatching
CN103472845A (zh) * 2013-09-25 2013-12-25 杨伟 自动驾驶汽车控制系统
US9805605B2 (en) * 2015-08-12 2017-10-31 Madhusoodhan Ramanujam Using autonomous vehicles in a taxi service
JP2017156511A (ja) 2016-03-01 2017-09-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6780625B2 (ja) * 2017-10-26 2020-11-04 トヨタ自動車株式会社 自動運転車両の配車システム、及び自動運転車両
JP6731006B2 (ja) * 2018-01-22 2020-07-29 株式会社Subaru 車両呼び出しシステム
CN110443472A (zh) * 2018-05-02 2019-11-12 北京嘀嘀无限科技发展有限公司 为用户提供出行服务的方法及装置
CN110874077B (zh) * 2018-08-30 2024-09-10 松下电器(美国)知识产权公司 信息处理装置以及信息处理方法
JP2020135113A (ja) * 2019-02-14 2020-08-31 トヨタ自動車株式会社 走行制御装置および走行制御方法
JP7418189B2 (ja) * 2019-11-21 2024-01-19 日産自動車株式会社 表示画像生成装置及び表示画像生成方法
JP7081620B2 (ja) * 2020-04-17 2022-06-07 トヨタ自動車株式会社 情報処理装置、情報処理方法及びプログラム
CN112477886B (zh) * 2020-12-03 2022-03-01 南京领行科技股份有限公司 无人驾驶车辆的控制方法、装置、电子设备及存储介质
JP7468404B2 (ja) * 2021-02-25 2024-04-16 トヨタ自動車株式会社 自動運転車両、自動運転車両の配車システム及び携帯端末

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019168815A (ja) 2018-03-22 2019-10-03 東芝メモリ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
JP2023143829A (ja) 2023-10-06
US12367773B2 (en) 2025-07-22
US20230326348A1 (en) 2023-10-12
CN116804860A (zh) 2023-09-26
CN116804860B (zh) 2025-12-19

Similar Documents

Publication Publication Date Title
US12567008B2 (en) Identifying unassigned passengers for autonomous vehicles
US12479419B2 (en) Method for automatically parking a vehicle
EP4350296B1 (en) Inconvenience for passenger pickups and drop offs for autonomous vehicles
US11772603B2 (en) Passenger authentication and entry for autonomous vehicles
CN110070251B (zh) 车辆调用系统
US20200262453A1 (en) Pick-up management device, pick-up control method, and storage medium
US20230111327A1 (en) Techniques for finding and accessing vehicles
JP7468411B2 (ja) 自動運転車両、配車管理装置、及び端末機器
US20190107402A1 (en) Navigation device, destination guiding system, and non-transitory recording medium
JP7294231B2 (ja) 自動運転車両の制御装置、配車システム、及び配車方法
WO2019207944A1 (ja) 情報処理装置、プログラム、及び情報処理方法
CN114207685B (zh) 自主车辆交互系统
US20220044337A1 (en) Management device, management system, and management method
CN116774692A (zh) 移动体的控制装置、移动体的控制方法、移动体、信息处理方法及存储介质
CN114132343A (zh) 车辆循迹方法、装置、系统及计算机可读存储介质
JP7372144B2 (ja) 車載処理装置、及び車載処理システム
JP2022155106A (ja) 情報処理装置、移動体の制御装置、情報処理装置の制御方法、移動体の制御方法、及びプログラム
CN116804860B (zh) 控制系统、控制方法以及存储程序的存储介质
CN118973890A (zh) 移动体的控制装置、移动体的控制方法、移动体、信息处理方法以及程序
JP2019003418A (ja) サービス支援装置、サービス支援方法、およびプログラム
JP6983329B2 (ja) 情報処理システム、情報処理装置、及び情報処理方法
US12033340B2 (en) System, information processing apparatus, vehicle, and method
JP7642069B2 (ja) 車両制御装置、車両制御方法、車両制御プログラム、及び、車両制御システム
KR20240136228A (ko) 차량 제어 장치, 차량 제어 방법 및 비일시적 기억 매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240919

R150 Certificate of patent or registration of utility model

Ref document number: 7560593

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150