JPH0981205A - 学習システム - Google Patents
学習システムInfo
- Publication number
- JPH0981205A JPH0981205A JP7232985A JP23298595A JPH0981205A JP H0981205 A JPH0981205 A JP H0981205A JP 7232985 A JP7232985 A JP 7232985A JP 23298595 A JP23298595 A JP 23298595A JP H0981205 A JPH0981205 A JP H0981205A
- Authority
- JP
- Japan
- Prior art keywords
- data
- robot
- history
- learning system
- past
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Feedback Control In General (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
(57)【要約】
【課題】本発明は正解が判らない状態でロボットに正し
い行動を高速で行わせるように学習することができる学
習システムを提供することを目的とする。 【解決手段】ロボットを実際に動かしてみて周囲環境を
把握しながら動作できるようにする強化学習を行う学習
システムにおいて、行動決定手段３で、ロボットの行動
を制御する行動データＡを、現在ロボットが置かれてい
る環境の状態を示す状態データＳに応じて選択する。履
歴計算手段４で、１ステップ前にロボットに行動を行わ
せた行動データＡを、ロボットの過去の行動を示す履歴
データＨとして出力し、状態計算手段５で、ロボットの
センサで得られた環境の観測データＤと履歴データＨと
を合わせて前記した状態データＳを求めるように構成す
る。
い行動を高速で行わせるように学習することができる学
習システムを提供することを目的とする。 【解決手段】ロボットを実際に動かしてみて周囲環境を
把握しながら動作できるようにする強化学習を行う学習
システムにおいて、行動決定手段３で、ロボットの行動
を制御する行動データＡを、現在ロボットが置かれてい
る環境の状態を示す状態データＳに応じて選択する。履
歴計算手段４で、１ステップ前にロボットに行動を行わ
せた行動データＡを、ロボットの過去の行動を示す履歴
データＨとして出力し、状態計算手段５で、ロボットの
センサで得られた環境の観測データＤと履歴データＨと
を合わせて前記した状態データＳを求めるように構成す
る。
Description
【０００１】
【発明の属する技術分野】本発明はロボットに適用され
る学習システムに関する。この学習システムは、環境が
判らないために予め行動をプログラムしておけないロボ
ットに適用されるものであり、ロボットを実際に動かし
てみて周囲環境を把握しながら動作できるようにする強
化学習を行うものである。
る学習システムに関する。この学習システムは、環境が
判らないために予め行動をプログラムしておけないロボ
ットに適用されるものであり、ロボットを実際に動かし
てみて周囲環境を把握しながら動作できるようにする強
化学習を行うものである。
【０００２】言い換えれば、強化学習は、正解が判らな
い状況で正しい行動を学習しなければならない場合に用
いられる学習方法で現在提案中のものであり、その学習
速度を高速化することが要望されている。
い状況で正しい行動を学習しなければならない場合に用
いられる学習方法で現在提案中のものであり、その学習
速度を高速化することが要望されている。
【０００３】
【従来の技術】強化学習法の代表的な例としてＱラーニ
ング（Ｑ−learning）がある。これはロボットがセンサ
を用いて観測したデータから認識できる現在の状態にお
いて、ロボットがそのとりうる各行動を行った場合に予
想できる報酬を予測し、適当な行動を選択して実行し、
この実行結果が好ましいものであれば予想報酬を増加さ
せ、好ましくないものであれば予想報酬を減少させるも
のである。
ング（Ｑ−learning）がある。これはロボットがセンサ
を用いて観測したデータから認識できる現在の状態にお
いて、ロボットがそのとりうる各行動を行った場合に予
想できる報酬を予測し、適当な行動を選択して実行し、
この実行結果が好ましいものであれば予想報酬を増加さ
せ、好ましくないものであれば予想報酬を減少させるも
のである。
【０００４】
【発明が解決しようとする課題】ところで、上述したＱ
ラーニングにおいては、パーセプチュアルエイリアシン
グ（perceptual aliasing ）という問題がある。
ラーニングにおいては、パーセプチュアルエイリアシン
グ（perceptual aliasing ）という問題がある。
【０００５】パーセプチュアルエイリアシングとは、ロ
ボットのセンサが限られているために別の状態に対する
観測結果が等しくなってしまい、結果として複数の状態
を同一の状態と見なし、学習が進まなくなるものであ
る。
ボットのセンサが限られているために別の状態に対する
観測結果が等しくなってしまい、結果として複数の状態
を同一の状態と見なし、学習が進まなくなるものであ
る。
【０００６】例えば、ロボットが迷路を通る場合に、迷
路の壁は見えるが迷路の通り方は知らないといった条件
の基に、適当に進み、行き止まりの場合に戻るといった
動作を繰り返し、一度行って行き止まりの場合にはそこ
にはもう行けないことを認識する。
路の壁は見えるが迷路の通り方は知らないといった条件
の基に、適当に進み、行き止まりの場合に戻るといった
動作を繰り返し、一度行って行き止まりの場合にはそこ
にはもう行けないことを認識する。
【０００７】しかし、ロボットが迷路全体を知らないで
ビデオカメラで現在いる壁のみを認識しているので、同
じような環境が複数存在する場合、その違いを認識する
ことができず把握違いが生じ、違う場所にいるにも係わ
らず前にいた同じ場所であると判断してしまい、学習が
進まなくなる問題が生じる。
ビデオカメラで現在いる壁のみを認識しているので、同
じような環境が複数存在する場合、その違いを認識する
ことができず把握違いが生じ、違う場所にいるにも係わ
らず前にいた同じ場所であると判断してしまい、学習が
進まなくなる問題が生じる。
【０００８】本発明は、このような点に鑑みてなされた
ものであり、正解が判らない状態でロボットに正しい行
動を高速で行わせるように学習することができる学習シ
ステムを提供することを目的としている。
ものであり、正解が判らない状態でロボットに正しい行
動を高速で行わせるように学習することができる学習シ
ステムを提供することを目的としている。
【０００９】
【課題を解決するための手段】図１に本発明の学習シス
テムの原理図を示す。図１に示す学習システムは、ロボ
ットを実際に動かしてみて周囲環境を把握しながら動作
できるようにする強化学習を行うものである。
テムの原理図を示す。図１に示す学習システムは、ロボ
ットを実際に動かしてみて周囲環境を把握しながら動作
できるようにする強化学習を行うものである。
【００１０】図中、３は行動決定手段であり、ロボット
の行動を制御する行動データＡを、現在ロボットが置か
れている環境の状態を示す状態データＳに応じて選択す
るものである。
の行動を制御する行動データＡを、現在ロボットが置か
れている環境の状態を示す状態データＳに応じて選択す
るものである。
【００１１】４は履歴計算手段であり、１ステップ前に
ロボットに行動を行わせた行動データＡを、ロボットの
過去の行動を示す履歴データＨとして出力するものであ
る。５は状態計算手段であり、ロボットのセンサで得ら
れた環境の観測データＤと履歴データＨとを合わせて状
態データＳを求めるものである。
ロボットに行動を行わせた行動データＡを、ロボットの
過去の行動を示す履歴データＨとして出力するものであ
る。５は状態計算手段であり、ロボットのセンサで得ら
れた環境の観測データＤと履歴データＨとを合わせて状
態データＳを求めるものである。
【００１２】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図２は本発明の第１実施形
態による学習システムのブロック構成図である。
施の形態について説明する。図２は本発明の第１実施形
態による学習システムのブロック構成図である。
【００１３】図２において、１は強化学習を適用した学
習システムであり、例えば図示せぬ知能ロボットに搭載
されているものとする。２はロボットが移動する環境で
あり、例えばロボットが移動する迷路であるとする。
習システムであり、例えば図示せぬ知能ロボットに搭載
されているものとする。２はロボットが移動する環境で
あり、例えばロボットが移動する迷路であるとする。
【００１４】３は行動決定部であり、ロボットの行動を
制御する行動データＡを、現在ロボットが置かれている
環境２の状態を示す状態データＳに応じて選択するもの
である。
制御する行動データＡを、現在ロボットが置かれている
環境２の状態を示す状態データＳに応じて選択するもの
である。
【００１５】４は履歴計算部であり、１ステップ前にロ
ボットに行動を行わせた行動データＡを、ロボットの過
去の行動を示す履歴データＨとして出力するものであ
る。５は状態計算部であり、ロボットの図示せぬセンサ
で得られた環境２の観測データＤと履歴データＨを合わ
せて現在の状態データＳを求めるものである。
ボットに行動を行わせた行動データＡを、ロボットの過
去の行動を示す履歴データＨとして出力するものであ
る。５は状態計算部であり、ロボットの図示せぬセンサ
で得られた環境２の観測データＤと履歴データＨを合わ
せて現在の状態データＳを求めるものである。
【００１６】このような構成において、例えばロボット
が環境２である迷路を真っ直ぐ進んできて右及び左に曲
がった双方の場合に袋小路に出たとし、その袋小路が同
じ形だったとする。
が環境２である迷路を真っ直ぐ進んできて右及び左に曲
がった双方の場合に袋小路に出たとし、その袋小路が同
じ形だったとする。
【００１７】袋小路そのものは同じ形なので、観測デー
タＤだけを用いて現在の状態を判断するのであれば、従
来例で説明したように、その違いを認識することができ
ず、違う場所であるにも係わらず同じ場所であると判断
してしまう。
タＤだけを用いて現在の状態を判断するのであれば、従
来例で説明したように、その違いを認識することができ
ず、違う場所であるにも係わらず同じ場所であると判断
してしまう。
【００１８】しかし、この第１実施形態では、ロボット
の１ステップ前の行動を示す履歴データＨが状態データ
Ｓに含まれているので、その履歴データＨからロボット
が右に曲がったか左に曲がったかの過去の行動を認識す
ることができ、これによって、ロボットが現在いる場所
が右に曲がった先の袋小路であるか、左に曲がった先の
袋小路であるかを区別できる。
の１ステップ前の行動を示す履歴データＨが状態データ
Ｓに含まれているので、その履歴データＨからロボット
が右に曲がったか左に曲がったかの過去の行動を認識す
ることができ、これによって、ロボットが現在いる場所
が右に曲がった先の袋小路であるか、左に曲がった先の
袋小路であるかを区別できる。
【００１９】即ち、従来例に該当する観測データＤを行
動決定部３に直接渡すのと比較すると、状態計算結果で
ある状態データＳには、過去自分がどうしたか、過去に
どう見えたかといったことが入っているので状態を区別
しやすくなり、このことによってロボットの細かい行動
決定が可能となる。
動決定部３に直接渡すのと比較すると、状態計算結果で
ある状態データＳには、過去自分がどうしたか、過去に
どう見えたかといったことが入っているので状態を区別
しやすくなり、このことによってロボットの細かい行動
決定が可能となる。
【００２０】また、上述した他に、履歴計算部４で過去
に逆上った幾つかの行動データＡを畳み込んで１つの履
歴データＨとして状態計算部５へ出力すれば、更に過去
の事まで反映した状態計算を行うことができる。
に逆上った幾つかの行動データＡを畳み込んで１つの履
歴データＨとして状態計算部５へ出力すれば、更に過去
の事まで反映した状態計算を行うことができる。
【００２１】更には、履歴計算部４で行動データＡを過
去に行くにしたがって減衰させ、現在に近い過去の方が
強く反映されるように加工した値を履歴データＨとして
もよい。
去に行くにしたがって減衰させ、現在に近い過去の方が
強く反映されるように加工した値を履歴データＨとして
もよい。
【００２２】これらは例えば履歴計算部４を、リカレン
トニューラルネットのような時系列を記憶できる手段に
すれば、過去の動作列から計算される値を履歴データＨ
として出力することができる。
トニューラルネットのような時系列を記憶できる手段に
すれば、過去の動作列から計算される値を履歴データＨ
として出力することができる。
【００２３】次に、第２実施形態を図３を参照して説明
する。但し、図３に示す第２実施形態において、図２に
示した第１実施形態の各部に対応する部分には同一符号
を付し、その説明を省略する。
する。但し、図３に示す第２実施形態において、図２に
示した第１実施形態の各部に対応する部分には同一符号
を付し、その説明を省略する。
【００２４】図３において、符号６で示す履歴計算部
は、観測データＤ(t) をディレー等で１ステップ遅ら
せ、この遅延した観測データＤ(t-1) を履歴データＨと
して出力するものである。
は、観測データＤ(t) をディレー等で１ステップ遅ら
せ、この遅延した観測データＤ(t-1) を履歴データＨと
して出力するものである。
【００２５】符号７で示す状態計算部は、現在の観測デ
ータＤ(t) と履歴計算部６から出力される履歴データＨ
を合わせて現在の状態データＳを求めるものである。こ
のような構成において、例えばロボットが環境２である
迷路を真っ直ぐ進んできて右及び左に曲がった双方の場
合に袋小路に出たとし、その袋小路が同じ形だったとす
る。
ータＤ(t) と履歴計算部６から出力される履歴データＨ
を合わせて現在の状態データＳを求めるものである。こ
のような構成において、例えばロボットが環境２である
迷路を真っ直ぐ進んできて右及び左に曲がった双方の場
合に袋小路に出たとし、その袋小路が同じ形だったとす
る。
【００２６】このような場合、第２実施形態では、１ス
テップ前の観測データＤ(t-1) と現在の観測データＤ
(t) とが状態データＳに含まれているので、ロボットが
真っ直ぐ歩いていて左に曲がって袋小路にあった場合
は、見え方が左側に別れ道があることが見えており、そ
れから左に曲がって袋小路にあい、右側はその逆で、袋
小路にあった時点では観測結果は同じであるが、その前
の曲がる段階では異なることが判断できる。
テップ前の観測データＤ(t-1) と現在の観測データＤ
(t) とが状態データＳに含まれているので、ロボットが
真っ直ぐ歩いていて左に曲がって袋小路にあった場合
は、見え方が左側に別れ道があることが見えており、そ
れから左に曲がって袋小路にあい、右側はその逆で、袋
小路にあった時点では観測結果は同じであるが、その前
の曲がる段階では異なることが判断できる。
【００２７】これによって、ロボットが現在いる場所が
右に曲がった先の袋小路であるか、左に曲がった先の袋
小路であるかを区別でき、ロボットの細かい行動決定が
可能となる。
右に曲がった先の袋小路であるか、左に曲がった先の袋
小路であるかを区別でき、ロボットの細かい行動決定が
可能となる。
【００２８】また、上述した他に、履歴計算部６で過去
に逆上った幾つかの観測データＤ(t) を畳み込んで１つ
の履歴データＨとして状態計算部５へ出力すれば、更に
過去の事まで反映した状態計算を行うことができる。
に逆上った幾つかの観測データＤ(t) を畳み込んで１つ
の履歴データＨとして状態計算部５へ出力すれば、更に
過去の事まで反映した状態計算を行うことができる。
【００２９】更には、履歴計算部６で観測データＤ(t)
を過去に行くにしたがって減衰させ、現在に近い過去の
方が強く反映されるように加工した値を履歴データＨと
してもよい。
を過去に行くにしたがって減衰させ、現在に近い過去の
方が強く反映されるように加工した値を履歴データＨと
してもよい。
【００３０】これらは例えば履歴計算部４を、リカレン
トニューラルネットのような時系列を記憶できる手段に
すれば、過去の観測データ列から計算される値を履歴デ
ータＨとして出力することができる。
トニューラルネットのような時系列を記憶できる手段に
すれば、過去の観測データ列から計算される値を履歴デ
ータＨとして出力することができる。
【００３１】
【発明の効果】以上説明したように、本発明の学習シス
テムによれば、正解が判らない状態でロボットに正しい
行動を高速で行わせるように学習することができる効果
がある。
テムによれば、正解が判らない状態でロボットに正しい
行動を高速で行わせるように学習することができる効果
がある。
【図１】本発明の原理図である。
【図２】本発明の第１実施形態による学習システムのブ
ロック構成図である。
ロック構成図である。
【図３】本発明の第２実施形態による学習システムのブ
ロック構成図である。
ロック構成図である。
１ 学習システム ２ 環境 ３ 行動決定手段 ４ 履歴計算手段 ５ 状態計算手段 Ａ 行動データ Ｄ 観測データ Ｈ 履歴データ Ｓ 状態データ
Claims (6)
- 【請求項１】 ロボットを実際に動かし、周囲環境を把
握しながら動作できるようにする強化学習を行う学習シ
ステムにおいて、 ロボットの行動を制御する行動データを、現在ロボット
が置かれている環境の状態を示す状態データに応じて選
択する行動決定手段と、 １ステップ前にロボットに行動を行わせた該行動データ
を、ロボットの過去の行動を示す履歴データとして出力
する履歴計算手段と、 ロボットのセンサで得られた環境の観測データと該履歴
データとを合わせて前記状態データを求める状態計算手
段とを具備したことを特徴とする学習システム。 - 【請求項２】 前記履歴計算手段が、過去に逆上った幾
つかの前記行動データを畳み込んで１つの値とし、この
値を前記履歴データとすることを特徴とする請求項１記
載の学習システム。 - 【請求項３】 前記履歴計算手段が、前記行動データを
過去に行くにしたがって減衰させ、現在に近い過去の方
が強く反映されるように加工した値を前記履歴データと
することを特徴とする請求項１記載の学習システム。 - 【請求項４】 前記履歴計算手段が、前記観測データを
１ステップ遅延させ、この遅延したデータを前記履歴デ
ータとし、前記状態計算手段が、現在の該観測データと
１ステップ遅延した観測データである履歴データを合わ
せて現在の前記状態データを求めるようにしたことを特
徴とする請求項１記載の学習システム。 - 【請求項５】 前記履歴計算手段が、過去に逆上った幾
つかの前記観測データを畳み込んで１つの値とし、この
値を前記履歴データとすることを特徴とする請求項４記
載の学習システム。 - 【請求項６】 前記履歴計算手段が、前記観測データを
過去に行くにしたがって減衰させ、現在に近い過去の方
が強く反映されるように加工した値を前記履歴データと
することを特徴とする請求項４記載の学習システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7232985A JPH0981205A (ja) | 1995-09-11 | 1995-09-11 | 学習システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7232985A JPH0981205A (ja) | 1995-09-11 | 1995-09-11 | 学習システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0981205A true JPH0981205A (ja) | 1997-03-28 |
Family
ID=16947995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7232985A Withdrawn JPH0981205A (ja) | 1995-09-11 | 1995-09-11 | 学習システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0981205A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001072478A1 (fr) * | 2000-03-31 | 2001-10-04 | Sony Corporation | Dispositif robotique, procede de commande de l'action du dispositif robotique, dispositif de detection de force exterieure, et procede de detection de force exterieure |
| WO2003035334A1 (en) * | 2001-10-22 | 2003-05-01 | Sony Corporation | Robot apparatus and control method thereof |
| JP2006320997A (ja) * | 2005-05-18 | 2006-11-30 | Nippon Telegr & Teleph Corp <Ntt> | ロボット行動選択装置及びロボット行動選択方法 |
| US8175982B2 (en) | 2005-09-02 | 2012-05-08 | Nat'l University Corp. Yokohama Nat'l University | Value function representation method of reinforcement learning and apparatus using this |
| KR20180090989A (ko) * | 2015-11-12 | 2018-08-14 | 딥마인드 테크놀로지스 리미티드 | 비동기 심층 강화 학습 |
| CN108732963A (zh) * | 2017-04-13 | 2018-11-02 | 发那科株式会社 | 控制装置及机器学习装置 |
| JP2019159413A (ja) * | 2018-03-07 | 2019-09-19 | 株式会社豊田中央研究所 | 制御装置、移動体、自律分散制御プログラム |
| WO2021033315A1 (ja) | 2019-08-22 | 2021-02-25 | 日本電気株式会社 | ロボット制御システム、ロボット制御方法、及び、記録媒体 |
-
1995
- 1995-09-11 JP JP7232985A patent/JPH0981205A/ja not_active Withdrawn
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001072478A1 (fr) * | 2000-03-31 | 2001-10-04 | Sony Corporation | Dispositif robotique, procede de commande de l'action du dispositif robotique, dispositif de detection de force exterieure, et procede de detection de force exterieure |
| US6754560B2 (en) | 2000-03-31 | 2004-06-22 | Sony Corporation | Robot device, robot device action control method, external force detecting device and external force detecting method |
| JP2011115944A (ja) * | 2000-03-31 | 2011-06-16 | Sony Corp | ロボット装置、ロボット装置の行動制御方法及びプログラム |
| WO2003035334A1 (en) * | 2001-10-22 | 2003-05-01 | Sony Corporation | Robot apparatus and control method thereof |
| US6850818B2 (en) | 2001-10-22 | 2005-02-01 | Sony Corporation | Robot apparatus and control method thereof |
| CN1304177C (zh) * | 2001-10-22 | 2007-03-14 | 索尼公司 | 机器人装置及其控制方法 |
| KR100898435B1 (ko) * | 2001-10-22 | 2009-05-21 | 소니 가부시끼 가이샤 | 로봇 장치 및 그 제어 방법 |
| JP2006320997A (ja) * | 2005-05-18 | 2006-11-30 | Nippon Telegr & Teleph Corp <Ntt> | ロボット行動選択装置及びロボット行動選択方法 |
| US8175982B2 (en) | 2005-09-02 | 2012-05-08 | Nat'l University Corp. Yokohama Nat'l University | Value function representation method of reinforcement learning and apparatus using this |
| KR20180090989A (ko) * | 2015-11-12 | 2018-08-14 | 딥마인드 테크놀로지스 리미티드 | 비동기 심층 강화 학습 |
| US10936946B2 (en) | 2015-11-12 | 2021-03-02 | Deepmind Technologies Limited | Asynchronous deep reinforcement learning |
| US11334792B2 (en) | 2015-11-12 | 2022-05-17 | Deepmind Technologies Limited | Asynchronous deep reinforcement learning |
| US11783182B2 (en) | 2015-11-12 | 2023-10-10 | Deepmind Technologies Limited | Asynchronous deep reinforcement learning |
| US12020155B2 (en) | 2015-11-12 | 2024-06-25 | Deepmind Technologies Limited | Reinforcement learning using baseline and policy neural networks |
| CN108732963A (zh) * | 2017-04-13 | 2018-11-02 | 发那科株式会社 | 控制装置及机器学习装置 |
| CN108732963B (zh) * | 2017-04-13 | 2020-05-12 | 发那科株式会社 | 控制装置及机器学习装置 |
| JP2019159413A (ja) * | 2018-03-07 | 2019-09-19 | 株式会社豊田中央研究所 | 制御装置、移動体、自律分散制御プログラム |
| WO2021033315A1 (ja) | 2019-08-22 | 2021-02-25 | 日本電気株式会社 | ロボット制御システム、ロボット制御方法、及び、記録媒体 |
| US12070864B2 (en) | 2019-08-22 | 2024-08-27 | Nec Corporation | Robot control system, robot control method, and recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114397817B (zh) | 网络训练、机器人控制方法及装置、设备及存储介质 | |
| JP3907649B2 (ja) | ロボット間の干渉防止制御装置 | |
| JP7448683B2 (ja) | マルチタスク強化学習におけるメタ勾配を用いたアクション選択のための学習オプション | |
| WO2023130755A1 (zh) | 路径规划方法、电子设备、计算机程序产品及存储介质 | |
| US20250315642A1 (en) | Method and apparatus for highly efficient exploring environment on metacognition | |
| WO2023231961A1 (zh) | 一种多智能体强化学习方法及相关装置 | |
| JP2019030941A (ja) | 制御装置及び学習装置 | |
| US20220292349A1 (en) | Device and computer-implemented method for the processing of digital sensor data and training method therefor | |
| CN115716278B (zh) | 基于主动感知与交互操作协同的机器人目标搜索方法及机器人仿真平台 | |
| JPH0981205A (ja) | 学習システム | |
| CN120543954B (zh) | 基于视觉强化学习的模型训练方法、装置、设备及介质 | |
| CN109421072A (zh) | 控制装置 | |
| CN118752492A (zh) | 基于深度强化学习的多任务多机器人的运动控制方法 | |
| CN119604824B (zh) | 用于多机器人环境的鲁棒运动规划和/或控制 | |
| KR102169879B1 (ko) | 학습을 이용한 로봇의 충돌 감지 시스템 및 방법 | |
| JP4929449B2 (ja) | 強化学習装置および強化学習方法 | |
| CN110334244B (zh) | 一种数据处理的方法、装置及电子设备 | |
| Yang et al. | Service robot active object detection based on spatial exploration using deep recurrent q-learning network | |
| CN120038740A (zh) | 任务管理方法及任务管理系统、机器人、计算机程序产品 | |
| Hernandez-Gardiol et al. | Hierarchical memory-based reinforcement learning | |
| CN117260701A (zh) | 训练机器学习模型以实现控制规则的方法 | |
| CN115576205B (zh) | 反馈控制方法、通用反馈控制器、训练方法、可读存储介质、计算机程序产品及系统 | |
| Gerard et al. | Adding a generalization mechanism to YACS | |
| JP2958978B2 (ja) | 学習制御方法 | |
| JP2009245195A (ja) | 自律移動ロボット及びその障害物識別方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20021203 |