JP7570632B2 - 設計支援装置、設計支援方法 - Google Patents
設計支援装置、設計支援方法 Download PDFInfo
- Publication number
- JP7570632B2 JP7570632B2 JP2021053590A JP2021053590A JP7570632B2 JP 7570632 B2 JP7570632 B2 JP 7570632B2 JP 2021053590 A JP2021053590 A JP 2021053590A JP 2021053590 A JP2021053590 A JP 2021053590A JP 7570632 B2 JP7570632 B2 JP 7570632B2
- Authority
- JP
- Japan
- Prior art keywords
- knowledge
- screen
- worker
- gaze
- expert
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
図1は、本発明の実施形態1に係る設計支援装置100のブロック図である。設計支援装置100は、業務内容入力部101、業務知識検索部102、熟練者知識DB(データベース)103、優先度算出部104、知識提示制御部105、業務実行画面106、入力画像取得部107、視線計測装置108、視線データ分析部109、知識出力部110、出力更新部111、データベース生成部112を備える。
ユーザは、ユーザインターフェース201上で業務内容を入力し、知識提示ボタン(207または301)を押下する。知識提示制御部105は、図6に例示するように、見るべき場所を業務実行画面106上で提示する。
視線計測装置108は、ユーザが業務実行画面106上のどこを見ているか計測する(S702)。視線データ分析部109(または知識提示制御部105)は、ユーザの視線位置と見るべき場所の座標を照合することにより、ユーザが見るべき場所を見たか否かを確認する(S703)。
ユーザは業務実行画面106を動かす可能性があるので、基準となる点を設けて、画面が動いた分を補正することが有効である。また、ユーザの視線が通過しただけでなく、確実に注視したかを確認するために、視線の停留時間や瞳孔径を用いて、注視しているかを評価し判断してもよい。この際、瞳孔径は周囲の明るさの影響を受けるので、その影響の補正をすることが重要となる。
見るべき場所の数が多いと、見るべき場所の表示が多くなり流線が見づらくある恐れがある。そこで知識提示制御部105は、ユーザが既に確認した見るべき場所を注視するように促す表示を削除してもよい。
知識提示制御部105は、全ての見るべき場所をユーザが見たかを判定する。まだ見ていない場所があれば、S702に戻りユーザの視線を計測する。ユーザが見るべき場所を全て見ていれば本フローチャートを終了する。
S702からS705は視線が移動するたびに実行し、リアルタイムにユーザが見るべき場所を更新する。
ユーザは、ユーザインターフェース201上で業務内容を入力し、知識提示ボタン(207または301)を押下する。知識提示制御部105は、見るべき場所のうち優先度が最も高い場所1つを、業務実行画面106上で提示する。
視線計測装置108は、ユーザが業務実行画面106上のどこを見ているか計測する(S802)。視線データ分析部109は、ユーザの視線位置と最優先の見るべき場所の座標を照合することにより、ユーザが最優先の見るべき場所を見たか否かを確認する(S803)。知識提示制御部105は、ユーザが既に確認した最優先の見るべき場所の表示を削除する(S804)。
知識提示制御部805は、見るべき場所を全て表示したかを判定する。まだ見るべき場所があれば、S801に戻って残りの中で最も優先度が高い見るべき場所を表示する。全て表示したら本フローチャートを終了する。
視線計測装置108と視線データ分析部109は、ユーザが業務実行画面106上で注視した部分を常に計測しておく。知識提示制御部105が熟練者知識を提示する処理を開始する前(すなわちユーザインターフェース201を起動する前)の時点において、ユーザが業務実行画面106上で設計業務を実施する可能性があるからである。注視した部分は、例えば視線データとして記憶装置に格納しておく。記憶装置は例えば熟練者知識DB103を格納しているものと同じでよい。
ユーザは設計業務中において、ユーザインターフェース201を起動する(S902)。知識提示制御部105は、ユーザが業務実行画面106上で設計作業を実施しているときの視線データを抽出する(S902)。知識提示制御部105は、ユーザが業務実行画面106上で注視した部分を、視線データから抽出する(S903)。知識提示制御部105は、ユーザが業務実行画面106上で注視した部分の座標と、知識データが指定する画面上の見るべき場所の座標とを照合する(S904)。
知識提示制御部105は、業務実行画面106上で見るべき場所のうち、ユーザがまだ見ていない場所があるか否かを判定する。その結果、まだ見ていない場所があればその場所を提示し(S906)、なければ本フローチャートを終了する。以後の処理はS702~S705と同様である。
本実施形態1に係る設計支援装置100は、熟練者知識DB103が格納している知識データと合致する部分を業務実行画面106上で検索し、検索した部分のうちユーザが未だ注視していないものを注視するように促す(例えば図6の円などのように、注視を促進する画像を提示する)。これにより、熟練者と非熟練者との間で、業務実行画面106上で注視する場所が異なる場合において、熟練者が注視する場所を業務知識として非熟練者へ効果的に伝承することができる。
図11は、本発明の実施形態2における業務実行画面106の表示例である。ここでは図6と同様に流体解析を実施する場面を想定する。設計支援装置100の構成は実施形態1と同様である。
図12は、熟練者知識DB103を生成する手順を説明するフローチャートである。熟練者の知識はヒアリングにより文書化することも可能であるが、暗黙知となっており熟練者が無意識に実施している知識については、言語化や文書化が困難である。図12に示すフローチャートは、暗黙知を抽出することに有効である。以下図12の各ステップについて説明する。
視線計測装置108と視線データ分析部109は、同一業務における熟練者と非熟練者それぞれの視線を計測する。例えば、同一の流線から渦を見つける作業を熟練者と非熟練者それぞれに実施してもらい、その際の視線を計測する。
視線データ分析部109(またはデータベース生成部112)は、熟練者の視線と非熟練者の視線との間の差分を抽出する。差分としては、注視点の座標、注視点に対する集中度、などについての差分を用いることができる。集中度は例えば、視線の停留時間、瞳孔径、などを用いることができる。
データベース生成部112は、S1202において抽出した差分から、熟練者のみが実施した作業を抽出する。本ステップにおいて抽出した作業は、熟練者の知識のうち非熟練者に対して伝承することが必要な知識に該当する。
データベース生成部112は、非熟練者の作業も含めて、作業の優先度を設定する。例えば、渦を見つける際に熟練者のみが見た場所の優先度を高く設定し、熟練者と非熟練者がともに見た場所は優先度を低く設定する。さらに、熟練者のみが見た場所のうち、熟練者が早めに見た場所や時間をかけて見た場所は優先度を高めに設定する。すなわち、熟練者のほうが非熟練者よりも注視した場所は、その他の場所よりも優先度を高く設定する。
データベース生成部112は、これらの作業に対応する画像を抽出する(S1205)。データベース生成部112は、優先度と画像を熟練者知識DB103に格納する(S1206)。
本実施形態3に係る設計支援装置100は、熟練者の視線と被熟練者の視線との間の差分にしたがって、熟練者のほうがより注視した部分を特定し、その部分の画像を知識データとして熟練者知識DB103へ格納する。これにより、文書化することが困難な暗黙知であっても、視線の違いに基づき知識化することができる。
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施例の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
101:業務内容入力部
102:業務知識検索部
103:熟練者知識DB
104:優先度算出部
105:知識提示制御部
106:業務実行画面
107:入力画像取得部
108:視線計測装置
109:視線データ分析部
110:知識出力部
111:出力更新部
201:ユーザインターフェース
202:業務内容入力部
203:業務内容選択部
204:業務内容入力欄
205:検索ボタン
206:業務内容検索結果表示欄
207、301:知識提示ボタン
602:見るべき場所
1101:関連情報
Claims (10)
- 熟練者の知識を提示することによって設計作業を支援する設計支援装置であって、
前記設計作業に関する前記熟練者の知識を記述した知識データを格納するデータベース、
前記設計作業を実施する作業者の業務内容に対応する前記知識データを前記データベースから検索する検索部、
前記作業者の視線を分析する視線分析部、
前記作業者が前記設計作業を実施する際に用いる画面上において前記検索した前記知識データを提示する知識提示部、
を備え、
前記知識提示部は、前記画面上において前記検索した前記知識データと対応する部分を検索し、
前記知識提示部は、前記検索した部分のうち前記作業者が未だ注視していない未注視部分を特定し、
前記知識提示部は、前記特定した未注視部分を注視するように促す注視促進画像を前記画面上で提示する
ことを特徴とする設計支援装置。 - 前記知識提示部は、前記特定した未注視部分を全て前記作業者が注視し終えるまで、前記注視促進画像を前記画面上で提示し続け、
前記知識提示部は、前記作業者が注視し終えた前記未注視部分を注視するように促す前記注視促進画像を、前記画面上から削除する
ことを特徴とする請求項1記載の設計支援装置。 - 前記知識提示部は、前記画面上において前記検索した前記知識データと対応する部分を強調する画像を提示することにより、前記注視促進画像を前記画面上で提示する
ことを特徴とする請求項1記載の設計支援装置。 - 前記データベースは、前記知識データとして、前記作業者が前記設計作業を実施する際に注視すべき画像を前記業務内容ごとに格納しており、
前記知識提示部は、前記画面上において前記注視すべき画像と合致する画像領域を検索することにより、前記画面上において前記知識データと対応する部分を検索する
ことを特徴とする請求項1記載の設計支援装置。 - 前記データベースは、前記作業者が注視すべき程度を表す優先度を、前記注視すべき画像ごとに記録しており、
前記知識提示部は、前記未注視部分を前記優先度が高い順に注視するように促す前記注視促進画像を、前記画面上で提示する
ことを特徴とする請求項4記載の設計支援装置。 - 前記視線分析部は、前記作業者が前記画面上で注視した部分を常時記録しており、
前記知識提示部は、前記画面上において前記知識データを提示する前に前記作業者が前記画面上で注視した部分を取得し、
前記知識提示部は、前記未注視部分のうち前記作業者が既に注視した部分を除く部分を注視するように促す前記注視促進画像を、前記画面上で提示する
ことを特徴とする請求項1記載の設計支援装置。 - 前記データベースは、前記業務内容の特性を表すパラメータを格納しており、
前記知識提示部は、前記注視促進画像とともに、前記パラメータを提示する
ことを特徴とする請求項4記載の設計支援装置。 - 前記設計支援装置はさらに、前記知識データを前記データベースに格納するデータベース生成部を備え、
前記データベース生成部は、前記熟練者と非熟練者が同じ前記設計作業を実施する際における視線の差分を取得し、
前記データベース生成部は、前記取得した差分にしたがって、前記画面上において前記熟練者が注視したが前記非熟練者が注視しなかった部分または前記熟練者のほうが前記非熟練者よりも注視した部分を特定し、
前記データベース生成部は、前記特定した部分の画像を、前記知識データとして前記データベースに格納する
ことを特徴とする請求項1記載の設計支援装置。 - 前記データベース生成部は、前記作業者が注視すべき程度を表す優先度を、前記特定した部分の画像ごとに前記データベースへ格納し、
前記データベース生成部は、前記画面上において前記熟練者が注視したが前記非熟練者が注視しなかった部分の優先度または前記熟練者のほうが前記非熟練者よりも注視した部分の優先度を、その他の部分の優先度よりも高くセットする
ことを特徴とする請求項8記載の設計支援装置。 - 熟練者の知識を提示することによって設計作業を支援する設計支援方法であって、
前記設計作業に関する前記熟練者の知識を記述した知識データを格納するデータベースから、前記設計作業を実施する作業者の業務内容に対応する前記知識データを検索するステップ、
前記作業者の視線を分析するステップ、
前記作業者が前記設計作業を実施する際に用いる画面上において前記検索した前記知識データを提示するステップ、
を有し、
前記知識データを提示するステップはさらに、
前記画面上において前記検索した前記知識データと対応する部分を検索ステップ、
前記検索した部分のうち前記作業者が未だ注視していない未注視部分を特定するステップ、
前記特定した未注視部分を注視するように促す注視促進画像を前記画面上で提示するステップ、
を有する
ことを特徴とする設計支援方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021053590A JP7570632B2 (ja) | 2021-03-26 | 2021-03-26 | 設計支援装置、設計支援方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021053590A JP7570632B2 (ja) | 2021-03-26 | 2021-03-26 | 設計支援装置、設計支援方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022150813A JP2022150813A (ja) | 2022-10-07 |
| JP7570632B2 true JP7570632B2 (ja) | 2024-10-22 |
Family
ID=83465592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021053590A Active JP7570632B2 (ja) | 2021-03-26 | 2021-03-26 | 設計支援装置、設計支援方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7570632B2 (ja) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009199004A (ja) | 2008-02-25 | 2009-09-03 | Nippon Steel Corp | 技術管理装置及び技術管理方法 |
| WO2014088637A1 (en) | 2012-12-07 | 2014-06-12 | Cascade Strategies, Inc. | Biosensitive response evaluation for design and research |
| JP2016162410A (ja) | 2015-03-05 | 2016-09-05 | 株式会社日立製作所 | 解析作業支援装置、解析作業支援システム及びプログラム |
| JP2017004094A (ja) | 2015-06-05 | 2017-01-05 | 三菱電機株式会社 | 図面情報抽出装置 |
| JP2017191351A (ja) | 2016-04-11 | 2017-10-19 | 株式会社日立製作所 | 作業支援システム及び方法 |
| JP2019133533A (ja) | 2018-02-01 | 2019-08-08 | 国立研究開発法人産業技術総合研究所 | 情報処理装置、情報処理方法、および、情報処理装置用プログラム |
| US20200371665A1 (en) | 2018-03-07 | 2020-11-26 | California Institute Of Technology | Collaborative augmented reality system |
-
2021
- 2021-03-26 JP JP2021053590A patent/JP7570632B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009199004A (ja) | 2008-02-25 | 2009-09-03 | Nippon Steel Corp | 技術管理装置及び技術管理方法 |
| WO2014088637A1 (en) | 2012-12-07 | 2014-06-12 | Cascade Strategies, Inc. | Biosensitive response evaluation for design and research |
| JP2016162410A (ja) | 2015-03-05 | 2016-09-05 | 株式会社日立製作所 | 解析作業支援装置、解析作業支援システム及びプログラム |
| JP2017004094A (ja) | 2015-06-05 | 2017-01-05 | 三菱電機株式会社 | 図面情報抽出装置 |
| JP2017191351A (ja) | 2016-04-11 | 2017-10-19 | 株式会社日立製作所 | 作業支援システム及び方法 |
| JP2019133533A (ja) | 2018-02-01 | 2019-08-08 | 国立研究開発法人産業技術総合研究所 | 情報処理装置、情報処理方法、および、情報処理装置用プログラム |
| US20200371665A1 (en) | 2018-03-07 | 2020-11-26 | California Institute Of Technology | Collaborative augmented reality system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022150813A (ja) | 2022-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230176707A1 (en) | Legal Spend Document Processing with Machine Learning | |
| KR101852581B1 (ko) | 이미지 평가 기법 | |
| US20220129834A1 (en) | Systems and methods for improving recommendation systems | |
| US12175514B2 (en) | Systems and methods for generating personalized item descriptions | |
| US12067464B2 (en) | Method of performing a process using artificial intelligence | |
| US8489533B2 (en) | Inferring view sequence and relevance data | |
| Chen et al. | Chatshop: Interactive information seeking with language agents | |
| JP6851745B2 (ja) | 画像制御方法、装置、及びプログラム | |
| CN118331860A (zh) | 一种汽车人机交互系统评价模型构建方法及系统 | |
| JP2020024665A (ja) | 情報処理方法、及び情報処理システム | |
| Villani et al. | Survey on usability assessment for industrial user interfaces | |
| JP2022059547A (ja) | メンタル改善支援装置 | |
| Cimini et al. | Designing augmented reality assistance systems for operator 5.0 solutions in assembly | |
| KR20190062835A (ko) | 가상 공간의 인터랙션 분석 시스템 및 방법 | |
| JP2022150813A (ja) | 設計支援装置、設計支援方法 | |
| US20080312985A1 (en) | Computerized evaluation of user impressions of product artifacts | |
| JP6068639B2 (ja) | ユーザインタフェース検査方法、装置およびプログラム | |
| JP2024054887A (ja) | 設計支援装置、並びに設計支援方法 | |
| KR102919138B1 (ko) | 인공지능 기반 맞춤형 의류 수선 가이드 서비스 제공 방법 및 장치 | |
| KR101959553B1 (ko) | 이미지 설문 기반의 컨셉 제안 장치 및 방법 | |
| JP2024162591A (ja) | 注意抽出システム、及び注意抽出方法 | |
| Aydın et al. | Comparing Glasses-Based and Remote Eye Tracking for Mobile Banking Usability Assessment | |
| CN118280595B (zh) | 基于自助筛查的视力干预方案确定方法及相关设备 | |
| JP7630930B2 (ja) | 画像処理装置、外観検査装置、画像処理方法、およびプログラム | |
| Soni et al. | Improving Graduate Outcomes by Identifying Skills Gaps and Recommending Courses Based on Career Interests |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231219 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240905 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240917 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241001 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7570632 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |