JP2014510941A - 適応型知識評価及び学習のためのシステム及び方法 - Google Patents

Abstract

【課題】学習者の知識の真の範囲を正確に評価する知識評価及び学習の方法及びシステムを提供すること。
【解決手段】本発明によるシステム及び方法は，学習者に多肢選択問題及び２次元回答を表示するステップと，学習教材のデータベースにアクセスするステップと，学習者に複数の多肢選択問題及び２次元回答を送信するステップとを有する。回答は，単一選択回答からなる，複数の完全に自信のある回答と，複数の単一選択開能の１又は複数の組からなる，複数のある程度自信のある回答と，自信のない回答とを含む。この方法は，学習者の２次元問題への応答に基づいて種々の知識状態名称を指定することによって，学習者に与えられた自信ベースの評価（ＣＢＡ）を採点するステップを更に有する。
【選択図】図６Ａ

Description

本発明の態様は，知識評価及び学習並びにマイクロプロセッサ及びネットワークベースの試験及び学習システムに関する。本発明の態様はまた，知識試験及び学習方法，より詳細に言えば，自信ベース評価（ＣＢＡ）及び自信ベース学習（ＣＢＬ）のための方法及びシステムにも関する。ＣＢＡ及びＣＢＬにおいては，学習者の一つの回答から，当該個人の，自身の応答における自信及び正確さに関する二つの計量（ｍｅｔｒｉｃ）が生成される。この過程に従う新規なシステム及び方法は，密接に結合した形成的評価及び学習の方法，したがって学習過程における即座の改善（ｒｅｍｅｄｉａｔｉｏｎ）を容易にする。さらに，この過程内に包含される新規なシステム及び方法は，学習者ごとに適応し，個別化された学習方法を提供する。

本願は，２０１１年２月１６日出願の米国特許出願第１３／０２９，０４５号の優先権を主張する。本願はまた，２０１０年１０月２０日出願の米国特許出願第１２／９０８，３０３号と，２００３年９月２３日出願の米国特許出願第１０／３９８，６２５号と，２００５年７月２３日出願の米国特許出願第１１／１８７，６０６号と，２００５年６月２６日発行の米国特許第６，９２１，２６８号と，にも関係する。ここで，すべての適切な目的のために，上に列挙した各出願の詳細を本願に参照によって組み込むものとする。

主題における人の知識の程度を評価するための従来の多肢選択試験技法は，種々の数の１次元又は正誤（ＲＷ）の回答によって選択可能な選択肢を含む。典型的な多肢選択試験は三つの選択可能な回答を有する質問を含み，一般にこれらの回答のうち一つは，学習者が第一印象で間違いとして削除することができる。これによって，残りの回答についての推測が，正しいかも知れないし，正しくないかも知れないが，正しいと記された回答となる高い確率をもたらす。このような状況下では，成功裏の推測が，学習者が知識がある（すなわち，回答が正しいという自信がある），誤解している（すなわち，実際には正しくない回答を確信している），又は知識がない（すなわち，学習者が，自分が正しい回答を知らないと明示的に述べ，そのように回答することが許されている）かどうかについて，学習者の真の知識程度又は状態を隠すことになる。したがって，従来の多肢選択１次元試験技法は，学習者の真の知識程度を測定する手段としては極めて無力である。この著しい欠点にもかかわらず，従来の多肢選択１次元試験技法は，銀行，保険，公益事業，教育機関及び政府機関のような情報集約的かつ情報依存の機関によって広く用いられている。

従来の多肢選択１次元（正誤）試験技法は，強制選択試験である。この形式は，個人が正答を知っているかどうかにかかわらず，一つの回答を選択することを要求する。三つの選択可能な回答があるとき，無作為選択は３３％の見込みで正答となる。１次元得点アルゴリズムは通常推測に報いる。通常，誤った回答は０点となり，まったく回答しなかったときと，推測がうまく行かなかったときとで得点に差がない。推測は正答になることがあるため，推測を行わないよりは常によい結果となる。少数の従来の試験方法は間違った回答に負の得点を与えることが知られているが，通常，そのアルゴリズムは，少なくとも一つの回答を削除することによって確率を推測に有利なようにシフトさせるように設計されている。したがって，実際上，推測は依然として報われる。

さらに，１次元試験技法は，個人が予想される間違った回答を除き，正答に最良の推測決定をすることに熟練することを助長する。個人が一つの選択可能な回答を間違いとして除くことができると，正答を選ぶ確率は５０％になる。７０％が合格する場合，よい推測技術を有する個人は，ほとんど何も知らないときでも，合格得点から２０％しか離れていない。したがって，１次元試験形式及びその得点アルゴリズムは，個人の目的，動機を自己評価及び正確なフィードバックを受けることから，しきい値を超えるために試験得点を膨らませる方へシフトする。

反対に，自信ベース評価は，推測を除き，人々の知識の真の状態を正確に評価するように設計されている。

本発明の態様は，米国特許出願第１２／９０８，３０３号と，米国特許出願第１０／３９８，６２５号と，米国特許出願第１１／１８７，６０６号と，米国特許第６，９２１，２６８号とに開示されている自信ベース評価（ＣＢＡ）及び自信ベース学習（ＣＢＬ）の上に構築されており，これら先行特許文献すべてがここに参照によって組み込まれ，それらはすべて，コロラド州ボールダーのKnowledge Factor, Inc.が所有している。この自信ベース評価法は，推測を除き，学習者の知識の真の状態を正確に評価するように設計されている。ＣＢＡ及びＣＢＬ形式（集合的にＣＢと呼ぶ）は，精神の三つの状態，すなわち，自信がある，自信がない及び無知を包含する。個人は特定の回答を選択することを強制されず，一つの回答若しくは二つの回答を自由に選択し，又は回答を知らないと述べることを自由に行うことができる。ＣＢ回答形式は，受験者が実際に考え，感ずる状態とより密接に調和する。個人は，推測が不利であり，自信がある振りをするよりも，自信がないこと及び無知を認める方がよいことを急速に学習する。さらに，ＣＢＡは推測をやめさせようとするため，受験者は，受験戦略及び得点を膨らませようとすることから，実際の知識及び自分の自信についての正直な自己評価に自分の焦点をシフトさせる。実際，より正確かつ正直に，個人は自己の知識及び自信の心情を自己評価すればするほど，数値得点はよくなる。

ここで，参照を容易にするため，上で説明し参照によって組み込んだ先行出願及びシステムを説明する。図１に示すように，先行技術の知識評価方法及び学習システム５は，利用者の対話要求に応えるために，分散型の情報参照試験及び学習方法１０を提供する。一人の利用者がいくつかの機能を実行し，多くの役割をはたすことができる一方，任意の数の利用者は一つの機能を実行し又は一つの役割をはたすことだけができる。例えば，システム管理者１２は，試験評価管理を実行し，（パスワード，指紋データ，等によって）利用者１４の真正性を確認し，学習者を含む複数の利用者１４に試験問題を配信し，正常性（ｒｅｇｕｒａｌｉｔｙ），評価及びフィードバックのために試験期間（ｓｅｓｓｉｏｎ）を監視することができる。同様に，システム利用者１４は管理者１２に認証を提供し，試験を受ける。利用者１４は，何らかの問題が生じたとき，適切な要員が配置されているであろうヘルプデスク１６を利用できる。コンテンツ開発者１８又は試験の作者は，試験のコンテンツ及び／又は関係する学習コンテンツを設計し制作する。

図２及び３は，知識評価及び学習機能の配信を行うために用いることができる計算機ネットワークアーキテクチャの一つの実施形態を示し，この実施形態は，概略，図３に論理ブロック１００で表した種々の機能ステップを包含する。知識評価の問題（ｑｕｅｒｙ）又は質問は，複数の被験者端末２０−１，２・・・ｎ及び２２−１，２・・・ｎを介して各登録機関の学習者に与えられる。各組織の試験を管理するために，１又は複数の管理者端末２５−１，２６−１が提供される。各被験者端末２０，２２及び管理者端末２５，２６は計算機ワークステーションとして示されており，それぞれ，学習者及び管理者が便利に利用できるように遠隔に配置されている。通信は，計算機映像表示装置，キーボード，タッチパッド，「ゲームパッド」，携帯装置，マウス，のような入力装置，及び当業において既知のほかの装置によって行われる。各被験者端末２０，２２及び管理者端末２５，２６は，音響，映像，図形，仮想現実，文書及びデータの混成物を伝えるために十分な処理能力を用いることが望ましい。

学習者端末２０，２２及び管理者端末２５，２６の集合は，ネットワークハブ４０を介して１又は複数のネットワークサーバ３０に接続されている。サーバ３０は，問題の記録及び試験結果のレポジトリとして働くＲＡＩＤメモリのような記憶設備を備えている。

図２に示すように，局所サーバ３０−１，３０−２は相互に，及びコースウェアサーバ３０１３に通信接続されている。システムの遠隔運用性の例として，サーバ接続は通常のルータ６０によってインターネットバックボーン５０を介して実現されている。インターネットバックボーン５０を介して転送される情報は，送信制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）を含む業界標準によって実現されている。

コースウェア，すなわち，教育及び訓練に特化したソフトウェア及び管理支援ソフトウェアはコースウェアサーバ３０−３に記憶され維持され，システム横断的に共有可能なコースウェアオブジェクトに関する航空産業ＣＢＴ委員会（ＡＩＣＣ）又は共有可能コンテンツオブジェクト参照モデル（ＳＣＯＲＭ）のような，分散学習モデル（ＡＤＬイニシアティブ）用の業界標準に適合することが望ましい。コースウェアサーバ３０−３は，図３に示す機能ステップを含む本発明のソフトウェアソリューションをサポートし，実現する。このソフトウェアは学習者端末２０，２２上で動作することができ，管理者によって管理される個人に従う。システム８は，教育及び学習教材，試験コンテンツ，並びに性能及び管理関係情報の記憶及び取得を含むための種々のデータベースの電子記憶設備を提供する。

動作中，任意の遠隔にいる学習者は，学習者端末２０，２２を介して，管理端末上の任意の管理者と通信することができる。システム８及びそのソフトウェアは，利用者（システム管理者１２，学習者１４及び試験コンテンツ開発者１８を含む）とシステムとの間の通信インタフェースの一部として，知識評価過程を通じて迅速かつ容易なナビゲーションを可能にするため，いくつかのウェブベースのページ及び書式を提供する。本発明の知識評価及び学習システムのウェブベースの，ブラウザがサポートするホームページがシステム利用者に提示され，該ホームページは利用者がシステムのウェブサイト及びその関連コンテンツにアクセスするためのゲートウェイとして働く。このホームページは，システムの利用及び利用者認証のために必要な計算機スクリプトを組み込んだメンバ（利用者）サイン・インメニューバーを含む。説明として，「メンバ」という用語はここでは「利用者」と同義に用いることがある。

メンバサイン・インは，当業において一般的に行われるように，システム８が利用者の身元及び承認された利用レベルの認証を行うように促す。

本発明の態様は，試験管理者又は試験コンテンツ開発者のような利用者が試験を作成できる計算機ソフトウェアベースの手段，すなわち試験ビルダモジュール１０２を提供する。

例として，ここで見本の試験に関して試験作成又はビルドについて説明する。見本の試験は，「ビルド」オプションを有するホームページを介して利用可能である。この「ビルド」オプションを選択すると，試験ビルダ画面に導かれる。試験ビルダの主画面は，試験作成の主要態様にアクセスするナビゲーションボタン又はほかの手段を組み込んでいる。試験ビルダ画面は，課金及び利用者認証，試験作成，編集及びアップロード，利用者のフィードバック統計の検討のような管理タスクを支援するいくつかの機能ソフトウェアスクリプトを含み，新規の試験を作成するための，システム８との利用者インタフェースを提供する。ここで説明のために，試験ビルダ画面は「新規試験画面」とも呼ばれる。

利用者の認証が行われると，システム８は利用者を試験ビルダ画面に導く。試験ビルダ画面は，試験識別情報，試験名称及び作者の身元のような情報をテキストボックスに入れるように利用者を促し，試験ビルドモジュールを初期化する。試験初期化が行われると，システムは利用者に試験コンテンツの入力に関するオプション，すなわち，試験新規作成，既存の試験及び／又は画像の編集，を提供する。

システム８はさらに，テキスト及び画像表示のためのフォント，サイズ及び色表示を含めるための，ハイパテキストマーク付け言語（ＨＴＭＬ）及びほかのブラウザ／ソフトウェア言語で書かれた編集及び書式化支援機能を提供する。さらに，システム８は，教育教材に関して，画像と質問及び問題とを関係付けるハイパリンクサポートを提供する。

上述のとおり，システム８は，利用者とシステムとの間の通信インタフェースの一部として，いくつかのウェブベースのページ及び書式を用いて，リッチテキスト形式のファイルの全文又は一部をインポートして用いるために，該ファイルを利用者がアップロードすることを可能にするようになっている。さらに，試験ビルダモジュール１０２もまた，＊．ＧＩＦ及び＊．ＪＰＥＧのような種々の普通に用いられる形式の画像ファイルを受け入れるようになっている。この特徴は，試験問題が，音響，映像及び／又はマルチメディアの合図（ｃｕｅ）を必要とする場合に有利である。システムへのテキスト及び画像のアップロードは，利用者が，利用者インタフェース又は画面の一部として組み込まれたスクリプト又はほかの手段を起動（ａｃｔｉｖａｔｅ）することによって行われる。試験ビルダ（「新規試験作成」）画面の一部として画面にハイパリンクが提供され，このハイパリンクがシステムスクリプトを起動して，通常のファイル転送プロトコルを介したファイル転送機能が実行される。

試験ビルダモジュール１０２は，試験の作者が自分の既存の試験を適切な形式に変換し，又は適切な形式の新規の試験を作成することを可能にする。試験の作者は，質問又は問題及び複数の選択可能な回答を入力する。各質問は，正しい選択として指定された回答を有していなければならず，ほかの二つの回答は不正，すなわち誤った応答であると推定される。示された例においては，各問題は三つの選択可能な選択肢を有する。

利用者に提示されるウェブページの一部として組み込まれた入力機能を用いて試験の本体が作成されると，試験ビルダ１０２は１次元正誤回答を非１次元回答形式に構成する。このようにして，問題が三つの選択可能な回答を有する本発明の一実施形態においては，所定の自信カテゴリ又はレベルに従って，２次元回答の形態の非１次元試験が構成される。１００％確信（唯一の回答を選択），５０％確信（回答を最もよく表す選択対，すなわち（Ａ若しくはＢ），（Ｂ若しくはＣ）又は（Ａ若しくはＣ）を選択），分からない，と指定された３レベルの自信カテゴリが提供される。５０％確信カテゴリについては，回答は選択対の可能な組合せ，すなわち，（Ａ若しくはＢ），（Ｂ若しくはＣ）又は（Ａ若しくはＣ）に振り分けられる。試験全体に，システム８によって指定された各問題は指定された番号の質問フィールドに，そして指定された各回答は指定された文字の回答フィールドに配置される。次に，問題と，自信カテゴリと，選択可能な回答の関係する選択肢とが，利用者の端末に表示できるように編成及び書式化される。回答の選択可能な各選択肢はさらに，応答の指示としての学習者から入力を受け入れるためのポイントアンドクリック（ｐｏｉｎｔ−ａｎｄ−ｃｌｉｃｋ）ボタンのような入力手段と関係付けられる。本発明の一実施形態においては，試験問題と，自信カテゴリと，回答との提示は，普通に用いられるインターネットベースのブラウザによってサポートされる。入力手段は，回答の選択可能な各選択肢に隣接する別個の指示及びクリックボタンとして示してもよい。代替として，入力手段は，学習者が回答を指示し，クリックしたときに起動される回答選択表示の一部として埋め込んでもよい。

上の説明から分かるように，システムは，非１次元問題の作成又は従来の１次元又は「正誤」問題の変換を極めて容易にする。本発明の試験及び学習ビルド機能は，試験が作成される試験教材の性質によらない（ｂｌｉｎｄ）。問題又は質問ごとに，システムは，内容ではなく試験問題の形態と，選択可能な回答及び正答と，学習者が選択した回答の選択肢とに対して作用するだけでよい。

試験ビルダ１０２はまた，利用者が各問題を特定の学習教材又はその問題に属する情報にリンクできるようにする。教材はシステムが記憶しており，利用者がテキスト作成の参考として直ぐにアクセスできるようにする。教材はまたデータベースを形成し，学習者は，自分に与えられた知識評価の成績に基づいて，更なる訓練又は再教育のために，そのデータベースを指示される。これらの学習教材は，テキスト，アニメーション，音響，映像，ウェブページ，ＩＰＩＸカメラ及び訓練教材の類似の出所を含む。試験ビルダ機能の一部である入力機能は，これらのリンクした教材をシステムに取り入れるために提供される。

知識評価の問題又は試験の学習者への提示は，「試験表示」又は試験表示モジュール１０４によって開始される。計算機スクリプトによって支援された試験表示モジュール１０４は，各学習者の認証と，評価期間の通知と，学習者に視覚的提示を行うためのシステムからの問題の取得とのための管理機能を含む。任意選択で，問い合わせは，管理者が決定したとおり，システム８に記憶された学習教材又はコースウェアのデータベース又はほかのリソース若しくはウェブサイトへの適切な統一資源位置指示子（ＵＲＬ）によってリンク可能なハイパテキスト又はほかのソフトウェア言語形式で提示してもよい。

上述のとおり，学習者の知識評価は，上記のいくつかの非１次元問題を学習者に提示することによって開始される。これらの問い合わせはそれぞれ，所定の自信カテゴリから選択可能な多数の多肢選択回答に対する応答として回答可能である。

一実施形態の例として，試験問題又は質問は，三つの回答選択肢と，学習者の応答及び学習者の当該選択の自信カテゴリを含む２次元回答パターンとからなる。自信カテゴリは，「自信がある」，「ある程度自信がある」及び「知らない」である。何らの応答もない問題は，「知らない」の選択と考えられ，「知らない」が省略時値となる。別の実施形態においては，「知らない」の選択肢が「分からない」の選択肢で置き換えられる。

知識評価の態様は，学習者を別々の地理的位置及び別々の期間に分離するように行ってもよい。さらに，知識評価を学習者に試験問題を提示しながら実時間で行ってもよい。試験問題の全部をまとめて学習者のワークステーションにダウンロードしてもよく，その場合，応答がシステム８のコースウェアサーバに伝送（アップロード）されるまでに，問題全体が回答される。代替として，試験問題を一つずつ提示して，その都度問題に回答するようにしてもよく，回答したとき学習者の応答がコースウェアサーバに伝送される。知識評価を行う双方の方法に，被験者が提示された試験問題のうちいずれか又はすべてに応答する時間の測定を行うための，ワークステーション又はコースウェアサーバに存在するソフトウェアスクリプト又はサブルーチンを，任意選択で付随させてもよい。そのように変更したとき，時間計測スクリプト又はサブルーチンは，時刻マーカとして機能する。本発明の例示実施形態において，電子時刻マーカは，コースウェアサーバが試験問題を学習者に送信した時刻と，学習者が回答の応答をサーバに返却した時刻とを特定する。これら２つの時刻マークを比較することによって，被験者が試験問題を検討し，応答した時間が得られる。

すべての問題が回答されたとき，学習者が被験者のワークステーション端末又は入力装置の「試験を採点」ボタンバーをクリックすることによって，「試験を採点」機能が呼び出され，知識評価期間が終了する。システム８は「応答を収集」又は応答収集モジュール１０６の動作を開始させ，このモジュールは試験問題に対する学習者の応答を収集する計算機ソフトウェアルーチンを有する。次にこれらの応答が整理され，システム８に関係する収集された応答のデータベースに安全に記憶される。

その後，採点エンジン又は応答比較モジュール１０８（応答の比較）が呼び出されて，被験者の応答について指定された正答との「正答と応答との比較」が行われ，これに基づいて総得点が計算される。

先行システムにおいては，所定の加重採点方式を用いて学習者の応答又は回答が集計（ｃｏｍｐｉｌｅ）される採点プロトコルが採用されている。この加重採点プロトコルは，学習者が高い自信レベルを示したものと関係する正しい応答に対して，学習者に所定の得点を与える。ここで，このような得点を真の知識得点と呼び，試験問題の主題における学習者の真の知識の程度を反映するものとなる。

逆に，本採点プロトコルは，高い自信レベルが示されたものと関係する誤った応答について，学習者に負の得点，すなわちペナルティーを与える。この負の得点，すなわちペナルティーは，同一の試験問題に関する知識得点よりも著しく大きな所定の値を有する。ここで，このようなペナルティーを誤った情報（ｍｉｓｉｎｆｏｒｍａｔｉｏｎ）得点と呼び，学習者が主題を誤解していることを示すことになる。

得点は採点モジュール１０８に廻され，採点モジュールは学習者の生得点及びほかの種々の成績インデクスを計算する。システム８は「学習者フィードバック準備」モジュール１１０を更に含み，このモジュールはこのような成績データを準備し，「学習者フィードバック準備」モジュール１１４を介して学習者に成績データを準備する。同様に，「管理者フィードバック準備」モジュール１１２は被験者の成績データを準備し，「管理者フィードバックモジュール」１１６を介して試験管理者に成績データを準備する。本発明の一実施形態においては，これらの得点構成要素は，生得点，知識プロファイル，得点割合として表された集約得点知識プロファイル，自己確信得点，誤情報ギャップ，個人訓練計画，知識インデクス，及び成績評価を含む。

フィードバックの一部として，システム８は試験問題を編成し，知識品質領域に基づいて学習者又はほかのシステム利用者に提示する。システム８は，質問ごとに特定のカリキュラムを特定し，当該カリキュラムへのハイパリンクを生成し，このようにして品質領域に関して個人学習計画を設定する。このように，試験得点が計算され，学習者又はシステム利用者は，改善活動が推奨される情報不足の領域を特定することができる。

知識評価及び学習システムの種々のタスクは，任意の既知のネットワークアーキテクチャ及びソフトウェアソリューションによってサポートされる。図４は先行技術のフロー図であり，ここに開示する新態様と共に使用してもよい統合試験オーサリング，管理，追跡及び報告，並びに関係するデータベースを示す。

図４に示すように，試験作成のサポートにおいて，作成者利用者データベースＤＢ２０６において特定された適切な認証を有する試験作成者２０４によって試験ビルダページ２０２が開始される。データベース２０６は，作成者監督者２０８によって管理される。試験作成者２０４は試験問題のコンテンツ素材を提供し，試験データベース，試験ＤＢ２１０に記憶される。試験ページ２１４が作成され，ＤＢ２１０からの試験コンテンツ素材及びＤＢ２１７からの試験指示が組み込まれる。ＤＢ２１７は，試験コンテンツ，試験スケジュール及び学習者認証に対する運用管理のような機能を含む。ＤＢ２１７は，校閲者監督者２１８によって管理及び制御される。

試験問題は試験ページ２１４を介して１又は複数の認証された学習者２１６に与えられる。試験が終了すると直ぐに，結果が集められ，採点プログラムモジュール２１２に廻されて生得点２３２が計算される。生得点及びほかの成績データは，データベース２３５，２３６及び２３７の一部として記憶される。試験校閲者２２６は，試験結果データベース２３５，２３６，２３７を用いて，試験得点検討ページ２２２を生成する。試験得点検討ページ２２２の分析に基づいて，校閲者２２６は校閲者ＤＢ２２４を更新してもよい。次に，集められ，採点された試験結果は直ちに被験者に報告され，被験者には自分の結果２３５，２３６，２３７及び回答が提供され，各質問の説明２３４にハイパリンクアクセスができる。

実現されたこれらの先行システムに関係して，及び図１〜４において説明した構成はまた，本願に開示され，以降より詳細に説明する新規の処理及びシステムと共に用いてもよい。

本発明によるシステム及び方法の態様は，追加の態様を組み込むことによって自信ベースの方法を構造化されたＣＢＡ及びＣＢＬ形式に更に改良する。個人がＣＢＡ又はＣＢＫを終えた後，回答の組は知識プロファイルを生成するために用いられる。知識プロファイルは，誤り（誤った情報），不明，自信がない及び精通の範囲及び程度に関する，学習過程に関する情報を個人及び組織に提示する。

本発明の態様は，学習者の知識の真の程度を正確に評価し，特定された不足領域に従って被験者に学習教材又は教育教材を改善として提供する，知識評価及び学習のための方法及びシステムを提供する。本発明は，自信ベースの評価及び学習技法の利用を組み込み，マイクロプロセッサベースの計算装置又はネットワーク通信クライアントサーバシステムに展開可能である。

本発明による装置及び方法のほかの態様は，各学習者が特定の質問にどのように回答したかに応じて，学習及び評価システムのコンテンツを個別化して各学習者に配信する個人別，適応型の評価及び学習の機構を提供する。

ある実施形態においては，これらの応答は各学習者の知識，技能及び自信の表明（ｍａｎｉｆｅｓｔ）に応じて変わり，システム及びその基になるアルゴリズムは，質問ごとに学習者が与える知識品質に応じて，将来の評価質問及び関係する改善を適応的に与えるであろう。

本発明のほかの態様は，詳細な学習結果表明（ｓｔａｔｅｍｅｎｔ）と，学習者が各学習結果表明に関する必要な知識及び／又は技能を取得できるようにする主題と，学習者が各学習結果表明と，知識又は技能における自分の自信に関する知識及び／又は技能とを実際に取得したかどうかを検証するための多次元評価とを継目なく統合する組込み機構を提供する再利用可能学習オブジェクト構造の利用である。これらの学習オブジェクトの再利用可能性は，作者が既存の学習オブジェクトを容易に探索し，特定し，再利用し又は再目的化できるように，本発明に組み込まれたコンテンツ管理システムを通じて可能になる。

本発明のほかの態様は，管理者，作者，登録者（ｒｅｇｉｓｔｒａｒ）及び作者が，各利用者の知識表明の品質及び学習オブジェクト内に表示された学習教材の品質双方を評価できるように，統合された報告機能を含む。報告機能は，利用者応答ごとにデータベースに記憶されたデータに基づいて，高度に個別化可能である。

別の態様によれば，知識評価のシステム及び方法は，複数の多肢選択質問及び２次元回答を学習者に表示するステップと，学習教材のデータベースにアクセスするステップと，複数の多肢選択質問及び２次元回答を学習者に送信するステップとを有する。これらの回答は単一選択回答からなる複数の完全に自信のある回答と，複数の単一選択回答の１又は複数の組からなるある程度自信のある回答と，分からない回答とを含む。この方法は，２次元質問に対する学習者の応答に基づいて種々の知識状態名称（ｄｅｓｉｇｎａｔｉｏｎ）を指定することによって，学習者に与えられた自信ベース評価（ＣＢＡ）を採点するステップを更に有する。

本発明の態様による知識及び誤った情報の試験及び学習システムの種々の参加者及び対話を示す，先行技術の概念設計を示す図である。 本発明の態様による方法及びシステムをサポートする例示計算機ネットワークアーキテクチャの先行技術の概要図である。 本発明の態様による試験及び報告構成の実施例の先行技術論理ブロック図である。 本発明の態様による統合された試験，管理，追跡及び報告並びに関係するデータベースを提供するネットワークアーキテクチャ及びソフトウェアソリューションを示す先行技術フロー図である。 本発明の態様による七つの応答選択肢を有する質問及び回答書式を示す画面プリントである。 本発明の態様による適用型学習フレームワークの概要を示す図である。 本発明の態様によって用いられるラウンド選択アルゴリズムを示す図である。 本発明の態様によって用いられるラウンド選択アルゴリズムを示す図である。 本発明の態様によって用いられるラウンド選択アルゴリズムを示す図である。 利用者応答がどのように採点されるか，及びこれらの得点が評価及び改善による進捗をどのように決定するかを概略示す，本発明の態様によって使用される処理アルゴリズムの例を示す図である。 利用者応答がどのように採点されるか，及びこれらの得点が評価及び改善による進捗をどのように決定するかを概略示す，本発明の態様によって使用される処理アルゴリズムの例を示す図である。 利用者応答がどのように採点されるか，及びこれらの得点が評価及び改善による進捗をどのように決定するかを概略示す，本発明の態様によって使用される処理アルゴリズムの例を示す図である。 利用者応答がどのように採点されるか，及びこれらの得点が評価及び改善による進捗をどのように決定するかを概略示す，本発明の態様によって使用される処理アルゴリズムの例を示す図である。 本発明の態様によって構築されたシステムによって生成された知識プロファイルの例を示す図である。 本発明の態様によって構築されたシステムによって生成された種々の報告機能を示す図である。 本発明の態様によって構築されたシステムによって生成された種々の報告機能を示す図である。 本発明の態様によって構築されたシステムによって生成された種々の報告機能を示す図である。 本発明の態様によって構築されたシステムによって生成された種々の報告機能を示す図である。 本発明の態様によって構築されたシステムによって生成された種々の報告機能を示す図である。 本発明の態様に関係して用いられる３層応用システムアーキテクチャを示す図である。 本発明の態様と共に用いることができる機械又はほかの構造的実施形態を示す図である。 再利用可能学習オブジェクトの構造と，これらの学習オブジェクトがどのようにモジュールに編成されるかと，これらのモジュールが学習者に表示するためにどのように発行されるかと，を示す図である。

本発明の実施形態及び態様は，知識評価及び学習を行う方法及びシステムを提供する。種々の実施形態は，マイクロプロセッサベースのシステム又はネットワーク通信クライアントサーバシステムに展開可能な自信ベース評価及び学習技法の利用を組み込み，このシステムは学習者から知識ベース及び自信ベースの情報を抽出する。一般的な意味において，この評価は非１次元試験技法を組み込む。

別の態様によれば，本発明は自信ベース評価（ＣＢＡ）及び自信ベース学習（ＣＢＬ）のための堅固な方法及びシステムであって，一つの回答が，当該個人の応答における自分の自信及び正確さに関する二つの計量を生成し，直ちに改善を行う方法を容易にする。これは，三つの主要ツールによって達成される。

１．回答を推測する必要をなくす試験及び採点形式。これによって「実際の」情報品質のより正確な評価が可能になる。

２．人が，（１）正確に知っていること，（２）ある程度知っていること，（３）知らないこと，（４）確かに知っているが実際には正しくないこと，をより正確に明らかにする採点方法。

３．真に教育的又は再教育的注意を必要とする領域にだけ焦点を合わせた，結果として得られる知識プロファイル。

一般に，前述のツールは次の方法，すなわち「学習サイクル」によって実現される。

１．評価を行う。これは，標準の三択（“Ａ”，“Ｂ”及び“Ｃ”）試験を，質問ごとに三つの精神状態，自信，自信がない及び無知を包含する，七つの選択可能な回答を有する構造化ＣＢＡ形式に編集し，これによって受験者の精神状態とより緊密に対応付けるステップから始まる。

２．知識プロファイルを検討する。回答の組が与えられたとき，推測をした学習者はペナルティーを課せられ，自信がある振りをするよりも，自信がないこと及び無知を認める方が良いことを学習者に教えるＣＢＡ採点アルゴリズムが実現される。次に，回答を意味のある知識領域により正確に分割し，誤り（誤った情報），不明，自信がない，精通の範囲及び程度に関して個人及び組織に豊富なフィードバックを与えるために，ＣＢＡの回答の組が集められ，知識プロファイルとして表示される。知識プロファイルは，特に損失の大きい知識及び情報誤りを減少させ，生産性を向上させる，より精通し，より高い情報品質を有する従業員が奨励される企業内訓練環境において，成績及び適性のより良い計量である。

３．教材に関して，質問，回答及び説明を検討する。

４．主題の教材をより良く理解するための更なる訓練及び情報リンクを検討する。

５．反復。上記の過程は，個人がコンテンツを適切に理解するために必要なだけ繰り返してもよい。この反復モデルの一部として，自信があるかつ正しいと採点された回答（どのアルゴリズムが用いられたかに依存する）は，学習者が自分の特定の技能ギャップに集中できるように，学習者に提示される質問のリストから削除してもよい。各反復の際，学習者に提示される質問の数は，ａｍｐＭｏｄｕｌｅ内のすべての質問のサブセットによって表してもよい。これはａｍｐＭｏｄｕｌｅの作者によって設定可能である。さらに，質問及び質問に対する回答が，システムを構成するソフトウェアコード内に呼び出された乱数発生器を使用して，各反復の際に無作為順に提示される。

一つの態様によれば，本発明は知識プロファイルを生成する。知識プロファイルはシステム利用者の形成的かつ総括的評価を含み，種々の知識品質レベルを特定する。このような情報に基づいて，システムは，１又は複数のアルゴリズムによって，利用者の知識プロファイルと，学習教材のデータベースとを関係付け，次に，主題の応答についての検討及び／又は再教育のために，結果がシステム利用者，すなわち学習者に伝送される。

システム利用者による試験管理及び学習の種々の態様の対話型の調整は，情報及び学習教材の記憶，試験又は問題の作成，編集，採点，報告及び学習を含む。

本発明の態様は，スタンドアロンのパーソナル計算機システム上に展開できるように変更可能である。さらに，本発明の態様は，ワールドワイドウェブのような計算機ネットワーク環境又はイントラネットクライアントサーバシステム上にも展開できる。ここで，「クライアント」は一般に，ほかの計算装置，すなわちサーバによって提供される共有ネットワーク資源を利用できるようにした計算装置を表す。例えば，図２及び１５に示したネットワーク環境を参照されたい。種々の利用者許可レベルによる対話を可能にするために，種々のデータベース構造及び応用層が組み込まれる。これについてはそれぞれ，以降より詳細に説明する。

本発明によって構築されたシステムのほかの態様によれば，次の機能のうち１又は複数もまた組み込んでもよい。以降の説明において，参照を容易にするため特定の技術用語を用いるが，それは請求項に記載されたものと異なってこれらの用語の範囲を制限するものではない。

“ａｍｐＵｎｉｔ”は，学習者又は評価及び学習システムのほかの利用者に提示される個々の質問／回答を指す。

“ａｍｐＭｏｄｕｌｅ”は，任意の所与の試験／評価状況において学習者に提示されるａｍｐＵｎｉｔの集合（例えば質問及び回答）を指す。

ＣＢＡ試験の編集及び採点形式
ＣＢＡ書式で試験を作成，開発又は別様に編集することは，三択（“Ａ”，“Ｂ”及び“Ｃ”）質問を含む標準の多肢選択試験を，三つの精神状態，自信がある，自信がない及び無知を包含する，七つの選択肢によって回答可能な質問に変換することを伴う。

図５は，七つの応答選択肢を有するこのような質問及び回答書式を示す画面プリントである。提示された質問に対して，学習者は自分の主題の回答と，自分の選択に対する自信のレベルとの双方を示す２次元回答をすることが要求される。図５の例において，質問の下に１次元選択肢が掲げられている。しかし，学習者はまた第２の次元にも回答するよう要求され，その回答は，「自信がある」，「ある程度自信がある」及び「分からない」という見出しで分類されている。「自信がある」カテゴリは，三つの単一選択回答（Ａ〜Ｃ）を含む。「ある程度自信がある」カテゴリは，被験者に任意の二つの単一選択回答の組（Ａ又はＢ，Ｂ又はＣ，Ａ又はＣ）を選択することを許可する。「分からない」カテゴリもあり，これは一つの特定の「分からない」という回答を含む。この３択７回答書式は，３より少ない選択肢は，回答を推測し，それが正答になることが容易になるため，誤りを招くことを示した研究に基づいている。３以上の選択肢は，試験の真の得点に負の影響（前の選択を思い出す）を与える混同のレベルを生じることがある。

図６は，本発明の態様において実現された適応型学習フレームワーク構造の高次概要を示している。ここに開示する態様による全方法及びシステムは，学習者の以前の応答に応じて各学習者に評価及び学習プログラムを提供することによって，実時間で適応する。本発明のほかの態様によれば，学習及び評価システムのコンテンツは，各学習者が特定の質問にどのように回答したかに応じて，個別に各学習者に伝えられる。特に，これらの応答は各学習者の知識，技能及び自信の表明に応じて変化し，システム及びその基となるアルゴリズムは，質問ごとに学習者が示した知識品質に応じて適応的に将来の評価質問及び関係する改善を提供する。

反復によって記憶を増加させる
学習者の自信は，知識の記憶（ｒｅｔｅｎｔｉｏｎ）と強く相関している。上述のとおり，本方法は学習者の自信のレベルを問い，測定する。しかし，真の知識に到達するように，被験者に自分の回答を確信させることによって，自信のレベルは更に動き，それによって知識の記憶が増加する。これは，反復ステップによってある程度達成される。上述のとおり，個人がＣＢＡにおける教材の結果を検討した後，学習者は真の知識に達するまで必要なだけ評価を繰り返し受けることができる。これは多重知識プロファイルとなり，個人が，評価過程における自分の進捗を理解し，測定することを補助する。

一つの実施形態においては，個人が評価を再び受けたとき，以前の評価と同一の順序で同一の質問に遭遇しないように質問は無作為化される。質問は，主題領域を包含するように一定の質問の組があるデータベース内で開発される。真の知識取得及び教材の試験を行うために，各回には質問の山ではなく一定数の質問が提示される。これによって個人が回ごとに教材の理解を伸ばし，進捗することを可能にする。

学習者へのａｍｐＵｎｉｔ（質問）の表示
上で説明した先行技術の実施形態においては，質問は全体として（すべての質問が一度にリストで）利用者に表示され，利用者もまた全体として質問に回答する。ここで説明する別の実施形態においては，質問は一つずつ表示される。更なる実施形態によれば，質問を利用者に表示する方法を全体的に無作為にすることによって学習が強化される。概略として，質問の分類を選択することによって，システムが学習環境を特定のシナリオにより良く合わせられるようになる。上述のとおり，いくつかの実施形態において，質問及び質問の集合はそれぞれ，ａｍｐＵｎｉｔ及びａｍｐＭｏｄｕｌｅと呼ばれる。一つの実施形態においては，作者は，任意の所与の学習ラウンドにおいて，所与のａｍｐＭｏｄｕｌｅ内の全ａｍｐＵｎｉｔのうち一部だけが提示されるようにａｍｐＵｎｉｔを「一かたまり」（ｃｈｕｎｋ）にするか，別様にグループ分けするかを設定してもよい。ａｍｐＵｎｉｔはまた，学習の各ラウンドすなわち反復において無作為順に利用者に提示してもよい。学習システムの作者は，学習の各ラウンドにおいて，所与のａｍｐＵｎｉｔ内の回答が常に無作為順に表示されるように選択してもよい。質問提示の無作為化は，学習環境の学習部及び評価部双方に組み込んでもよい。

この態様は，ａｍｐＵｎｉｔが以前どのように回答されたかに基づいて，任意の所与のラウンドにおいて質問が表示される確率を決定するために，加重システムを用いる。一つの実施形態においては，特定の質問が以前のラウンドで正しく回答されなかったとき，当該質問が表示される確率が高い。図６Ａ〜６Ｃは，本発明の態様によるラウンド選択アルゴリズム及び処理フローを示している。

続けて図６Ａ〜６Ｃを参照すると，アルゴリズムのフロー１０００は概略，特定の学習ラウンドにおいて，質問選択に従って用いられる論理の一実施形態を示している。ステップ１００２〜１０５２の各ステップの説明はフローチャート内に含まれており，論理ステップは，処理フローを示すためにフローチャート内の種々の決定ノードに示されている。

採点及び試験評価アルゴリズム
知識評価及び試験システムの実現に関係する態様は，特定の試験環境を評価し，採点する種々の新規なアルゴリズムを呼び出す。図７Ａ〜７Ｄは，知識評価及び学習の四つの「目標状態」方式を示すアルゴリズムのフローチャートを示す。図７Ａは初期評価方式を示し，図７Ｂは直接採点方式を示し，図７Ｃは「１回正答」習熟方式を示し，図７Ｄは「２回正答」精通方式を示す。これらの目標状態はそれぞれ，システムの作者又は管理者が特定の試験期間における学習者に対する適切な目標として決定される。図７Ａ〜７Ｄにおいて，質問に対する任意の特定の応答を記述するために次の専門用語が用いられる。ＣＣ＝自信があるかつ正しい，ＤＣ＝自信がないかつ正しい，ＮＳ＝分からない，ＤＩ＝自信がないかつ誤った，ＣＩ＝自信があるかつ誤った。

初めに図７Ａを参照すると，初見の質問（ＵＮＳ）３０２が学習者に提示される評価アルゴリズム３００が示されている。学習者からの応答に応じて，当該特定質問に対する学習者の知識レベルに関する評価が行われる。学習者が質問に確信し，正しく（ＣＣ）回答したとき，知識状態は「熟達した」３０４と認定される。学習者が自信はないが正しく回答したとき，知識状態は「知識がある」３０６と認定される。学習者が分からないと回答したとき，知識状態は「分からない」３０８と認定される。学習者が自信なく回答し，回答が誤っているとき，知識状態は「知識がない」３１０と認定される。最後に，学習者が確信して回答し，回答が誤っているとき，知識状態は「誤解した」３１２と認定される。

図７Ｂを参照すると，直接採点アルゴリズムが示されている。直接採点アルゴリズム４００の左側は評価アルゴリズム３００と類似であり，初期応当カテゴリが対応する評価状態の名称に対応付けられる。初めに図７Ｂを参照すると，最初に初見の質問（ＵＮＳ）４０２が学習者に提示される評価状態アルゴリズム４００が示されている。学習者からの応答に応じて，当該特定質問に対する学習者の知識レベル状態に関する評価が行われる。学習者が質問に確信し，正しく（ＣＣ）回答したとき，知識状態は「熟達した」４０４と認定される。学習者が自信はないが正しく回答したとき，知識状態は「知識がある」４０６と認定される。学習者が分からないと回答したとき，知識状態は「分からない」４０８と認定される。学習者が自信なく回答し，回答が誤っているとき，知識状態は「知識がない」４１０と認定される。最後に，学習者が確信して回答し，回答が誤っているとき，知識状態は「誤解した」４１２と認定される。図７Ｂに示されたアルゴリズムにおいて，特定の質問に対して同一の応答が２回与えられたとき，評価状態名称は変化せず，学習者は当該特定質問に対して同一の知識レベルを有すると判定される。

図７Ｃを参照すると，１回正答熟達アルゴリズムが示されている。図７Ｃにおいて，学習者の知識の評価は，同一の質問に続く回答によって判定される。図７Ａ及び図７Ｂに示すように，初期質問５０２が提出され，その質問に対する応答に基づいて，学習者の知識状態を「熟達した」５０４，「知識がある」５０６，「分からない」５０８，「知識がない」５１０及び「誤解した」５１２のいずれかに認定される。図７Ｃにおいて，特定の応答ごとの凡例は前のアルゴリズム処理と類似しており，図７Ａにおいて記されたとおりである。最初の応答の分類に基づいて，同一の質問に対する学習者の後続の回答は，図７Ｃに開示したアルゴリズムに従って，学習者の知識レベル状態をシフトさせる。例えば，応答が自信があるかつ正しい（ＣＣ）であり，したがって「熟達した」５０４に分類された最初の質問を参照すると，利用者が同一の質問に後に「自信があるかつ誤った」回答をしたとき，当該特定質問の利用者の知識の評価状態は，「熟達した」５０４から「知識がない」５２０に遷移する。図７Ｃで述べた方式に従って，当該学習者が「分からない」と回答したときは，評価状態は「分からない」５１８と分類される。評価状態ステータスの変化は，同一の質問に対する種々の回答を考慮する。図７Ｃは，特定の質問に対する種々の回答の組について取り得る種々の評価状態経路を詳細に示している。図７Ｃに示された別の例として，学習者が最初に「誤解した」５１２回答をし，続いて「自信があるかつ正しい」回答をしたとき，結果の評価状態は「知識がある」５１６になる。図７Ｃは「熟達」試験アルゴリズムを設計しているため，「精通した」状態５２４を適用することはできない。

図７Ｄを参照すると，２回正答精通アルゴリズム６００が示されている。図７Ｃに類似して，アルゴリズム６００は同一の質問に対する複数の回答を考慮する知識評価の過程を示している。前の図のように，初めの質問６０２が提示され，その質問に対する応答に基づいて，学習者の知識状態が，「熟達した」６０４，「知識がある」６０６，「分からない」６０８，「知識がない」６１０又は「誤解した」６１２のいずれかに認定される。図７Ｄにおける特定応答ごとの凡例は前のアルゴリズム過程に類似しており，図７Ａに記されたとおりである。最初の応答の分類に基づいて，同一の質問に対する学習者の後続の回答は，図７Ｄに開示されたアルゴリズムに従って学習者の知識レベル状態をシフトさせる。図７Ｄに関しては，知識評価の追加の「精通した」状態が６３０及び６３２に含まれており，図７Ｄのフローに示された種々の質問及び回答シナリオに基づいて，適用することができる。一例として，質問６０２が学習者に提示される。この質問に「自信があるかつ正しい」回答をすると，評価状態は「熟達した」６０４と認定される。同一の質問に続いて２回目に「自信があるかつ正しい」回答をすると，評価状態は「精通した」６３２に移動する。この例において，システムは，学習者が続けて２回「自信があるかつ正しい」回答をすると，学習者は特定の事項に精通したと認識する。学習者が６０２で提示された質問に最初に「自信がないかつ正しい」回答をし，評価状態が「知識がない」６０６と分類されたとき，「精通」を達成するためには，その後，当該質問に続けて２回「自信があるかつ正しい」回答をする必要がある。図７Ｄは，特定の質問に対する種々の回答の組について取り得る種々の評価経路を詳細に示している。

図７Ｄの例においては，「精通」知識状態に至るいくつかの取り得る経路があるが，これらのそれぞれにおいて，特定のａｍｐＵｎｉｔに続けて２回正しくかつ確信して回答する必要がある。一つのシナリオにおいては，回答者が特定の質問に既に精通の状態にあり，その質問に「自信があるかつ正しい」以外の回答をしたとき，知識状態は所与の特定の回答に応じてほかの状態のうち一つに降格される。任意の所与の質問に対する学習者の応答に応じた精通への複数の経路は，利用者ごとに適応的で個別化された評価及び学習体験を生成する。

上述の実施形態それぞれにおいて，次の一般的なステップを実行するアルゴリズムが実現される。
１）作者が規定した目標状態構成を特定し，
２）目標状態に対する学習の各ラウンドにおける各質問に対する学習者の進捗を，同一の分類構造を用いて分類し，
３）ａｍｐＵｎｉｔ内の質問に対する最後の応答の分類に応じて，学習の次のラウンドにおいて当該ａｍｐＵｎｉｔを表示する。

これらのアルゴリズムの動作の更なる詳細及び実施形態は次のとおりである。

目標状態構成の特定：所与の知識評価の作者は，個別化した知識プロファイルに到達し，特定のａｍｐＵｎｉｔ（例えば質問）が完成したと認定されるかどうかを判定するために，システム内に種々の目標状態を規定してもよい。上述のアルゴリズムフローチャートによって実現され，図７Ａ〜７Ｄに関係するこれらの目標状態の追加の例は次のとおりである。
ａ．１回正答（熟達）：ａｍｐＵｎｉｔが完成したと認定されるまでに，学習者は「自信があるかつ正しい」回答を１回しなければならない。学習者が「自信があるかつ誤った」又は「ある程度自信があるかつ誤った」回答をしたときは，ａｍｐＵｎｉｔが完成したと認定されるまでに，学習者は「自信があるかつ正しい」回答を２回しなければならない。
ｂ．２回正答（精通）：ａｍｐＵｎｉｔが完成したと認定されるまでに，学習者は「自信があるかつ正しい」回答を２回しなければならない。学習者が「自信があるかつ誤った」又は「ある程度自信があるかつ誤った」回答をしたときは，ａｍｐＵｎｉｔが完成したと認定されるまでに，学習者は「自信があるかつ正しい」回答を３回しなければならない。管理者又は試験の作者の好みとして，上述のシナリオの一つについてａｍｐＵｎｉｔが「完成」と記されたとき，当該ａｍｐＵｎｉｔを更なる試験ラウンドから除いてもよい。

学習者の進捗を分類：システムの一定の態様は，ここで説明したものと類似の分類構造，例えば，「自信があるかつ正しい」，「自信があるかつ誤った」，「自信がないかつ正しい」，「自信がないかつ誤った」及び「分からない」を用いて，目標状態（上述）に対して，学習の各ラウンドにおける各質問に対する学習者の進捗を分類するようになっている。

引き続くａｍｐＵｎｉｔの表示：学習の次のラウンドにおけるａｍｐＵｎｉｔの表示は，目標状態に対する当該ａｍｐＵｎｉｔ内の質問に対する最後の応答の分類に依存する。例えば，「自信があるかつ誤った」応答は，学習の次のラウンドにおいても表示される確率が最も高い。

知識プロファイルの文書化：別の実施形態においては，文書化された知識プロファイルは次の情報のうち１又は複数に基づく。１）評価の作者によって設定された試験の構成された目標状態（例えば，精通対熟達），２）学習の各ラウンドにおける又は所与の評価内の学習者の評価の結果，及び３）実現された特定のアルゴリズムによって学習者の応答がどのように採点されるか。必要又は所望であれば，知識プロファイルは学習者及びほかの利用者が利用できるようにしてもよい。また，この機能は，評価の作者又はシステムのほかの管理者が選択的に実現してもよいものである。図８は，利用者が完了した評価の結果として生成されるかも知れない知識プロファイルのいくつかの表示例を示す。いくつかの実施形態においては知識プロファイルを生成するために別個のアルゴリズムが用いられ，それは応答のカテゴリによって分離された応答割合の単純なリスト上に記述された特徴に基づいてもよい。図８において，円グラフ７０２及び７０４は，学習者に伝えてもよい全知識プロファイルであって，２０個の質問評価の内訳及び学習の各カテゴリについてなされた進捗を示している。学習者によって与えられた任意の特定の質問に対する即時フィードバックが７０６，７０８，７１０及び７１２に示す形態で与えられる。

システムの役割：更なる実施形態において，上述のシステムの役割（被験者／最終利用者，コンテンツ開発者，管理者及びヘルプデスク）に加えて，学習者，作者，登録者及び分析者にも提供される。

機能ステップの例
一つの実施形態においては，評価の実行において次のステップが用いられる。下に列挙したステップのうち１又は複数を任意の順で実施してもよい。
ａ．作者がａｍｐＵｎｉｔを計画し開発する。
ｂ．ａｍｐＵｎｉｔを集約してモジュール（ａｍｐＭｏｄｕｌｅ）にする。
ｃ．ａｍｐＭｏｄｕｌｅを高次コンテナに集約する。これらのコンテナは，任意選択でコース又はプログラムとして分類してもよい。
ｄ．開発されたカリキュラムが適切な機能を有するかどうか確かめるために試験する。
ｅ．カリキュラムを発行し，利用に供する。
ｆ．１又は複数の学習者がカリキュラムに登録される。
ｇ．学習者は，カリキュラムに見出された評価及び／又は学習に取り組む。
ｈ．所与のモジュールにおいて学習の各ラウンドで学習者が評価及び学習段階双方を体験するように，学習を一かたまり又は別様にグループ化してもよい。
ｉ．学習のラウンドごとに，個別化され又は別様に適応的な知識プロファイルが開発され，各学習者に対話ベースで表示される。学習の各ラウンドにおいて提供される質問及び関連する改善は，ａｍｐＭｏｄｕｌｅの構成と，当該構成がどのように基になるアルゴリズムを修正するかと，に基づいて個別化され，適応的に供される。
ｊ．評価段階において，モジュールを完了した後で，熟達又は精通得点が学習者に示される。
ｋ．学習段階において，回答が提出されるごとに即時フィードバックが学習者に与えられる。
ｌ．ラウンド内の各評価ラウンドの完了後に，知識品質（分類）に関するフィードバックが与えられる。
ｍ．これまでに完了したすべてのラウンドに渡る知識品質（分類）及び任意の所与のａｍｐＭｏｄｕｌｅにおける熟達又は精通に至る進捗に関するフィードバックが与えられる。
ｎ．次に，各ａｍｐＵｎｉｔに関係する質問に学習者がどのように回答したかに応じて，学習ラウンドのａｍｐＭｏｄｕｌｅのａｍｐＵｎｉｔの適応型の個別化された組が学習者に提示される。システムの適応特性は，以前の学習ラウンドにおけるａｍｐＵｎｉｔに対する学習者の応答に基づいて，学習者がこれらのａｍｐＵｎｉｔをどれだけ頻繁に見たかを判定する計算機実現アルゴリズムによって制御される。同一の知識プロファイルがデータベースに捕捉され，後に報告データベースにコピーされる。

別の態様によれば，学習者又は指導員に種々の様相（ｍｏｄａｌｉｔｙ）で表示するための報告を，知識プロファイルデータから生成することができる。学習者は完了した任意のモジュールの検討に着手でき，完了した任意のモジュールの再履修（ｒｅｆｒｅｓｈｅｒ）に着手できる。作者が設定したモジュールに関係する目標の達成度を文書化した証明書を学習者が受け取れるように，システムを構成してもよい。図９〜１３は，特定の課題又は課題群における進捗を誘導するために用いることができる種々の例示報告を示す。図９は，学習モジュールを通じて精通に至る個々の学生の追跡を示す。図１０は，個人（分類）グループ）のキャンパスに関する一つの質問の精通に至る追跡を示す。図１１は，特定のコアコンピテンスに関する一つのクラスの追跡を示す。図１２は，章別に分解したオンライン学習ガイドの要約を示す。図１３は，モジュール課題別の一つのクラス又はグループの追跡を示す。

ハードウェア及び機器の実現：上述のとおり，ここで説明したシステムは，種々のデータベース及び利用者インタフェース構成の利用を含む，広範なスタンドアロン又はネットワーク化されたアーキテクチャで実現することができる。ここで説明した計算機構成は，評価及び学習教材の開発及び配信双方に用いることができ，スタンドアロンシステム及び（ワールドワイドウェブ又はインターネットを介した）ネットワーク分散型を含む広範な様相で動作することができる。さらに，ほかの実施形態は，複数の計算プラットホーム及び計算機装置の利用を含む。

多層（ｔｉｅｒｅｄ）システムアーキテクチャ：一つの実施形態においては，システムは，利用者インタフェース層と，表現層と，データベース層とからなる３層アーキテクチャを用い，各層はそれぞれライブラリで互いに結合されている。図１４は，本発明の一つの態様によって実現されるシステムアーキテクチャ７５０を示す。ウェブアプリケーションアーキテクチャ７５０は，本発明によって構築される装置及びシステムの種々の機械指向態様を実現するのに役立つ一つの構造実施形態である。アーキテクチャ７５０は，三つの一般的な階層，すなわち，表現層と，業務論理層と，データ抽象化及び永続性層とからなる。図１９に示すように，クライアントワークステーション７５２は，クライアント側表現層７５６を含むブラウザ７５４又はほかの利用者インタフェースアプリケーションを動作させる。クライアントワークステーション７５２は，サーバ側表現層７６０と，業務層７６２と，データ層７６４とを含むアプリケーションサーバ７５８に接続されている。アプリケーションサーバ７５８は，データベース７６８を含むデータベースサーバ７６６に接続されている。

図１５は，本発明の態様及び／又は方法のうち任意の１又は複数を装置に実行させる一組の命令を実行することができる計算機システム９００の形態の機械の一つの実施形態を示すブロック図である。計算機システム９００は，バス９１５を介して相互に及びほかの構成要素と通信するプロセッサ９０５及びメモリ９１０を含む。バス９１５は，限定ではないが，広範なバスアーキテクチャのいずれかを用いる，メモリバスと，メモリコントローラと，周辺バスと，ローカルバスと，それらの任意の組合せとを含むいくつかの種類のバス構造のいずれかを含んでもよい。

メモリ９１０は，限定ではないが，ランダムアクセスメモリ構成要素（例えば，静的ＲＡＭ“ＳＲＡＭ”，動的ＲＡＭ“ＤＲＡＭ”，等）と，リードオンリー構成要素と，これらの任意の組合せと，を含む種々の構成要素（例えば，機械可読媒体）を含んでもよい。一つの例においては，例えば起動時に計算機システム９００内の要素間で情報を転送することを補助する基本ルーチンを含む基本入出力システム９２０（ＢＩＯＳ）をメモリ９１０に記憶してもよい。メモリ９１０はまた，本発明の態様及び／又は方法のうち任意の１又は複数を実現する命令（例えばソフトウェア）９２５も含んでよい（例えば，１又は複数の機械可読媒体に記憶する）。別の例においては，メモリ９１０は，限定ではないが，オペレーティングシステムと，１又は複数の応用プログラムと，ほかのプログラムモジュールと，プログラムデータと，これらの任意の組合せと，を更に含んでもよい。

計算機システム９００はまた，記憶装置９３０を含んでもよい。記憶装置（例えば，記憶装置９３０）の例は，限定ではないが，ハードディスクに読み書きするハードディスクドライブと，着脱可能磁気ディスクに読み書きする磁気ディスクドライブと，光学メディア（例えばＣＤ，ＤＶＤ（登録商標），等）に読み書きする光ディスクドライブと，半導体メモリ装置と，これらの任意の組合せと，を含む。記憶装置９３０は適切なインタフェース（図示せず）によってバス９１５に接続してもよい。インタフェースの例は，限定ではないが，ＳＣＳＩと，高度技術接続（ＡＴＡ）と，直列ＡＴＡと，はん用直列バス（ＵＳＢ）と，ＩＥＥＥ１３９４（ＦＩＲＥＷＩＲＥ（登録商標））と，これらの任意の組合せと，を含む。一つの例においては，記憶装置９３０は計算機システム９００と（例えば，外部ポートコネクタ（図示せず）を介して）着脱可能に接続してもよい。特に，記憶装置９３０及び関係する機械可読媒体９３５は，機械可読命令の不揮発性及び／又は揮発性の記憶，データ構造体，プログラムモジュール，及び／又は計算機システム９００のほかのデータを提供することが好ましい。一つの例においては，ソフトウェア９２５は機械可読媒体９３５内に完全に又は部分的に存在してもよい。別の例においては，ソフトウェア９２５はプロセッサ９０５内に完全に又は部分的に存在してもよい。計算機システム９００はまた，入力装置９４０を含んでもよい。一つの例においては，計算機システム９００の利用者は入力装置９４０を介して計算機システム９００にコマンド及び／又はほかの情報を入力することができる。入力装置９４０の例は，限定ではないが，英数字入力装置（例えばキーボード）と，ポインティング装置と，ジョイスティックと，ゲームパッドと，音響入力装置（例えば，マイクロホン，音声応答システム，等）と，カーソル制御装置（例えば，マウス）と，タッチパッドと，光学スキャナと，映像キャプチャ装置（例えば，静止カメラ，ビデオカメラ）と，タッチスクリーンと，これらの任意の組合せと，を含む。入力装置９４０は，限定ではないが直列インタフェースと，並列インタフェースと，ゲームポートと，ＵＳＢインタフェースと，ＦＩＲＥＷＩＲＥ（登録商標）インタフェースと，バス９１５への直接インタフェースと，これらの任意の組合せと，を含む種々のインタフェース（図示せず）のいずれかを介してバス９１５に接続してもよい。

利用者はまた，記憶装置９３０（例えば，着脱可能ディスクドライブ，フラッシュドライブ，等）及び／又はネットワークインタフェースドライブ９４５を介して計算機システム９００にコマンド及び／又はほかの情報を入力してもよい。ネットワークインタフェース装置９４５のようなネットワークインタフェース装置は，計算機システム９００をネットワーク９５０のような種々のネットワークのうち１又は複数と，ネットワークに接続された１又は複数の遠隔装置９５５とに接続するために用いてもよい。ネットワークインタフェース装置の例は，限定ではないが，ネットワークインタフェースカードと，モデムと，これらの任意の組合せと，を含む。ネットワーク又はネットワークセグメントの例は，限定ではないが，広域網（例えば，インターネット，企業内網）と，構内網（例えば，オフィス，ビル，キャンパス，又はほかの比較的狭い地理的範囲）と，電話網と，二つの計算装置間の直接接続と，これらの任意の組合せと，を含む。ネットワーク９５０のようなネットワークは，有線通信モード及び／又は無線通信モードを用いてもよい。一般に，任意のネットワークトポロジを用いてもよい。情報（例えば，データ，ソフトウェア９２５，等）は，ネットワークインタフェース装置９４５を介して，計算機システム９００と通信してもよい。

計算機システム９００は，表示可能な画像を，表示装置９６５のような表示装置に伝送する映像表示アダプタ９６０を更に含んでもよい。表示装置は，上述の消費者に起因する汚染影響及び／又は汚染相殺に関する任意の数の，及び／又は種々の指標を表示するために用いてもよい。表示装置の例は，限定ではないが，液晶ディスプレイ（ＬＣＤ）と，陰極線管（ＣＲＴ）と，プラズマディスプレイと，これらの任意の組合せと，を含む。表示装置に加えて，計算機システム９００は，限定ではないが音響スピーカ，プリンタ，これらの任意の組合せと，を含む１又は複数の別の周辺出力装置を含んでもよい。このような周辺出力装置は周辺インタフェース９７０を介してバス９１５に接続してもよい。周辺インタフェースの例は，限定ではないが，直列ポートと，ＵＳＢ接続と，ＦＩＲＥＷＩＲＥ（登録商標）接続と，並列接続と，これらの任意の組合せと，を含む。一つの例においては，音響装置は計算機システム９００のデータ（例えば，消費者に起因する汚染影響及び／又は汚染相殺に関係する指標を表すデータ）に関係する音響を提供してもよい。

必要であれば，手描きの入力をデジタル的に捕捉するために，デジタイザ（図示せず）及び付属のスタイラスを含めてもよい。表示装置９６５の表示範囲と別に，又は同じ範囲にペンデジタイザを備えてもよい。したがって，デジタイザは表示装置９６５と統合してもよいし，表示装置９６５の上に重ねた，又は別様に追加した別の装置として存在してもよい。表示装置はまた，タッチスクリーン機能付き又はなしのタブレット装置の形態で実現してもよい。

一かたまりの学習：別の態様によれば，評価の作者は，所与のモジュールにおける全ａｍｐＵｉｔの一部だけが学習の任意の所与のラウンドにおいて提示されるように，ａｍｐＵｎｉｔを一かたまりにするか，別様にグループ化するかを設定できる。すべての「一まとめ」又はグループ化は，作者がモジュール構成ステップにおいて決定する。この実施形態においては，指定された「完了」の定義に基づいて，完了したａｍｐＵｎｉｔを削除する任意選択もある。例えば，「完了」は，作者又は管理者が与えた目標設定に応じて，１回正答及び２回正答の点で異なってもよい。

ａｍｐＵｎｉｔ構造：ここで説明したａｍｐＵｎｉｔは，次に掲げる全特性のうち１又は複数を含む「再利用可能学習オブジェクト」として設計されている。すなわち，適性表明（学習結果表明又は学習目的），当該適性を達成するために必要な学習，及び当該適性の達成を検証する評価。ａｍｐＵｎｉｔの基本構成要素は，導入，質問，回答（一つの正答，二つの誤答），説明（知る必要がある情報），「知識を広げよう」の選択肢（知っているとよい情報），メタデータ（メタデータによって，作者は，後続の分析に著しい恩恵をもたらす各ａｍｐＵｎｉｔに起因する評価及び学習と適性とを結び付けることができる），及び作者の注釈，を含む。コンテンツ管理システム（ＣＭＳ）を用いて，これらの学習オブジェクト（ａｍｐＵｎｉｔ）は，学習モジュール（ａｍｐＭｏｄｕｌｅ）の開発において，現在の形態又は改訂した形態で迅速に再利用できる。

ａｍｐＭｏｄｕｌｅ構造：ａｍｐＭｏｄｕｌｅは利用者又は学習者に配信されるときのａｍｐＵｎｉｔの「コンテナ」の役割を果たし，したがって，学習者に提示され，又は学習者が別様に体験するであろうカリキュラムの最小の利用可能な編成単位である。上述のとおり，各ａｍｐＭｏｄｕｌｅは１又は複数のａｍｐＵｎｉｔを含むことが望ましい。一実施形態においては，アルゴリズムに従って構成されるのはａｍｐＭｏｄｕｌｅである。ａｍｐＭｏｄｕｌｅは次のように構成することができる。
ａ．目標状態：これは，例えば１回正答又は２回正答，など，一定の正答の数として設定してもよい。
ｂ．精通した（完了した）質問の削除：学習者が特定の問題の目標状態に到達すると，その問題はａｍｐＭｏｄｕｌｅから削除することができ，以降，学習者に提示されない。
ｃ．ａｍｐＵｎｉｔの表示：作者又は管理者は，質問の各ラウンドにおいてａｍｐＵｎｉｔの全リストが表示されるか，各ラウンドにおいて部分リストだけが表示されるかを設定できる。
ｄ．完了得点：作者又は管理者は，学習者が，例えば特定の得点を達成することによって，学習のラウンドを完了したと認定される得点を設定することができる。
ｅ．読み書き許可：これらは作者又はａｍｐＵｎｉｔを設計しているほかの設計グループが設定してもよい。

カリキュラム構造：一定の実施形態においては，作者又は管理者は，カリキュラムがどのように学習者に配信されるかの構造を制御することができる。例えば，プログラム，コース及びモジュールは，改名又は別様に修正して再構成してもよい。さらに，ａｍｐＭｏｄｕｌｅは，スタンドアロンの評価（総括的評価）として表示されるように構成してもよいし，又はシステムの評価及び学習双方の機能を組み込んだ学習モジュールとして表示されるように構成してもよい。

学習者ダッシュボード
ここで説明したシステムの構成要素として，利用者が利用及び検討のために種々の態様の情報を表示し編成する学習者ダッシュボードが提供される。例えば，利用者ダッシュボードは次のうち１又は複数を含んでもよい。

自分の課題ページ：これは，一実施形態においては，次の状態の１又は複数を含む現在の課題のリストを含む。すなわち，新規課題，継続課題，検討，新規再履修，継続再履修，成績検討。課題ページにはまた，プログラムと，コースと，現在のプログラムの態様についての一般情報を含むモジュール情報と，も含まれる。課題ページはまた，特定の課題又は訓練プログラムを完了するために履修する必要があるほかのコースのような，事前及び事後の必須リストも含んでよい。別のアルゴリズムによって再履修コースは，学習者が更に時間を費やす必要があるａｍｐＵｎｉｔに集中した，選択されたａｍｐＵｎｉｔの集合だけを提示する。検討モジュールは，所与の評価又は学習モジュールによる特定の学習者の進捗の追跡を示す（前に履修した評価又は学習モジュールの履歴全体像）。

学習ページ：これは学習段階に表示される進捗ダッシュボードを含んでもよい（表及びグラフデータ双方を含む）。学習ページはまた，カテゴリ別の学習者の応答割合と，学習の任意の先行ラウンドの結果と，完了したすべてのラウンドに渡る結果と，も含んでよい。

評価ページ：このページは，評価後に表示される進捗ダッシュボード（表及びグラフデータ双方）を含んでもよい。

報告及び時間測定：報告の役割は種々の実施形態においてサポートされる。一定の実施形態においては，報告機能は，システム内で利用可能なテンプレートに基づいて，種々の報告を生成する専用の利用者インタフェース，すなわちダッシュボードを有してもよい。個別化した報告テンプレートを管理者が生成し，任意の特定の学習環境で利用可能にしてもよい。ほかの実施形態は，学習者が各ａｍｐＵｎｉｔに回答するために要した時間，及び所与のａｍｐＭｏｄｕｌｅ内のすべてのａｍｐＵｎｉｔに回答するために要した時間を捕捉する能力を含む。回答を検討するために費やした時間もまた捕捉される。図１３を参照されたい。報告から生成されたパターンが一般化され，追加の情報が報告機能における傾向から収集される。図９〜１３を参照されたい。報告機能は，管理者又は教師が将来の授業において最も時間を掛けるべきところを理解できるようにする。

コンテンツアップロードの自動化：ほかの態様によれば，ここで説明したシステムは，ａｍｐＵｎｉｔ又はａｍｐＭｏｄｕｌｅを追加する種々の自動化した方法を利用するようにしてもよい。学習システム内に，データを読み込み，分析し，適切なデータベースに書き込むコードを実装してもよい。学習システムはまた，以前に書式化されたデータ，例えばｃｓｖ又はｘｍｌから学習システムへのアップロードを自動化するスクリプトの使用を可能にしてもよい。さらに，学習教材を取得してシステムに直接アップロードし，形式及び構造を保存するために，個別に作成されたリッチテキスト形式のテンプレートを使用することができる。

学習システムは，ほとんどの計算機アプリケーションにおいて使用される種々の標準タイプの利用者対話，例えばマウスの右クリックで現れるコンテキスト依存メニュー等，をサポートすることが望ましい。システムはまた，ドラッグアンドドロップ機能並びに検索及び置換機能のようないくつかの追加特徴を有することが望ましい。

データセキュリティ：本発明の態様及び種々の実施形態は，専用，個人的及び／又はほかの種類の機密情報を保護する標準の情報技術セキュリティ実務を使用する。これらの実務は，（部分的に）アプリケーションセキュリティ，サーバセキュリティ，データセンタセキュリティ及びデータ分離（ｓｅｇｒｅｇａｔｉｏｎ）を含む。例えば，アプリケーションセキュリティに関しては，各利用者は自分のアカウントを利用するためにパスワードを生成し，管理するように要求される。アプリケーションは，ｈｔｔｐｓを用いて保護される。すべての管理者パスワードは反復可能ベースで変更され，パスワードは強固なパスワードの最小要求条件を満たさなければならない。例えば，サーバセキュリティに関して，すべての管理者パスワードは３ヶ月ごとに，強固なパスワードの最小要求条件を満たす新規な無作為パスワードに変更され，管理者パスワードは暗号化されたパスワードファイルを用いて管理される。データ分離に関しては，本発明及びその種々の実施形態は，データがドメインＩＤを用いて論理的に分離され，個々のログインアカウントはKnowledge Factorの管理者を含み唯一つのドメインに属し，データベースへのすべての外部アクセスはアプリケーションを経由し，アプリケーションの問合せは厳密に試験される，複数テナント共有スキーマを用いる。

スイッチ
本発明の態様によって構築された学習システムは，作者又はほかの管理担当者が，学習者がモジュールを完了するために示さなければならない精通レベルを上げ下げできるようにするために，この実現形態において種々の「スイッチ」を用いる。これらスイッチに関係する機能は，実験心理学における関係する研究に基づいている。ここで説明する学習システムに組み込まれた種々のスイッチは，次のとおりである。実現形態はそれぞれ，本発明の特定の実施形態及び展開構成によって異なる。

反復：アルゴリズムによって駆動される反復スイッチは，精通レベルを達成するために学習者が質問ラウンドを反復できるようにするために用いられる。古典的な考え方では，反復するラウンドを通じて意図的かつ高度に構成可能な学習を与えることによって記憶が強化される。反復スイッチは形成的評価技法を用い，いくつかの実施形態においては強制選択回答を有しない質問の使用と組み合わされる。本発明及び種々の実施形態における反復は，強制の有無にかかわらず，最終利用者に対する評価及び学習教材の反復と，当該反復の頻度と，各反復内のコンテンツのまとめの程度と，によって制御することができる。

予備刺激（ｐｒｉｍｉｎｇ）：予備試験の態様は，システム内の基本試験方法として用いられる。予備試験による予備刺激は，いくつかの知識記憶痕跡の態様を与え，次いで反復学習を通じて強化される。本発明の態様を用いた学習は，いくつかの関係する課題に関する記憶痕跡を利用可能にし，次に当該経路を強化し，記憶が特定の知識を捕捉する追加の経路を生成する。本発明及びその種々の実施形態においては，例えば，学習の際の形成的評価の標準的使用だけでなく，形成的予備評価の利用によって，予備刺激スイッチはいくつかの方法で制御することができる。

フィードバック：フィードバックループスイッチは，回答の提出時の即時フィードバック及び当該ラウンドの学習部分における詳細なフィードバック双方を含む。学習者が質問を正しく理解したか，誤って理解したかについて，学習者に即座に反映することは，学習後の評価において示される成績に重大な影響を有する。本発明及び種々の実施形態におけるフィードバックスイッチは，標準の学習（標準学習モデルは形成的評価を組み込んでいる）と組み合わせた総括的評価の利用の利用，又は各ａｍｐＵｎｉｔにおいて提供されるフィードバックの程度のようないくつかの方法で制御することができる（例えば，正答及び誤答双方に関する説明対現在の正答だけの説明を提供）。

コンテキスト：コンテキストスイッチは，作者又は管理担当者が特定の質問に重要ではない画像又はほかの情報を削除できるようにする。本発明又は種々の実施形態のコンテキストスイッチは，作者又は管理者が，学習及び勉強環境が実際の試験環境をできるだけ忠実に反映するようにすることを可能にする。例えば，画像及びほかの図形態様は初期の学習ラウンドには含め，その後は，同一の画像参照を含まない試験又は実際の作業環境をシミュレートするために削除してもよい。画像又はほかのメディアは導入部又は質問自体のいずれかに置いてもよいし，学習段階において，又は再履修の一部として常に，選択的に配置してもよい。実際上，学習者が視覚補助の助けなしに情報を思い出す必要があるとき，学習システムは，学習過程の後段で視覚補助なしに質問を学習者に提示するようにしてもよい。精通過程を始めるためにある核知識が必要なとき，画像を学習過程の初期段階で用いてもよい。この原理は，ある期間は，画像又はほかの補助的であるが重要ではない評価及び／又は学習教材から学習者を引き離すことである。コンテキストスイッチの別ではあるが依然関係のある構成において，作者は，特定のａｍｐＵｎｉｔ又はａｍｐＭｏｄｕｌｅにおいてどのくらいの割合のシナリオベース学習が必要かを決定することができる。

推敲：このスイッチは種々の設定選択肢を有する。例えば，推敲スイッチは，作者が複数の場所及び形式に渡る一つの応答における知識及び確度度双方の同時評価を行うことを可能にする。推敲は，初期質問と，基礎的種類の質問と，シナリオベースの質問と，シミュレーションベースの質問とからなってもよい。このスイッチは，正答（認識回答タイプ）及び自信の程度の同時選択を提供する。このスイッチはまた，正答及び誤答双方の説明の検討を提供する。これは，テキストベースの回答，メディアが強化された回答又はシミュレーションが強化された回答によって提供してもよい。推敲は，核知識を支持する追加知識を提供し，また学習の強化にための単純反復を提供する。このスイッチはまた，学習の１回正答（熟達）レベル又は２回正答（精通）レベルに設定することができる。実際，現在試験している情報は，学習者が既に知っているか既に試験を受けたほかの情報と関係している。自分が既に知っていることについて考えると，学習しようとしている情報を推敲し増強するために，このわずかな情報を連想することができる。

間隔：本発明の態様及び種々の実施形態による間隔スイッチは，長期記憶を支持する生物学的過程（例えば，タンパク質合成）を生じさせるように，コンテンツをより小さなサイズの素片に手動で区切ること（ｍａｎｕａｌ ｃｈｕｎｋｉｎｇ）並びに強化された符号化及び記憶を利用する。このシナプス統合は，試験間の一定量の休息に依存し，記憶の統合を生じさせる。本発明の種々の実施形態において，この間隔スイッチは，ラウンド当たりａｍｐＵｎｉｔの数及び／又はモジュール当たりａｍｐＵｎｉｔの数を設定するなど，複数の方法で構成される。

確信度：確信度スイッチは，一つの応答における知識及び確信度双方の同時評価を可能にする。この種の評価は，学習者の知識プロファイル及び学習の全段階を適切に評価するために重要である。本発明の態様及び種々の実施形態による確信度スイッチは，１回正答（熟達）又は２回正答（精通）の設定に従って書式化してもよい。

注意：本発明の態様及び種々の実施形態による注意スイッチは，学習者が自分の知識の確信度を判定することを必要とする（すなわち，学習者の感情的及び相関的双方の判断が必要）。この結果，学習者の注意が高められる。学習者に必要な注意の程度を変更するために，区切り（ｃｈｕｎｋｉｎｇ）を用いてもよい。例えば，ａｍｐＵｎｉｔを区切ること（ａｍｐＭｏｄｕｌｅ当たりのａｍｐＵｎｉｔの数，ラウンド当たり表示されるａｍｐＵｎｉｔの数）は，学習者の注意を特定の主題において精通を達成するために必要なコアコンピテンス及び関連する学習に集中させる。

動機：本発明の態様及び種々の実施形態による動機スイッチは，任意の所与のモジュール，コース又はプログラム内の１又は複数の学習ラウンド内の学習者の進捗に関して，明確な指示を提供する学習者インタフェースを可能にする。種々の実施形態におけるこのスイッチはまた，学習者に定性的な進捗の結果（分類）又は定量的な進捗の結果（得点）のいずれかを表示することができる。

登録
本発明の態様及び種々の実施形態は，組込みの登録機能を含み，それによって，利用者アカウントをシステムに追加し又は削除することができ，利用者を「活性」状態又は「不活性」状態に置くことができ，利用者に（利用者アカウントを介して）システム内の種々の評価及び学習プログラムを与えることができる。

学習管理システム統合
本発明の態様及び種々の実施形態は，スタンドアロンアプリケーションとして動作することができるか，又は第三者の学習管理システム（ＬＭＳ）と技術的に統合して，ＬＭＳ内で管理される種々の評価及び学習課題を有する学習者が，シングルサインオン機能を有するか，有しないシステム内の評価及び／又は学習を開始し参加することができる。この技術的統合は，航空業界ＣＢＴ委員会（ＡＩＣＣ）相互運用性標準と，ｈｔｔｐポートと，ウェブサービスと，ほかのこのような標準技術統合方法とのような種々の業界標準の実務によって可能になる。

フラッシュカード
本システムのいくつかの実施形態においては，簡単なフラッシュカード様のインタフェースを用いて学習者を明確に識別し，学習者が選択した回答と，正答と，正答の高次の及び／又は詳細な説明と，（任意選択で）誤答とが学習者に提示される。さらに，同一のフラッシュカードインタフェースを用いて，特定の学習結果又はコンピテンスに関して，学習者に追加の学習機会を提示してもよい。

アバタ
システムの種々の実施形態において，簡潔なテキストメッセージを有するアバタを必要なときに学習者を指導するために表示してもよい。メッセージの性質及びアバタをいつどこに表示するかは，システムの管理者が設定できる。アバタは利用者に顕著な指導を提供することが推奨される。例えば，アバタを用いて，上述のスイッチが学習者から見て学習にどのように影響を与えるかに関して指導を提供することができる。本発明においては，アバタは学習者にだけ表示され，システム内の作者又はほかの管理担当者には表示されない。

ａｍｐＵｎｉｔライブラリ及び評価の構造
図１６は，本発明の態様によって構築されたａｍｐＵｎｉｔライブラリの全体構造を示している。一実施形態においては，ａｍｐＵｎｉｔライブラリ８００は，メタデータ構成要素８００ａと，評価構成要素８００ｂと，学習構成要素８００ｃとを有する。メタデータ構成要素８００ａは，コンピテンス，課題及び副課題のような，作者が各ａｍｐＵｎｉｔに関係させることを望む構成可能項目に関するセクションに分割される。メタデータ構成要素に加えて，評価構成要素８００ｂは，導入，質問，正答，及び誤答に関係するセクションに分割される。さらに，学習構成要素８００ｃは説明セクション及び「知識を広げよう」セクションに分割される。

運用アルゴリズムの設定選択肢，並びにＢｌｏｏｍのレベルと，アプリケーションと，振舞いと，追加のコンピテンスとに関係する情報を含むａｍｐＭｏｄｕｌｅライブラリ８２０もまた含まれる。管理者又は作者は次のようにこれらの構造を利用することができる。初めに，ａｍｐＵｎｉｔが生成され（８０２），ａｍｐＵｎｉｔの主要要素が構築され（８０４），コンテンツ及びメディアがａｍｐＵｎｉｔに組み込まれる（８０６）。ａｍｐＵｎｉｔライブラリ８００が生成されると，ａｍｐＭｏｄｕｌｅに含める適切なａｍｐＵｎｉｔを決定してａｍｐＭｏｄｕｌｅが生成される（８０８）。ａｍｐＭｏｄｕｌｅが生成された後，学習課題が発行される（８１０）。

産業応用
１．検定
自信ベース評価は，予備試験練習評価及び学習手段（ｉｎｓｔｒｕｍｅｎｔ）双方としての自信ベース検定手段として用いることができる。この例又は予備試験評価において，自信ベース検定過程はいかなる改善も提供せず，得点及び／又は知識プロファイルを提供するに過ぎない。自信ベース評価は，提示された検定教材のどれにおいても，個人が誤った情報を確信的に保持しているかどうかを示す。これはまた，検定団体に対して，所与の主題領域内に誤った情報が存在する検定を禁止するという選択肢を提供する。ＣＢＡ法は現在の１次元試験よりも正確であるため，自信ベース検定は検定試験の信頼性及び検定の判定の有効性を増加させる。システムが学習手段として用いられる例においては，学習者が特定の技能ギャップを特定し，これらのギャップを改善的に埋めることを支援するために，システム内の全幅の形成的評価及び学習表明を学習者に提供することができる。

２．シナリオベース学習
自信ベース評価は，一つの回答が自信及び知識に関する二つの計量を生成する適応型学習方法に適用することができる。適応型学習において，状況を説明する映像又はシナリオの利用は，自分の学習及び理解をサポートする判断過程を通じて，個人の作業を補助する。これらのシナリオベース学習モデルにおいては，個人は自分が所与の状況にどのように対処するかに慣れるまで，何回かこの過程を反復できる。シナリオ又はシミュレーションに関しては，ＣＢＡ及びＣＢＬは，個人が自分の判断過程にどれだけ自信を持っているかを判断することによって新しい次元を追加する。シナリオベース学習法を用いた自信ベース評価を利用することによって，個人は自分に知識がなく，自分の成績及び振舞いに疑いがある点を特定できるようにする。個人が完全に確信するまでシナリオベース学習を反復することによって，個人が訓練によって迅速かつ一貫して行動する可能性が増加する。ＣＢＡ及びＣＢＬはまた，各利用者が自分自身の学習適性に基づいて評価及び学習と対話する点で「適応的」でもある。したがって，学習は各利用者に極めて個別化される。

３．調査
自信ベース評価は，自信ベース調査手段として適用することができ，個人が課題について自信及び意見を示した三つの可能な回答の選択を組み込んでいる。前と同様に，個人は所与の課題おける自分の自信及び理解又は特定の視点の理解を決定するために，七つの選択肢から回答の応答を選択する。質問書式は，理解及び自信情報が要求された製品又はサービス分野についての属性又は比較分析に関係する。例えば，マーケティング会社は，「次のうちどれが，新しいポテトチップ製品を展示するのに最適な場所か？Ａ）レジ，Ｂ）ほかのスナック製品と共に，Ｃ）通路の端。」と問うかも知れない。販売業者は消費者の選択に興味があるだけではなく，消費者の選択における自信又は自信がないことにも興味がある。自信の次元を追加することによって，人が調査質問に回答する時間（ｅｎｇａｇｅｍｅｎｔ）が増加し，販売業者により豊富かつより正確な調査結果が提供される。

本発明による更なる態様は，学習資源が，知識評価プロファイルに反映された学習者の定量化可能な要求に応じて，又はここに開示したほかの成績尺度によって割り当てられる学習支援を提供する。このように，本発明の態様は，学習者が有する真の知識の程度に応じて学習資源を割り当てる手段を提供する。一般に，学習者がコースに落第したとき，学習者が全コースを反復する必要がある従来の訓練に比べて，ここに開示した本発明の態様は，主題が誤解され，又は知識がない主題の領域に，学習，再訓練及び再教育の必要性を振り向けることによって，学習教材，指導者及び勉強時間のような学習資源の割当てを容易にする。

本システムによってもたらされる本発明のほかの態様は，利用者に「個別訓練計画」ページを提供又は提示する。このページは，種々の知識領域に従ってソートされ，グループ化された問題を表示する。グループ化された問題はそれぞれ，正答及び学習者が問われたほかの関係する主題の情報及び／又は学習教材へハイパリンクされる。任意選択で，質問もまたオンライン参照情報又はオフサイト施設へハイパリンクしてもよい。試験問題を包含するすべての教材を検討するために時間を浪費する代わりに，学習者又は利用者は，注意又は再教育が必要な領域に属する教材にだけ集中すればよい。誤った情報及び部分的な情報に集中することによって，重要な情報誤りを容易に特定し，避けることができる。

このような機能をもたらすために，システム８又はワールドワイドウェブ内の資源のようなシステム外施設に記憶されている情報データベース及び／又は主題の学習教材に，評価プロファイルが対応付けられ，又は関係付けられる。このリンクは，検討及び／又は再教育のために学習者に提示される。

さらに，本発明は，試験問題と，当該試験問題がまとめられた関連教材又は関心事項との自動相互参照も提供する。この能力は，追加訓練又は再教育が真に必要な領域に，訓練及び学習資源を展開することを効果的かつ効率的に容易にする。

さらに，本発明によって，再訓練及び／又は再教育に関係するどの進捗も容易に測定することができる。再訓練及び／又は再教育に続いて，（先行する成績結果に基づいて），学習者は試験問題の一部又は全部について再試験を受けることができ，それによって第２の知識プロファイルが作成できる。

上述のすべてのアプリケーションにおいて，本方法は知識及び情報のより正確な測定を可能にする。個人は，推測は罰せられ，自信のある振りをするよりも，自信がないこと及び無知を認める方が良いことを学習する。学習者は自分の焦点を受験戦略からシフトして，自分の実際の知識及び自信を正直に自己評価するように得点を増加させるようにする。これは被験者及び組織に，誤り，知識がないこと，自信がないこと，精通の範囲及び程度に関して豊富なフィードバックを提供する。以上，本発明の基となる思想の好適な実施形態及び一定の変形について十分に述べた。当業者であれば，基になる思想をよく知ったとき，種々のほかの実施形態及びここに示し，説明した実施形態の一定の変形及び修正を想起することは明白である。したがって，本発明はここに具体的に述べたものとは別様に実施できることを理解されたい。

Claims (31)

1. 知識評価用のシステムであって，
   複数の多肢選択質問及び２次元回答を学習者に表示する表示装置と，
   通信ネットワークを介して前記表示装置と通信するようにしたアプリケーションサーバと，
   学習教材のデータベースを有するデータベースサーバであって，前記複数の多肢選択質問及び２次元回答が，クライアント端末に選択配信するために前記データベースに記憶されている，データベースサーバと，を備え，前記システムは，
   前記通信ネットワークを介して，前記複数の多肢選択質問及び２次元回答を前記表示装置に送信するステップであって，前記回答は，単一選択回答からなる複数の完全に自信のある回答と，複数の単一選択回答の１又は複数の組からなる複数のある程度自信のある回答と，自信のない回答とを含む，ステップと，
   前記表示装置を介して，前記複数の多肢選択質問及び２次元回答を前記学習者に提示し，前記学習者が自分の実質的な回答及び自分の回答の自信レベルカテゴリ双方を示した，前記多肢選択質問に対する前記学習者の選択した回答を，前記表示装置を介して受信することによって，評価を実施するステップと，
   次に掲げる知識状態名称，
   前記学習者の「自信があるかつ正しい」回答に対する「熟達した」知識状態，
   前記学習者の「自信がないかつ正しい」回答に対する「知識がある」知識状態，
   前記学習者の「分からない」回答に対する「分からない」知識状態，
   前記学習者の「自信がないかつ誤った」回答に対する「知識がない」知識状態，及び
   前記学習者の「自信があるかつ誤った」回答に対する「誤解した」知識状態，
   を指定することによって前記評価を採点するステップと，からなる方法を実行する，システム。
2. 前記評価を再実行し，次に掲げる名称
   前記学習者の第１の「自信があるかつ正しい」回答に続く，前記学習者の第２の「自信があるかつ正しい」回答に対する「熟達した」知識状態，
   前記学習者の「自信があるかつ正しい」回答に続く，前記学習者の「自信がないかつ正しい」回答に対する「知識がある」知識状態，
   前記学習者の「自信があるかつ正しい」回答に続く，前記学習者の「分からない」回答に対する「分からない」知識状態，
   前記学習者の「自信があるかつ正しい」回答に続く，前記学習者の「自信がないかつ誤った」回答に対する「分からない」知識状態，及び
   前記学習者の「自信があるかつ正しい」回答に続く，前記学習者の「自信があるかつ誤った」回答に対する「知識がない」知識状態，
   を指定するステップを更に有する，請求項１に記載のシステム。
3. 前記評価を再実行し，次に掲げる名称
   前記学習者の「自信がないかつ正しい」回答に続く，前記学習者の「自信があるかつ正しい」回答に対する「熟達した」知識状態，
   前記学習者の「自信がないかつ正しい」回答に続く，前記学習者の「自信がないかつ正しい」回答に対する知識がある知識状態，
   前記学習者の「自信がないかつ正しい」回答に続く，前記学習者の「分からない」回答に対する「分からない」知識状態，
   前記学習者の「自信がないかつ正しい」回答に続く，前記学習者の「自信がないかつ誤った」回答に対する「知識がない」知識状態，及び
   前記学習者の「自信がないかつ正しい」回答に続く，前記学習者の「自信があるかつ誤った」回答に対する「誤解した」知識状態，
   を指定するステップを更に有する，請求項１に記載のシステム。
4. 前記評価を再実行し，次に掲げる名称
   前記学習者の「分からない」回答に続く，前記学習者の「自信があるかつ正しい」回答に対する「熟達した」知識状態，
   前記学習者の「分からない」回答に続く，前記学習者の「自信がないかつ正しい」回答に対する知識がある知識状態，
   前記学習者の「分からない」回答に続く，前記学習者の「分からない」回答に対する「分からない」知識状態，
   前記学習者の「分からない」回答に続く，前記学習者の「自信がないかつ誤った」回答に対する「知識がない」知識状態，及び
   前記学習者の「分からない」回答に続く，前記学習者の「自信があるかつ誤った」回答に対する「誤解した」知識状態，
   を指定するステップを更に有する，請求項１に記載のシステム。
5. 前記評価を再実行し，次に掲げる名称
   前記学習者の「自信がないかつ誤った」回答に続く，前記学習者の「自信があるかつ正しい」回答に対する「熟達した」知識状態，
   前記学習者の「自信がないかつ誤った」回答に続く，前記学習者の「自信がないかつ正しい」回答に対する知識がある知識状態，
   前記学習者の「自信がないかつ誤った」回答に続く，前記学習者の「分からない」回答に対する「分からない」知識状態，
   前記学習者の「自信がないかつ誤った」回答に続く，前記学習者の「自信がないかつ誤った」回答に対する「誤解した」知識状態，及び
   前記学習者の「自信がないかつ誤った」回答に続く，前記学習者の「自信があるかつ誤った」回答に対する「誤解した」知識状態，
   を指定するステップを更に有する，請求項１に記載のシステム。
6. 前記評価を再実行し，次に掲げる名称
   前記学習者の「自信があるかつ誤った」回答に続く，前記学習者の「自信があるかつ正しい」回答に対する知識がある知識状態，
   前記学習者の「自信があるかつ誤った」回答に続く，前記学習者の「自信がないかつ正しい」回答に対する「分からない」知識状態，
   前記学習者の「自信があるかつ誤った」回答に続く，前記学習者の「分からない」回答に対する「知識がない」知識状態，
   前記学習者の「自信があるかつ誤った」回答に続く，前記学習者の「自信がないかつ誤った」回答に対する「誤解した」知識状態，及び
   前記学習者の「自信があるかつ誤った」回答に続く，前記学習者の「自信があるかつ誤った」回答に対する「誤解した」知識状態，
   を指定するステップを更に有する，請求項１に記載のシステム。
7. 前記評価を再実行し，次に掲げる名称
   前記学習者の第１の「自信があるかつ正しい」回答に続く，前記学習者の第２の「自信があるかつ正しい」回答に対する「精通した」知識状態，
   前記学習者の「自信があるかつ正しい」回答に続く，前記学習者の「自信がないかつ正しい」回答に対する「知識がある」知識状態，
   前記学習者の「自信があるかつ正しい」回答に続く，前記学習者の「分からない」回答に対する「分からない」知識状態，
   前記学習者の「自信があるかつ正しい」回答に続く，前記学習者の「自信がないかつ誤った」回答に対する「分からない」知識状態，及び
   前記学習者の「自信があるかつ正しい」回答に続く，前記学習者の「自信があるかつ誤った」回答に対する「知識がない」知識状態，
   を指定するステップを更に有する，請求項１に記載のシステム。
8. 前記学習者の，「精通した」，「熟達した」，「知識がある」，「分からない」，「知識がない」，「誤解した」，の回答レベルの図形表示を含む採点された自信ベース評価（ＣＢＡ）から知識プロファイルを編集するステップを更に有する，請求項１に記載のシステム。
9. 前記学習者に前記知識プロファイルを表示することと関係して，被験者に前記多肢選択質問及び前記学習者の回答と，正答と，説明と，前記質問に関係する学習教材への参照とのうち１又は複数も表示することによって，前記学習者の補習を奨励するステップと，複数の異なる多肢選択質問を有する前記評価を再実施するステップと，
   前記の実施した評価及び再実施した評価から前記被験者に対する合成知識プロファイルを編集し，表示するステップと，
   を更に有する，請求項８に記載のシステム。
10. 前記アプリケーションサーバ及び前記データベースサーバは，前記クライアント端末から遠い場所にある，請求項１に記載のシステム。
11. 前記アプリケーションサーバ及び前記データベースサーバは，前記クライアント端末に近い場所にある，請求項１に記載のシステム。
12. 前記アプリケーションサーバと，前記データベースサーバと，前記クライアント端末とは広域ネットワークで接続されている，請求項１に記載のシステム。
13. 知識評価の方法であって，
    複数の多肢選択質問及び２次元回答を学習者に表示するステップと，
    通信ネットワークを介したアプリケーションサーバと前記表示装置との間の通信プロトコルを開始するステップと，
    データベースサーバにアクセスするステップであって，該データベースサーバは学習教材のデータベースを有し，前記複数の多肢選択質問及び２次元回答が，前記表示装置に選択配信するために前記データベースに記憶されている，ステップと，を有し，前記知識評価の方法は，
    前記通信ネットワークを介して，前記複数の多肢選択質問及び２次元回答を前記表示装置に送信するステップであって，前記回答は，単一選択回答からなる複数の完全に自信のある回答と，複数の単一選択回答の１又は複数の組からなる複数のある程度自信のある回答と，自信のない回答とを含む，ステップと，
    前記表示装置を介して，前記複数の多肢選択質問及び２次元回答を前記学習者に提示し，前記学習者が自分の実質的な回答及び自分の回答の自信レベルカテゴリ双方を示した，前記多肢選択質問に対する前記学習者の選択した回答を，前記表示装置を介して受信することによって，評価を実施するステップと，
    次に掲げる名称
    前記学習者の「自信があるかつ正しい」回答に対する「熟達した」知識状態，
    前記学習者の「自信がないかつ正しい」回答に対する「知識がある」知識状態，
    前記学習者の「分からない」回答に対する「分からない」知識状態，
    前記学習者の「自信がないかつ誤った」回答に対する「知識がない」知識状態，及び
    前記学習者の「自信があるかつ誤った」回答に対する「誤解した」知識状態，
    を指定することによって前記評価を採点するステップと，
    を有する方法。
14. 知識評価の方法であって，
    表示装置において複数の多肢選択質問及び２次元回答を学習者に表示するステップと，
    データベースサーバにアクセスするステップであって，該データベースサーバは学習教材のデータベースを有し，前記複数の多肢選択質問及び２次元回答が，前記表示装置に選択配信するために前記データベースに記憶されている，ステップと，を有し，前記知識評価の方法は，
    前記複数の多肢選択質問及び２次元回答を前記表示装置に送信するステップであって，前記回答は，単一選択回答からなる複数の完全に自信のある回答と，複数の単一選択回答の１又は複数の組からなる複数のある程度自信のある回答と，自信のない回答とを含む，ステップと，
    次に掲げる名称
    前記学習者の「自信があるかつ正しい」回答に対する第１知識状態，
    前記学習者の「自信がないかつ正しい」回答に対する第２知識状態，
    前記学習者の「分からない」回答に対する第３知識状態，
    前記学習者の「自信がないかつ誤った」回答に対する第４知識状態，及び
    前記学習者の「自信があるかつ誤った」回答に対する第５知識状態，
    を指定することによって前記学習者に実施された評価を採点するステップと，
    を有する方法。
15. どの質問を前記学習者に提示するかを決定するための１又は複数のアルゴリズムスイッチを組み込むステップを更に有する，請求項１４に記載の方法。
16. 前記スイッチの少なくとも一つは反復スイッチである，請求項１５に記載の方法。
17. 前記スイッチの少なくとも一つは準備刺激スイッチである，請求項１５に記載の方法。
18. 前記スイッチの少なくとも一つはフィードバックスイッチである，請求項１５に記載の方法。
19. 前記スイッチの少なくとも一つはコンテキストスイッチである，請求項１５に記載の方法。
20. 前記スイッチの少なくとも一つは取得スイッチである，請求項１５に記載の方法。
21. 前記スイッチの少なくとも一つは推敲スイッチである，請求項１５に記載の方法。
22. 前記スイッチの少なくとも一つは間隔スイッチである，請求項１５に記載の方法。
23. 前記スイッチの少なくとも一つは確信スイッチである，請求項１５に記載の方法。
24. 前記スイッチの少なくとも一つは注意スイッチである，請求項１５に記載の方法。
25. 前記スイッチの少なくとも一つは動機スイッチである，請求項１５に記載の方法。
26. 前記第１知識状態は「熟達した」である，請求項１４に記載の方法。
27. 前記第２知識状態は「知識がある」である，請求項１４に記載の方法。
28. 前記第３知識状態は「分からない」である，請求項１４に記載の方法。
29. 前記第４知識状態は「知識がない」である，請求項１４に記載の方法。
30. 前記第５知識状態は「誤解した」である，請求項１４に記載の方法。
31. 前記評価は，前記学習者に対する学習，訓練及び個別化した適応型機能のうち１又は複数を適用するようになっている，請求項１に記載のシステム。

Images