JP2014500532A

JP2014500532A - 認知的に要求されるスキルと経験のためのテストの民主的プロセス

Info

Publication number: JP2014500532A
Application number: JP2013528247A
Authority: JP
Inventors: オベイド，ディヤ，ビー
Original assignee: ジョブディヴァ，インコーポレーテッド
Priority date: 2010-09-08
Filing date: 2011-09-06
Publication date: 2014-01-09
Also published as: AU2011299309A1; WO2012033745A3; WO2012033745A2; EP2614496A2; US20120058459A1; EP2614496A4; US20120308983A1; CA2811055A1

Abstract

評価者による評価に基づいて候補者を格付けするシステムと方法が提供される。評価者は候補者が作成する問題と、候補者が準備する解答とを評価する（５１０）。各評価者は評価の客観的指標として、問題スコア又は解答スコアを供給する（５３０）。本方法は各評価者に対する格付けを検索し（５３５）、そして、問題スコア、又は、解答スコア、及び、各評価者に対する格付けに基づいて、候補者に対する格付けを計算する。本方法は、他の評価者による評価に基づいて各評価者を格付けする（５５０）。他の評価者は、問題スコア、又は、解答スコアを評価し、そして、評価の客観的指標として評価スコアを供給する（５５５）。本方法は、他の評価者の夫々に対する格付けを検索し（５６０）、評価スコア、及び、他の評価者の夫々に対する格付けに基づいて、評価者に対する格付けを計算する（５６５）。

Description

本発明はテスト技術の分野に一般に関係する。詳しくは、本発明は認知的に要求されるスキルと経験のためのテスト方法に関する。

人材派遣産業の課題は、認知的に要求される（ｃｏｇｎｉｔｉｖｅｌｙｄｅｍａｎｄｉｎｇ）仕事に合致した個人を特定することである。リクルーター、人事ゼネラリスト、キャリアコンサルタント、及び、とりわけ採用担当マネージャは、あらゆるスキル、ツール、業務、又は、彼らが経験豊かで知識のある個人を採用しようとする専門的知識を有するわけではない。さらに、認知的に要求されるスキルと経験がマーケットに入る割合（ｒａｔｅ）は、こうしたスキルと経験が進化して変化する割合と同様に、その評価ツールを現在の最新のものに維持することを困難にしている。加えて、たいていの採用担当マネージャはマネージメント業務を遂行しているが、様々なスキルを有する専門労働者は認知的に要望される業務を遂行している。従って、採用担当マネージャは彼らが採用しようとするスキルや経験に精通していない。

こうした認知的に要望される仕事の潜在的な候補者にアクセスするため、例えばリクルーター、人事ゼネラリスト、キャリアコンサルタント、採用担当マネージャ、及び、産業スペシャリストといった雇用主やそのコンサルタントは、伝統的にはテストを開発作成し、そのテストは典型的にはオンラインで、口頭で、又は、筆記で実施され、そうして各候補者の知識と能力を評価する。認知的に要望されるスキルや経験のための従来の伝統的なテストは、問題と一応は正しいとされる解答とから構成されている。こうした伝統的なテストの格付け（ｇｒａｄｉｎｇ）プロセスは、候補者によって供給される解答の正しさを評価し、その評価は、その解答と、テストの開発者によって供給される一応は正しいとされる対応する解答との整合に基づいて行なわれる。従って、伝統的なテスト方法の下では解答は正解又は不正解のみであり、正しいとされる解答に対して、その問題の正しい解答のうちの１つに合致しなければならない。或る問題は１つ以上の正しい解答を有するかもしれないが、たいていの問題は唯一の正しい解答を有する。伝統的なテスト方法の下では、候補者による解答は、それが可能な正しい解答のうちの１つである場合に完全に正しいとなり得る。伝統的なテスト方法の下では、或る解答が部分的なクレジットを受領するとき、その部分的なクレジットは、正しい解答の一部への合致と思われる解答の正しい部分を反映する。この場合、解答の他の部分は正しくないと判断されるか、又は、その解答は正しい解答の１つを完了していない。これらの場合、その解答が部分的に正しいとき、その解答の正しい部分は、明らかでない表現においては正しい。追加的に、部分的であれ全体的であれ、クレジットを付与する人は、その解答を格付けしている権限のある試験官であることになっている。先行技術では、テストを格付けする際は、レビューする人が存在することもあり、試験官とレビューする人とが、各問題に対する解答の評価プロセスと有効性とについて合意している限り、そのレビューする人は試験官の判断の有効性をチェックする。

評定及び評価ツールとして有用ではあるが、こうしたテストは多くの不利な点を有する。第一に、新たな技術、ツール、及び、スキルの導入による影響を受けて発展するマーケットに対してはテストは急速に古くなり、求められる従業員が経験を有することが必要とされるようなシステム、ツール、プロセスの最新バージョンやトレンドには適用できなくなりつつある。第二に、テストは、各問題に対する解答又はその一部の絶対的な正解又は不正解を想定していることである。第三に、テストを最新に維持する業務は費用がかかるだけでなく、一定の関係者だけが認知された専門家であり、そのテストを開発することができ、又は、そのテストの正しさと有効性とを保障することができるため、複雑であることである。

従って、認知的に要求されるスキルや経験のための候補者をテストする開示のシステム及び方法は、新しいプロセスであって、既存のテストシステムに固有のこうした問題を有しない。

本発明の側面によれば、評価者による評価に基づいて、候補者を格付けするシステム及び方法を供給する。その評価者は、その候補者が作成した問題、及び、その候補者が答えた解答を評価する。各評価者はその評価の客観的指標として問題スコア又は解答スコアを与える。本方法は各評価者に対する格付けを検索し、そして、その問題スコア又は解答スコアに基づいて、その候補者に対する格付けと各評価者に対する格付けとを計算する。本方法は、他の評価者による評価に基づいて、各評価者を格付けする。他の評価者は、問題スコア、又は、解答スコアを評価し、そして、評価の客観的指標として評価スコアを供給する。本方法は、他の評価者による評価に基づいて、各評価者を格付けする。本方法は、他の各評価者に対する格付けを検索し、そして、その評価スコア及び他の評価者の夫々の格付けに基づいてその評価者の格付けを計算する。

図１は、クライアント・サーバーネットワークシステム上で実行される先行技術の従来のテスト方法を表すフローチャートである。図２は、本発明を実行するシステムのハードウェアコンポーネントの一実施形態を表すネットワーク図である。図３は、図２に示されるハードウェアコンポーネントの一実施形態を詳細に示すブロック図である。図４は、本発明の様々な実施形態に従った方法を示すフローチャートである。図５は、本発明の様々な実施形態に従った方法を示すメッセージ・フローチャートである。図６は、本発明の様々な実施形態に従った方法を示すメッセージ・フローチャートである。

図１は先行技術の従来のテスト方法を表すフローチャートである。現在は、この先行技術の従来のテストプロセス１００は、クライアント・サーバーネットワークシステム上で典型的には実行される。図１で示されるように、先行技術の従来のテストプロセス１００は、反復プロセスであって、開発１３０、テスト１４０、格付け１５０、及び、改定１６０のプロセスを含む。

開発１３０のプロセスの間、テスト開発者はテスト又は複数のテストを作成し、或るテーマ（サブジェクト）の候補者の知識と能力を評価する（ステップ１３１）。そのテストは多数の問題と、テスト開発者が作成し正しいと認定する正しい解答とを含む。テストの開発が終了すると、テスト１４０のプロセスが開始され、テスト管理者がそのテストを候補者に送信する（ステップ１４１）。候補者はテストを受信し（ステップ１４２）、各問題に対して解答を行なうことによりテストを受け（集団で、候補者が解答する）（ステップ１４３）、そして、その候補者の解答をテスト管理者に送信する（ステップ１４４）。格付け１５０のプロセスは、テスト管理者によって開始され、候補者の解答を正しい解答と比較することにより行なう（ステップ１５１）。テスト管理者はその比較に基づいて候補者に対する格付けを計算する（ステップ１５２）。その格付けは、典型的には、候補者による正解の数のパーセンテージである。改定１６０のプロセスは、格付け１５０のプロセスが完了した後、おそらくは、テスト１４０と格付け１５０の多数のプロセスの後に開始される。その改定１６０のプロセスは、テスト開発者にテストの問題と正解とを見直す機会を提供し（ステップ１６１）、テストを最新の状態にし、変更点や候補者によって指摘されたコメントを組み込む。テストを改定修正するステップは、テストが価値を喪失せず、時を経ても適用できなくならないようにするために必要である。改定１６０のプロセスが完了すると、先行技術の従来のテストプロセス１００は、テスト１４０と格付け１５０とのプロセスの反復を続ける。

図２は、本発明を実行するシステムのハードウェアコンポーネントの一実施形態を表すネットワーク図である。図２に示されるアーキテクチャはネットワーク２００を利用し、そのネットワークは、多数のクライアントコンピュータ２３０と単独のサーバーコンピュータ２２０とに接続し、本発明の方法を実行する。他の実施形態では、本発明は、多数のサーバーコンピュータの中にあるサーバーコンピュータ２２０によって実行されるプロセスを分配する。更に別の実施形態では、本発明は、サーバーコンピュータと多数の汎用コンピュータとの組み合わせの中にあるサーバーコンピュータ２２０によって実行されるプロセスを分配する。

一実施形態において図２に示されるネットワーク２００は、クライアントコンピュータ２３０とサーバーコンピュータ２２０との間に接続され、データ転送を可能にするパブリック通信ネットワークである。本発明は類似のネットワークアーキテクチャの使用も意図する。類似のネットワークアーキテクチャはパブリック・スイッチド・テレフォン・ネットワーク（ＰＳＴＮ）、データ及びボイスパケットを運ぶパブリック・パケットスイッチド・ネットワーク、ワイヤレスネットワーク、及び、プライベートネットワークを含む。ワイヤレスネットワークは、携帯電話ネットワーク（例えば、時分割多重アクセス（ＴＤＭＡ）又は符号分割多重アクセス（ＣＤＭＡ）ネットワーク）、サテライトネットワーク、及び、ワイヤレスローカルエリアネットワーク（ＬＡＮ）（例えばＷｉ−Ｆｉ）を含む。プライベートネットワークは、ＬＡＮ、ブルートゥースネットワークのようなパーソナルエリアネットワーク（ＰＡＮ）、ワイヤレスＬＡＮ、バーチャルプライベートネットワーク（ＶＰＮ）、イントラネット、又は、エクストラネットを含む。イントラネットはプライベート通信ネットワークであって、会社のような組織に安全な手段を供給し、その組織の信頼されたメンバーが、その組織のネットワーク上のリソースにアクセスするようにする。対照的に、エクストラネットはプライベート通信ネットワークであって、会社のような組織に安全な手段を供給し、その組織のメンバーでない者がその組織のネットワーク上の一定のリソースにアクセスするのを許容する。本システムは、イーサーネット、トークンリング、システムネットワークアーキテクチャ、インターネットプロトコル、トランスミッション・コントロール・プロトコル、ユーザー・データグラム・プロトコル、非同期転送モード、及び、インターネットプロトコルに類似する固有ネットワークプロトコルも意図している。

図２に示されるように、管理者２１０はサーバーコンピュータ２２０を操作し、ネットワーク２００にアクセスしてクライアントコンピュータ２３０に接続する。管理者２１０は、多数のテーマに関連する問題の知識データ（即ち、データストア、又は、データベース）の作成と維持とを調整する責任を有し、その知識ベースの中の問題のサブセットを含むテストの管理に責任を有する。同様に、候補者２４０又は評価者２５０は、クライアントコンピュータ２３０を操作し、ネットワーク２００にアクセスし、サーバーコンピュータ２２０に接続する。候補者２４０は、その知識ベースのための問題サブセットを作成する（即ち、開発する、作成する、又は、準備する）要求を満たす責任を有し、その知識ベースの中の他の問題に解答することによりテストを受ける。評価者２５０は候補者２４０によって作成された問題を評価する責任を有し、候補者２４０によって準備された問題への解答、他の評価者２５０による問題と解答との評価に責任を有する。一実施形態では、評価者２５０は候補者２４０でもあり、その候補者は他の候補者２４０によって開発された問題を評価する責任を有する。

図３は、図２に示されるハードウェアコンポーネントの一実施形態を詳細に表すブロック図である。特に、図３は、サーバーコンピュータ２２０とクライアントコンピュータ２３０とを含むハードウェア及びソフトウェアコンポーネント群を詳細に表す。

図３に示されるサーバーコンピュータ２２０は汎用コンピュータであって、ファイルサービス、ウェッブページサービス、及び類似のものを含むサーバー機能を供給する。バス３００は通信媒体であって、プロセッサ３０５、データ保存デバイス３１０、通信インターフェース３１５、入力デバイス３２０、出力デバイス３２５、知識ベース３３０、及び、メモリ３４０に接続する。一実施形態では、プロセッサ３１５は中央処理ユニット（ＣＰＵ）である。通信インターフェース３１５はネットワーク２００にも接続し、サーバーコンピュータ２２０とネットワーク２００との間のネットワークトラフィックの通過を容易にするメカニズムである。図３は、データ保存デバイス３１０と知識ベース３３０とを、サーバーコンピュータ２２０の分離したコンポーネントとして表している；しかし、本発明は知識ベースをデータ保存デバイス３１０と組み合わせることも意図しており、そして、知識ベースを通信インターフェース３１５を介してサーバーコンピュータ２２０に接続された外部デバイスと組み合わせることも意図している。一実施形態では、知識ベース３３０は問題を含むデータの集合であり、そこでは、各問題は或るテーマを有し、問題に答える責任のある候補者２４０と関連付けられ、多数の評価又はスコアを有する。一実施形態では、知識ベース３３０は解答を含むデータの集合であり、そこでは、各解答は或るテーマに関する問題を有し、解答を準備する責任のある候補者２４０と関連づけられ、多数の評価又はスコアを有する。更に他の実施形態では、知識ベース３３０は、データベースマネージメントシステムが知識ベース３３０からデータを、迅速に保存し、修正し、及び、抽出することができるように組織化され、データベースマネージメントシステムは、相関的な、フラットな、階層的な、オブジェクト指向のアーキテクチャ、及び類似のものを採用する。

プロセッサ３０５は操作命令のシーケンスを実行することにより開示の方法を実行するし、その操作命令はメモリ３４０の中に存在するか、又は、その上で動作可能な各コンピュータプログラムを含む。当業者は、メモリ３４０は、このアプリケーションにおいて開示されるプログラムをサポートするオペレーティングシステム、管理プログラム、及び、データベースプログラムも含むことを理解すべきである。一実施形態では、サーバーコンピュータ２２０のメモリ３４０の構成はテストプログラム３４１とウェッブサーバー３４５とを含む。そのテストプログラム３４１は、問題開発プログラム３４２、テスト管理プログラム３４３、及び、格付けプログラム３４４を含む。ウェッブサーバープログラム３４５はエンジン３４６とウェッブページ３４７とを含む。これらのコンピュータプログラムは、メモリ３４０、知識ベース３３０、又は、データ保存デバイス３１０の中に中間的な結果を保存する。また、これらのプログラムは、入力デバイス３２０を介して管理者２１０から入力を受信し、知識ベース３３０にアクセスし、そして、出力デバイス３２５を介して管理者２１０にその結果を表示する。また、これらのプログラムは入力デバイス３２０を介して管理者２１０から入力を受信し、知識ベース３３０にアクセスし、そして、出力デバイス３２５を介して管理者２１０へ結果を表示する。他の実施形態では、メモリ３４０はこれらのプログラム、又は、その部分を、必要に応じてメモリ３４０の中と外にスワップしてもよく、そして、常にこれらのプログラムの全てよりも少ないものを含んでもよい。

ウェッブサーバープログラム３４５のエンジン３４６は、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）リクエストのようなリクエストをクライアントコンピュータ２３０から受信し、それに応じてユニフォームリソースロケイター（ＵＲＬ）アドレスによって特定されるウェッブページ３４７にアクセスする。そのリクエストは、サーバーコンピュータ２２０に問題開発プログラム３４２を実行させるようにトリガーする問題開発リクエストと、サーバーコンピュータ２２０にテスト開発プログラム３４３を実行させるようにトリガーするテスト管理リクエストと、サーバーコンピュータ２２０に格付けプログラム３４４を実行させるようにトリガーする格付けリクエストとを含む。

図３に示されるように、クライアントコンピュータ２３０は汎用コンピュータである。バス３５０は通信媒体であって、プロセッサ３５５、データ保存デバイス３６０、通信インターフェース３６５、入力デバイス３７０、出力デバイス３７５、及び、メモリ３８０に接続する。プロセッサ３５５は、一実施形態では、中央処理ユニット（ＣＰＵ）である。また、通信インターフェース３６５はネットワーク２００に接続し、そして、クライアントコンピュータ２３０とネットワーク２００との間のネットワークトラフィックの通過を容易にするメカニズムである。

プロセッサ３５５は、メモリ３８０の中に存在するか、又は、その上で動作する各コンピュータプログラムを含む操作命令のシーケンスを実行することにより、開示の方法を実行する。当業者は、メモリ３８０が、このアプリケーションにおいて開示されるプログラムをサポートする、オペレーティングシステム、管理プログラム、及び、データベースプログラムを含んでもよいことを理解すべきである。一実施形態では、クライアントコンピュータ２３０のメモリ３８０の構成は、ウェブブラウザ３８１プログラムと識別子３８２とを含む。一実施形態では、識別子３８２はクッキーとして言及されるファイルの中に保存される。サーバーコンピュータ２２０は、クライアントコンピュータ２３０が最初にサーバーコンピュータ２２０と通信すると、その識別子３８２をクライアントコンピュータ２３０に割り当て、送信する。それ以降、クライアントコンピュータ２３０は、サーバーコンピュータ２２０に送信された全てのメッセージを有する識別子３８２を含み、そうして、そのサーバーコンピュータ２２０はそのメッセージのソースを特定することができる。これらのコンピュータプログラムはメモリ３８０、又は、データ保存デバイス３６０の中に中間結果を保存する。他の実施形態では、メモリ３８０は、これらのプログラム、又は、その部分を、必要に応じてメモリ３８０の中と外にスワップしてもよく、そして、常にこれらのプログラムの全てよりも少ないものを含んでもよい。

図４は本発明の様々な実施形態に従った方法を表すフローチャートである。詳しくは、図４は、管理者２１０がサーバーコンピュータ２２０を操作し、候補者２４０又は評価者２５０の何れか一方がクライアントコンピュータ２３０を操作するとき、問題開発プログラム３４２、テスト管理プログラム３４３、及び、格付けプログラム３４４によって実行されるプロセスを表す。

図４に示される問題開発プログラム３４２は、管理者２１０がサーバーコンピュータ２２０を操作し、或るテーマに関する問題のリクエストを、クライアントコンピュータ２３０を操作する候補者２４０に送信する（ステップ４１０）ときに始まる。クライアントコンピュータ２３０はそのリクエストを受信し、そして、その候補者２４０はそのテーマに関する多数の問題を作成する（ステップ４１１）。管理者２１０は、候補者２４０がそのテーマの公表された専門家であるので、その候補者２４０から問題をリクエストする。しかし、管理者２１０は様々な候補者２４０から問題をリクエストするので、各候補者２４０が開発する問題は異なることがある。他の実施形態では、問題に対するリクエストを受信することなく、候補者２４０はクライアントコンピュータ２３０を操作し、そのテーマに関する多数の問題を作成する（ステップ４１１）。

候補者２４０が問題の開発を完了したとき、候補者２４０はクライアントコンピュータ２３０を操作してその問題をサーバーコンピュータ２２０に提出する（ステップ４１２）。サーバーコンピュータ２２０は提出された問題を受信し、その問題を知識ベース３３０に加える（ステップ４１３）。一実施形態では、知識ベース３３０は各問題、その問題が扱うテーマ、及び、その問題を開発する責任を有する候補者２４０の識別番号（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を保存する。

図４に示されるテスト管理プログラム３４３は、候補者２４０がクライアントコンピュータ２３０を操作してテストのリクエストを送信するときに始まる（ステップ４２０）。サーバーコンピュータ２２０は、リクエストを受信し、知識ベース３３０の中の問題を識別（アイデンティファイ）し、そうして候補者２４０のためのテストの中に含める（ステップ４２１）。他の実施形態では、テストのためのリクエストを受信することなく、サーバーコンピュータ２２０は知識ベース３３０の中の問題を識別し、そうして候補者２４０のためのテストの中に含める（ステップ４２１）。一実施形態では、候補者２４０のために識別される問題は知識ベース３３０の中の問題のサブセットである。他の実施形態では、候補者２４０に対して識別される問題は、知識ベース３３０の中の問題のサブセットであり、その候補者２４０が開発した如何なる問題も除外する。サーバーコンピュータ２２０はテストの中の問題をクライアントコンピュータ２３０に送信する（ステップ４２２）。候補者２４０は、テストの中の問題を受信し、そのテストの中の問題に対する解答を準備し（ステップ４２３）、そして、その解答をサーバーコンピュータ２２０に送信する（ステップ４２４）。サーバーコンピュータ２２０はその解答を受信し（ステップ４２５）、更なる処理のためにその解答を知識ベース３３０の中に保存する。一実施形態では、知識ベース３３０は、各解答と、その解答が扱う問題と、その解答を準備する責任を有する候補者２４０に関連づけられた識別子（ｉｄｅｎｔｉｆｉｅｒ）とを記憶保存する。

テストの問題に解答するステップに加えて、候補者２４０は、テストの中の問題の評価（即ち、アセスメント）を準備し（ステップ４２６）、そして、テストの中の問題の評価をサーバーコンピュータ２２０に送信する（ステップ４２７）ことにより、評価者２５０の役割を果たす。一実施形態では、評価者２５０による各問題の評価は、その問題がそのテーマに適切であるかどうかを判定するステップと、その問題を開発した候補者２４０に対する格付けを計算するのに使用されるスコアを各問題に関連付けるステップとを含む。問題の正しさや適用性についての普遍的な評価は存在せず、問題を判断する認定された専門家は存在しないので、他の実施形態では、評価者２５０による各問題の評価は、問題の有効性、安定性、正しさ、適切性、適用性、又は、価値の判断を含んでもよい。様々な実施形態では、各問題に対するスコアは各問題の評価の客観的指標であり、例えば、数、パーセンテージ、文字、ランク値、又は類似するものである。サーバーコンピュータ２２０はテストの中の問題の評価を受信し（ステップ４２８）、更なる処理のためにテストの問題の評価を保存する。一実施形態では、サーバーコンピュータ２２０は、知識ベース３３０の中のテストの問題の評価を保存する。

図４に示される格付けプログラム３４４は、サーバーコンピュータ２２０がテストの中の問題と、候補者２４０により準備された解答とを或る評価者２５０に送信するときに始まる（ステップ４３０）。一実施形態では、評価者２５０は、テストの中の問題に対して解答を準備した候補者２４０以外の候補者２４０である。他の実施形態では、評価者２５０は、テストの中の問題を開発した候補者２４０である。クライアントコンピュータ２３０はテストの中の問題と解答とを受信し、そして、評価者２５０は解答の評価を準備するためクライアントコンピュータ２３０を操作する（ステップ４３１）。一実施形態では、評価者２５０による各解答の評価は、その解答が正しいかどうかを判断するステップを含み、そして、その解答を準備した候補者２４０に対して格付けを計算するために使用されるスコアを関連づけるステップを含む。解答の正しさ、又は、適用性の普遍的な評価は存在せず、その解答を判断する認定された専門家は存在しないので、他の実施形態では、評価者２５０による各解答の評価は、その解答が正しいか、部分的に正しいか、又は、正しくないかどうかを判断するステップを含む。様々な実施形態では、各解答に対するスコアは各解答の評価の客観的指標であり、例えば、数字、パーセンテージ、文字、ランク値、又はそれに類似するものである。評価者２５０は、クライアントコンピュータ２３０を操作して、解答の評価をサーバーコンピュータ２２０に送信する（ステップ４３２）。サーバーコンピュータ２２０は解答の評価を受信し、そして、候補者２４０が作成した各問題に対するスコアと、候補者２４０がテストの中の問題に対して準備した各解答に対するスコアとに基づいて、候補者２４０に対する格付けを計算する（ステップ４３３）。

一実施形態では、候補者２４０に対する格付けは２つのコンポーネントを有する。候補者２４０に対する格付けの第１コンポーネントは、テストの問題に対して候補者２４０によって準備された解答の評価である。一実施形態では、この第１評価は評価者２５０による各問題に対する評価の平均であり、その評価を与えた評価者２５０に対する格付けに基づいて第１コンポーネントファクタによって乗算される。例えば、候補者２４０がテストの４つの問題に対する解答を準備する場合であって、評価者２５０が５０％、１００％、５０％、及び、１００％とそれぞれ評価するとき、評価者２５０によるその解答の評価の平均は７５％であり、評価者２５０に対する格付けが５０％であるときは、その候補者２４０に対する７５％という格付けは、その評価者２５０に対する格付けが低いので、低下するだろう。候補者２４０に対する格付けの第2コンポーネントは、候補者２４０により作成された問題の評価である。一実施形態では、この第２評価は評価者２５０による各問題に対する評価の平均であり、その評価を与えた評価者２５０に対する格付けに基づいて第２コンポーネントファクタにより乗算される。例えば、或るテストが他の候補者２４０によって作成された４つの問題を有する場合、或る評価者２５０が２５％、１００％、７５％、及び、１００％とそれぞれ評価するとき、問題の評価の平均は７５％であり、そして、その評価者２５０の格付けが１００％である場合は、その候補者２４０に対する７５％の格付けは、その評価者２５０に対する格付けが高いので、変化しない。

一実施形態では、また、評価者２５０に対する格付けは２つのコンポーネントを含む。評価者２５０に対する格付けの第１コンポーネントは、テストの問題への解答に対して評価者２５０が与えた評価の評価である。評価者２５０に対する格付けの第２コンポーネントは、候補者２４０によって作成された問題に対して評価者２５０が与えた評価の評価である。これらのコンポーネントの両方は、評価者２５０による評価の他の評価者２５０による評価である（即ち、再評価）。

従来技術のテスト方法に対する本発明の有利な点は、本発明では、候補者２４０がテストに対して問題の展開を永続化することである。従来技術のテスト方法は、フィードバックループを含み、テスト開発者がそのテストを改定し更新することを可能にする。本発明では、格付けプロセスは、問題と解答が継続的に進化しているので、テストの問題を本質的に改定し更新する。加えて、候補者２４０に対する格付けは、より多くの候補者２４０がテストに参加するのに従って、そして、その問題に対する解答が正しい解答と思われるものに収束するのに従って進化する。本発明は正しさを民主的なプロセスとして定義し、そのプロセスでは、候補者２４０の人数によって、どの解答が優勢になるか、及び、どの解答が優勢ではないかが判断される。解答の評価は、問題を受信してフィードバックを与えた全応答者に対する推奨される応答者の割合に依存する。

図５は本発明の様々な実施形態に従った方法を表すメッセージ・フローチャートである。詳しくは、図５はプロセス５００を表し、そのプロセスは問題を開発し、その問題を評価し、そして、候補者２４０と評価者２５０−１とを格付けする。管理者２１０はサーバーコンピュータ２２０を操作し、或るテーマに対する問題を開発するよう候補者２４０にリクエストを送信する（ステップ５０５）。候補者２４０はクラインとコンピュータ２３０を操作し、その問題に回答し（ステップ５１０）、そして、サーバーコンピュータ２２０に応じて、その質問を提出する（ステップ５１５）。サーバーコンピュータ２２０は、その問題とそのテーマとを、問題の評価に対するリクエストと共に評価者２５０−１に送信する（ステップ５２０）。評価者２５０−１はクライアントコンピュータ２３０を操作し、その問題とそのテーマとを評価し（ステップ５２５）、その問題とそのテーマとの評価の客観的指標を提出する（ステップ５３０）。一実施形態では、その評価は、その問題がそのテーマに適切かどうかの、評価者２５０−１による判断（即ち、見解）である。他の実施形態では、その評価の客観的指標は問題スコアであり、例えば数字（即ち、１，２，３等）、パーセンテージ、文字（例えば、Ａ，Ｂ，Ｃ等）、又はランク値である。サーバーコンピュータ２２０は、評価者２５０−１に対する格付けを検索し（ステップ５３５）、そして、その候補者２４０に対する格付けを更新、又は、計算する（ステップ５４０）。サーバーコンピュータ２２０は、問題スコア、問題、及び、テーマを、他の評価者２５０−２に、問題スコアの評価に対するリクエストと共に送信する（ステップ５４５）。他の評価者２５０−２はクライアントコンピュータ２３０を操作し、問題スコアを評価し（ステップ５５０）、そして、その問題スコアの評価の客観的指標を提出する（ステップ５５５）。一実施形態では、その評価は、他の評価者２５０−２による、その問題スコアが正しいかどうかの判断（即ち、見解）である。他の実施形態では、その評価の客観的指標は評価スコアであり、例えば、数字（即ち、１，２，３等）、パーセンテージ、文字（即ち、Ａ，Ｂ，Ｃ等）、又はランク値である。サーバーコンピュータ２２０は、他の評価者２５０−２に対する格付けを検索し（ステップ５６０）、そして、評価者２５０−１に対する格付けを更新、又は、計算する（ステップ５６５）。一実施形態では、候補者２４０に対する格付けの基礎は、評価者２５０−１からの少なくとも１つの問題スコアであり、そして、評価者２５０に対する格付けの基礎は、他の評価者２５０−２からの少なくとも１つの評価スコアである。他の実施形態では、図５に示されるプロセス５００の反復は、候補者２４０に対する多数の問題スコアを開発し、その問題スコアは、サーバーコンピュータ２２０が候補者２４０に対する格付けを計算するために使用され、そして、評価者２５０−１に対する多数の評価スコアを開発し、その評価スコアは、サーバーコンピュータ２２０が評価者２５０−１に対する格付けを計算するために使用される。一実施形態では、候補者２４０に対する格付けは数学的関数における問題スコアの組み合わせを含み、例えば、平均、中央値、又は、標準偏差等であり、そして、評価者２５０−１に対する格付けは数学的関数における評価スコアの組み合わせを含み、例えば、平均、中央値、又は、標準偏差等である。

図６は本発明の様々な実施形態に従った方法を表すメッセージ・フローチャートである。詳しくは、図６はプロセス６００を示し、そのプロセスは、問題に対する解答を準備し、その解答を評価し、そして、候補者２４０と評価者２５０−１とを格付けする。管理者２１０は、サーバーコンピュータ２２０を操作し、テストの問題への解答を準備するように候補者２４０へリクエストを送信する（ステップ６０５）。候補者２４０はクライアントコンピュータ２３０を操作して解答を準備し（ステップ６１０）、そして、サーバーコンピュータ２２０に応答して解答を提出する（ステップ６１５）。サーバーコンピュータ２２０は解答と問題とをその解答の評価のリクエストと共に評価者２５０−１に送信する（ステップ６２０）。評価者２５０−１はクライアントコンピュータ２３０を操作してその解答とその問題を評価し（ステップ６２５）、そして、その解答とその問題との評価の客観的指標を提出する（ステップ６３０）。一実施形態では、その評価は、その解答が正しいかどうかの、評価者２５０−１による判断（即ち、見解）である。他の実施形態では、評価の客観的指標は、解答スコアであり、例えば、数字（即ち、１，２，３等）、パーセンテージ、文字（即ち、Ａ，Ｂ，Ｃ等）、又は、ランク値である。サーバーコンピュータ２２０は、評価者２５０−１に対する格付けを検索し（ステップ６３５）、候補者２４０に対する格付けを更新、又は、計算する（ステップ６４０）。サーバーコンピュータ２２０は解答スコア、解答、及び、問題を、その解答スコアの評価のリクエストと共に、他の評価者２５０−２に送信する（ステップ６４５）。他の評価者２５０−２はクライアントコンピュータ２３０を操作して解答スコアを評価し（ステップ６５０）、そして、その解答スコアの評価の客観的指標を提出する（ステップ６５５）。一実施形態では、その評価は、その解答スコアが正しいかどうかの、他の評価者２５０−２による判断（即ち、見解）である。他の実施形態では、その評価の客観的指標は評価スコアであり、例えば、数字（即ち、１，２，３等）、パーセンテージ、文字（即ち、Ａ，Ｂ，Ｃ等）、又は、ランク値である。サーバーコンピュータ２２０は他の評価者２５０−２に対する格付けを検索し（ステップ６６０）、そして、評価者２５０−１に対する格付けを更新又は計算する（ステップ６６５）。一実施形態では、候補者２４０に対する格付けの基礎は、評価者２５０−１からの少なくとも１つの解答スコアであり、そして、評価者２５０に対する格付けの基礎は、他の評価者２５０−２からの少なくとも１つの評価スコアである。図６に示されるプロセス６００の反復は、候補者２４０に対する多数の解答スコアを開発し、その解答スコアは、候補者２４０に対する格付けを計算するようにサーバーコンピュータが使用し、そして、評価者２５０−１に対する多数の評価スコアを開発し、その評価スコアは、評価者２５０−１に対する格付けを計算するようにサーバーコンピュータ２２０が使用する。一実施形態では、候補者２４０に対する格付けは、数学的関数における解答スコアの組み合わせを含み、例えば、平均、中央値、又は、標準偏差であり、そして、評価者２５０−１に対する格付けは、数学的関数における評価スコアの組み合わせを含み、例えば、平均、中央値、又は、標準偏差である。

開示の実施形態は、認知的に要求されるスキルと経験に対して完全に機能するテスト方法について説明するが、読者は他の均等な実施形態が存在することを理解すべきである。多数の修正や変形が本明細書を読む者には理解されるだろうから、認知的に要求されるスキルと経験のためのこの民主的なプロセスとテスト方法とは、例示され開示された正確な構造や操作に制限されない。従って、本明細書は、特許請求の範囲の適用範囲内に含まれる全ての適切な変形例と均等物とを意図している。

Claims

コンピュータ内に存在するメモリデバイスと；
前記メモリデバイスと通信するよう配置されたプロセッサと、を含むシステムであって
前記プロセッサは：
候補者がテーマに基づいた問題を作成することを要求し；
前記候補者から前記問題を受信し；
少なくとも１人の評価者から前記問題と前記テーマとの評価を要求し；
各評価者から問題スコアを受信し、前記問題スコアは前記問題と前記テーマとの評価の客観的指標であり；
各評価者に対する格付けを受信し；そして、
各評価者からの前記問題スコアと前記各評価者に対する格付けとに基づいて、前記候補者に対する格付けを計算するように構成される、
システム。
前記問題の目的はテスト受験者が前記テーマにおいて有するスキルや経験のレベルを判定することである、請求項１記載のシステム。
前記問題を受信するため、前記プロセッサはさらに：
前記問題を保存し；
前記テーマを保存し；そして、
前記候補者と前記問題と前記テーマとを関連づけるように構成される、請求項１記載のシステム。
前記問題と前記テーマとの評価には、前記問題が前記テーマに適切であるかどうかを判定する前記少なくとも１人の評価者を含む、請求項１記載のシステム。
前記問題スコアを受信するため、前記プロセッサはさらに：
前記問題スコアを保存し；そして、
前記評価者と前記問題と前記問題スコアとを関連づけるように構成される、請求項１記載のシステム。
前記問題スコアは数字、パーセンテージ、文字、及びランク値のうちの少なくとも１つである、請求項１記載のシステム。
各評価者に対する前記格付けは数字、文字、及びランク値のうちの少なくとも１つである、請求項１記載のシステム。
各評価者に対する前記格付けは、少なくとも１つの評価に基づき、その評価は少なくとも１人の他の評価者によってなされ、その評価は前記評価者からの少なくとも１つの他の問題スコアである、請求項１記載のシステム。
前記候補者に対する前記格付けは数字、文字、及びランク値のうちの少なくとも１つである、請求項１記載のシステム。
前記プロセッサはさらに：
少なくとも１人の他の評価者から前記問題スコアの評価を要求し；そして、
他の評価者の各々から評価スコアを受信し、前記評価スコアは前記問題スコアの評価の客観的指標であり；そして、
他の評価者の各々からの前記評価スコアに基づいて各評価者に対する前記格付けを計算するように構成される、
請求項１記載のシステム。
前記問題スコアの前記評価には、前記問題スコアが正確であるかどうかを判定する前記少なくとも１人の他の評価者を含む、請求項１０記載のシステム。
前記評価スコアを受信するため、前記プロセッサはさらに：
前記評価スコアを保存し；そして、
前記他の評価者と前記評価者と前記評価スコアとを関連づけるよう構成される、請求項１０記載のシステム。
前記評価スコアは数字、文字、及びランク値のうちの少なくとも１つである、請求項１０記載のシステム。
前記候補者は評価者である、請求項１記載のシステム。
前記評価者は候補者である、請求項１記載のシステム。
非一時的なコンピュータ可読記憶媒体であって、コンピュータ実行可能な命令を含み、コンピュータデバイス上で実行されると次のステップを実行する：
候補者が或るテーマに基づいた問題を作成することを要求するステップと；
前記候補者から前記問題を受信するステップと；
少なくとも１人の評価者からの前記問題と前記テーマとを評価することを要求するステップと；
各評価者から問題スコアを受信するステップであって、前記問題スコアは前記問題と前記テーマとの評価の客観的指標である、ステップと；
各評価者に対する格付けを受信するステップと；
各評価者からの前記問題スコア及び各評価者に対する格付けに基づいて、前記候補者に対する格付けを計算するステップと、を有する、コンピュータ可読記憶媒体。
前記問題の目的はテスト受験者が前記テーマにおいて有するスキルや経験のレベルを判定することである、請求項１６記載の非一時的なコンピュータ可読記憶媒体。
前記問題を受信するステップはさらに：
前記問題を保存するステップと；
前記テーマを保存するステップと；
前記候補者と前記問題と前記テーマとを関連づけるステップと、を含む、請求項１６記載の非一時的なコンピュータ可読記憶媒体。
前記問題と前記テーマとの評価には、前記問題が前記テーマに適切であるかどうかを判定する前記少なくとも１人の評価者を含む、請求項１６記載の非一時的なコンピュータ可読記憶媒体。
前記問題スコアを受信するステップには、さらに：
前記問題スコアを保存するステップと；
前記評価者と前記質問と前記問題スコアとを関連づけるステップと、を含む、請求項１６記載の非一時的なコンピュータ可読記憶媒体。
前記問題スコアは、数字、パーセンテージ、文字、及びランク値のうちの少なくとも１つである、請求項１６記載の非一時的なコンピュータ可読記憶媒体。
各評価者に対する前記格付けは、数字、文字、及びランク値のうちの少なくとも１つである、請求項１６記載の非一時的なコンピュータ可読記憶媒体。
各評価者に対する前記格付けは、少なくとも１つの評価に基づき、その評価は少なくとも１人の他の評価者によってなされ、その評価は前記評価者からの少なくとも１つの他の問題スコアである、請求項１６記載の非一時的なコンピュータ可読記憶媒体。
前記候補者に対する前記格付けは、数字、文字、及びランク値のうち少なくとも１つである、請求項１６記載の非一時的なコンピュータ可読記憶媒体。
少なくとも１人の他の評価者から前記問題スコアの評価を要求するステップと；
各他の評価者から評価スコアを受信するステップであって、前記評価スコアは前記問題スコアの評価の客観的指標である、ステップと；
各他の評価者からの前記評価スコアに基づいて、各評価者に対する前記格付けを計算するステップと、をさらに含む、請求項１６記載の非一時的なコンピュータ可読記憶媒体。
前記問題スコアの評価には、前記問題スコアが正確であるかどうかを判定する前記少なくとも１人の他の評価者を含む、請求項２５記載の非一時的なコンピュータ可読記憶媒体。
前記評価スコアを受信するステップには、さらに：
前記評価スコアを保存するステップと、
前記他の評価者と前記評価者と前記評価スコアとを関連づけるステップと、を含む、請求項２５記載の非一時的なコンピュータ可読記憶媒体。
前記評価スコアは、数字、文字、及びランク値のうちの少なくとも１つである、請求項２５記載の非一時的なコンピュータ可読記憶媒体。
前記候補者は評価者である、請求項１６記載の非一時的なコンピュータ可読記憶媒体。
前記評価者は候補者である、請求項１６記載の非一時的なコンピュータ可読記憶媒体。
コンピュータ内に存在するメモリデバイスと；
前記メモリデバイスと通信するよう配置されたプロセッサと、を含むシステムであって
前記プロセッサは：
候補者がテーマに基づいた問題に対して解答を準備することを要求し；
前記候補者から前記解答を受信し；
少なくとも１人の評価者からの前記解答と前記問題との評価を要求し；
各評価者から解答スコアを受信し、前記解答スコアは前記解答と前記問題との評価の客観的指標であり；
各評価者に対する格付けを受信し；そして、
各評価者からの前記解答スコアと各評価者に対する格付けとに基づいて、前記候補者に対する格付けを計算するように構成される、
システム。
前記問題の目的はテスト受験者が前記テーマにおいて有するスキルや経験のレベルを判定することである、請求項３１記載のシステム。
前記解答を受信するために、前記プロセッサはさらに：
前記解答を保存し；
前記問題を保存し；そして、
前記候補者と前記解答と前記問題とを関連づけるように構成される、請求項３１記載のシステム。
前記解答と前記問題との評価には、前記解答が前記問題に対して正しい解答であるかどうかを判定する前記少なくとも１人の評価者を含む、請求項３１記載のシステム。
前記解答スコアを受信するために、前記プロセッサはさらに：
前記解答スコアを受信し；そして、
前記評価者と前記解答と前記解答スコアとを関連づけるように構成される、請求項３１記載のシステム。
前記解答スコアは、数字、パーセンテージ、文字、及びランク値のうち少なくとも１つである、請求項３１記載のシステム。
各評価者に対する前記格付けは、数字、文字、及びランク値のうち少なくとも１つである、請求項３１記載のシステム。
各評価者に対する前記格付けは、少なくとも１つの評価に基づき、その評価は少なくとも１人の他の評価者によるもので、その評価は前記評価者からの少なくとも１つの解答スコアである、請求項３１記載のシステム。
前記候補者に対する前記格付けは、数字、文字、及びランク値のうち少なくとも１つである、請求項３１記載のシステム。
前記プロセッサは、さらに：
少なくとも１人の他の評価者から前記解答スコアの評価を要求し；そして、
各他の評価者から評価スコアを受信し、前記評価スコアは前記解答スコアの前記評価の客観的指標であり；そして、
各他の評価者からの前記評価スコアに基づいて、各評価者に対する前記格付けを計算するように構成される、請求項３１記載のシステム。
前記解答スコアの前記評価には、前記解答スコアが正しいかどうかを判定する前記少なくとも１人の評価者を含む、請求項４０記載のシステム。
前記評価スコアを受信するために、前記プロセッサはさらに：
前記評価スコアを保存し；そして、
前記他の評価者と前記評価者と前記評価スコアとを関連づけるように構成される、請求項４０記載のシステム。
前記評価スコアは、数字、文字、及びランク値のうち少なくとも１つである、請求項４０記載のシステム。
前記候補者は評価者である、請求項３１記載のシステム。
前記評価者は候補者である、請求項３１記載のシステム。
非一時的なコンピュータ可読記憶媒体であって、コンピュータ実行可能な命令を含み、コンピュータデバイス上で実行されると次のステップを実行する：
候補者が或るテーマに基づいた問題に対して解答を準備することを要求するステップと；
前記候補者から前記解答を受信するステップと；
少なくとも１人の評価者からの前記解答と前記問題とを評価することを要求するステップと；
各評価者から解答スコアを受信するステップであって、前記解答スコアは前記解答と前記問題との評価の客観的指標である、ステップと；
各評価者に対する格付けを受信するステップと；
各評価者からの前記解答スコア及び各評価者に対する格付けに基づいて、前記候補者に対する格付けを計算するステップと、を有する、コンピュータ可読記憶媒体。
前記問題の目的はテスト受験者が前記テーマにおいて有するスキルや経験のレベルを判定することである、請求項４６記載のコンピュータ可読記憶媒体。
前記解答を受信するステップは、さらに：
前記解答を保存するステップと；
前記問題を保存するステップと；
前記候補者と前記解答と前記問題とを関連づけるステップと、を含む、請求項４６記載のコンピュータ可読記憶媒体。
前記解答と前記問題との評価には、前記解答が前記問題に対して正しいかどうかを判定する前記少なくとも１人の評価者を含む、請求項４６記載のコンピュータ可読記憶媒体。
前記解答スコアを受信するステップは、さらに：
前記解答スコアを保存するステップと；
前記評価者と前記解答と前記解答スコアとを関連づけるステップと、を含む、請求項４６記載のコンピュータ可読記憶媒体。
前記解答スコアは、数字、パーセンテージ、文字、及びランク値のうち少なくとも１つである、請求項４６記載のコンピュータ可読記憶媒体。
各評価者に対する前記格付けは、数字、文字、及びランク値のうち少なくとも１つである、請求項４６記載のコンピュータ可読記憶媒体。
各評価者に対する前記格付けは、少なくとも１つの評価に基づき、その評価は少なくとも１人の他の評価者によるもので、その評価は前記評価者からの少なくとも１つの他の解答スコアである、請求項４６記載のコンピュータ可読記憶媒体。
前記候補者に対する前記格付けは、数字、文字、及びランク値のうち少なくとも１つである、請求項４６記載のコンピュータ可読記憶媒体。
少なくとも１人の他の評価者から前記解答スコアの評価を要求するステップと；
各他の評価者から評価スコアを受信するステップであって、前記評価スコアは前記解答スコアの評価の客観的指標である、ステップと；
各他の評価者からの前記評価スコアに基づいて、各評価者に対して前記格付けを計算するステップと、を更に含む、請求項４６記載のコンピュータ可読記憶媒体。
前記解答スコアの前記評価には、前記解答スコアが正確であるかどうかを判定する前記少なくとも１人の他の評価者を含む、請求項５５記載のコンピュータ可読記憶媒体。
前記評価スコアを受信するステップには、さらに：
前記評価スコアを保存するステップと；
前記他の評価者と前記評価者と前記評価スコアとを関連付けるステップと、を含む、請求項５５記載のコンピュータ可読記憶媒体。
前記評価スコアは、数字、文字、及びランク値のうち少なくとも１つである、請求項５５記載のコンピュータ可読記憶媒体。
前記候補者は評価者である、請求項４６記載のコンピュータ可読記憶媒体。
前記評価者は候補者である、請求項４６記載のコンピュータ可読記憶媒体。