共用試験ナビ-年度一覧 > 第4版 共用試験の概要 > 歯学系CBT-トライアルのまとめ  
 
歯学系CBTトライアルのまとめ
 
CBTトライアルのまとめ

■CBTトライアルの目的と実施状況
 平成14年4月から平成16年9月までに合計4回のトライアルが実施された。トライアルの目的と実施状況は以下のとおりです。
  1. CBTのランダム出題方針のために、正式実施に備えてプール問題を確保するとともに問題セット間の難易度の差がなく、公平な出題が行われることの検討。
    毎年度、各大学に問題作成を依頼し、全参加大学の教員の多大の協力により試験問題候補が共用試験実施機構に提出された。提出された問題は、共用試験実施機構CBT試験問題作成委員会委員により、毎年の膨大な集中作業によってブラッシュアップ作業が行われた(正式実施後も継続)。
    出題形式として単純5肢択一問題ばかりでなく、多選択肢連問や順次解答型連問の問題作成方法およびブラッシュアップ方法の検討を行った。また、これらの問題作成能率の向上のため、各大学の要請に応じて講師を派遣した。
    ブラッシュアップされた問題は、4回トライアルで出題され、試験実施後各問題の正答率等の特性を評価し、プール問題として適正と判断される問題(設問)の蓄積を行った(正式実施後も継続)。正式実施開始前に医学系、歯学系とも必要最小限のプール問題設問数(医学系8,000、歯学系6,000)の確保を目標とした。
    正式実施の開始に備えて、プール問題の重複調整、コア・カリキュラム項目間の問題配分の調整作業が行われた(正式実施後も継続)。
    問題作成およびブラッシュアップ作業を効率的に実施するためのソフトの開発と改善を行った。
    ランダム出題に伴う難易度の調整のため、各トライアルごとに、正答率、平均難易度の解析および公平な試験実施のために項目反応理論の適応に向けた検討を行った(正式実施後も継続)。
  2. 各大学のコンピュータシステムに対応して安全かつ精度の高い試験システムを構築し、確実にCBTを実施する方法を確立すること。
    試験実施ソフトの開発と改善および実施方法の改善を行った(正式実施後も継続)。
    各大学のコンピュータシステムの変更に伴うソフトの変更を行った(正式実施後も継続)。
  3. 試験実施後に可及的速やかに学生の成績を回収し、成績を返却するシステムを構築すること。
    試験実施後の問題および解答の回収システムの開発および改善、学生への成績返却のフォーマットおよび学習の参考となる評価指標提示の検討を行った。
CBTトライアルの経過の詳細については、「臨床実習開始前の共用試験」(第3版、平成17年9月)および「共用試験CBT・OSCEトライアル総括報告書」(平成18年3月、医歯学教育システム研究センター発行、各大学に配布済み)を参照して下さい。

■歯学系CBT トライアルのまとめ

 【正答率分布】
正答率分布グラフ

 【問題セット間の平均難易度分布】
問題セット間の平均難易度分布グラフ

 【正答率等】  【平均難易度の標準偏差】
正答率等表 平均難易度の標準偏差表

【歯学系CBTプール問題設問数の推移】

 歯学系CBTトライアルのまとめ

○トライアル中の正答率
 第1回 : 52.3% 第2回 : 54.4%
 第3回 : 57.2% 最終 : 62.3%
 と次第に増加した。

○問題セット間平均難易度の標準偏差
 第1回 : 2.22% 第2回 : 0.98%
 第3回 : 1.06% 最終 : 1.07%
 と1.0%程度にまで低下した。

○プール問題の設問数
 当初予定した最少設問数の6,000題を超えて、約8,000題弱が正式実施開始前までにプールされた。

歯学系CBTプール問題設問数の推移

歯学系モデル・コア・カリキュラム項目別正答率と点双列相関係数の変化
歯学系モデル・コア・カリキュラム項目別正答率と点双列相関係数の変化
第1回トライアルでは出題数が少ないため(100題)解析には含まれていない。また、第2回トライアルでは多選択肢連問は出題されていない。

■CBT試験問題の良否判定のための用語説明(識別指数と点双列相関係数)
 試験問題の良否を判定する場合、正答率ばかりでなく、能力のある受験者が正答し、能力の低い受験者の正答率が低ければ、能力についての識別が優れた試験問題になります。試験問題の良否の指標として、試験成績の一部を使った識別指数とコンピュータ時代に相応しい全てのデータを用いた点双列相関係数があります。共用試験CBTのプール問題蓄積にあたっては一問ごとに識別指数と点双列相関係数を検討しています。
識別指数(ψ)
各試験問題について、成績上位者(上位1/4程度)の正答率(1.0を満点)から成績下位者(下位1/4程度)の正答率を引いた値で(実際にはもっと複雑な式を用いて計算しています)、この値が大きいほど識別度(弁別度)が高いとされます。この指数は最小−1から最大+1までの範囲の数値となります。マイナス値を示す場合は、適切な問題ではない可能性、あるいは実施した試験で測定する能力と異なる能力を測定している可能性があります。通常0.2を超える程度を目安とし、0.4以上になると良問と考えられます。
点双列相関係数(ρpb)
識別指数では、上位および下位の成績のみを使っていますが、中間の成績も含めて全てのデータを使った指標が点双列相関係数(テスト全体の得点とその問題の得点との間の直線相関関係の指標)です。識別指数より若干低めの数値を示す傾向があります。0.3以上が望ましいとされています。
 A=その問題の正答者のテスト全体の得点の平均値
 B=その問題の誤答者のテスト全体の得点の平均値
 C=テスト全体の得点の標準偏差
 D=その問題の標準偏差  とした場合、  点双列相関係数 =
(A−B) × D
C
 

Copyright(C) Common Achievement Tests Organization (CATO) All rights reserved. 
本サイト内に記載されているコンテンツの無断転載は固くお断りいたします。

 

共用試験ナビ
共用試験の概要
  共用試験の概要
  共用試験の実施
  導入の経緯
  CATO設立趣旨
CBTの概要
  形式と内容
  成績返却フォーマット例
医学系CBT
  トライアルのまとめ
  2006年度全国成績
(概要)
  CBT公開問題
歯学系CBT
  トライアルのまとめ
  2006年度全国成績
(概要)
  CBT公開問題
OSCEの概要
医学系OSCE
  トライアルの目的と実施状況
  最終トライアルと2006年度全国成績(概要)
  診療参加型臨床実習に参加する学生に必要とされる技能と態度に関する学習・評価項目−第1版
  診療参加型臨床実習に参加する学生に必要とされる技能と態度に関する学習・評価項目−第2版
歯学系OSCE
  トライアルの目的と実施状況
  最終トライアルと2006年度全国成績(概要)
  課題と学習目標
共用試験に関する遵守事項と注意事項
役員・委員会名簿
  役員等
  委員会等
  委員名簿(医学系)
>以前の内容はこちら
  委員名簿(歯学系)
>以前の内容はこちら
  委員名簿(共通)