「問題が難しすぎた」
「問題が悪かった」
試験を受けた後、そう思ったことがある人も多いはず。
人生をかけて勉強した試験なら、そう思ってしまうのも仕方ないですよね。
このように問題の難易度や良し悪しによって受験生の人生が変わってしまうことを防ぐため、近年では試験にIRTという理論が取り入れられつつあります。
今回は、そんなIRTについて紹介します。
IRTとは
IRTとはItem Response Theoryの略称であり、
- 項目応答理論
- 項目反応理論
などと訳されます。
IRTを簡単に言えば、運や問題の難易度によって試験結果が左右される要素を可能な限り排除し、受験生の実力を正確に測ろうとする理論です。
欧米ではすでに広く採用されており、有名な英語テストのTOEFLでもIRTを基に点数が付けられます。
一方の日本では、近年ようやく採用が始まり、ITパスポート試験などで導入されています。
IRTの概要
IRTの詳細は統計や数学の知識が必要となり難解なため、ここでは簡単な具体例を用いて紹介します。
例えば年1回行われる100点満点の国家試験。
昨年の平均点が50点で今年の平均点が60点だったとします。
この場合、今年の試験が簡単だったと言えるでしょうか。
言えません。
なぜなら、今年の受験生が優秀だっただけという可能性があります。
偏差値でも同じことが言え、同じ偏差値50でも、他の受験生のレベルが低い試験での偏差値50より、レベルが高い試験での偏差値50の方が価値があると言えます。
他の受験生のレベルが高い試験で偏差値50だった受験生の方が優秀ということです。
このように、現在の日本で一般的な平均点や偏差値という評価軸では、受験生の能力で合否を決定できていない可能性があると言えます。
これらを、統計や数学を用いて、複数のテスト間の比較を容易にし、可能な限り受験生の能力で合否を決定しようというのがIRTです。
良問と悪問
試験問題には、良問と悪問があります。
良問は「受験生の学力を正しく測れる問題」で、悪問は「受験生の学力を正しく測れない問題」です。
たとえば、
- 点数の高い受験生ほど正解し、点数の低い受験生ほど間違える問題
これが良問です。
一方で悪問は、
- 点数の低い受験生ほど正解し、点数の高い受験生ほど間違える問題
これは、紛らわしい選択肢が存在し、知識が豊富なせいでかえって考えすぎて間違えている可能性があります。
- 点数の高い受験生も低い受験生も正解率が変わらない問題
これは、問題が簡単すぎる、あるいは難しすぎて多くの受験生が勘で答えてる可能性があります。
このような考え方を実際に統計的に処理することで、ある程度は問題のパラメータ化できるようになります。
さらに、受験生が多ければ多いほど受験生の学力は正規分布し、難易度の比較が容易になるのです。
まとめ
どうだったでしょうか。
全然分からなかったと思います（笑）
肝心なところは統計的な処理となるため、そこを省くと断片的なことしか紹介できませんでした。
もし興味がある方は、ぜひ書籍など読んでみてください。
