テスト理論
小杉（2023）第6章「測定の基礎」では、テスト理論が解説されています。（古典的）テスト理論とは、「測定された得点は、真の得点と誤差の和ですよ」という考え方ですね。式で書くと、
となります。単純です。単純なんですが、これをじっと眺めていても、「誤差」がある限り、真の得点はわかりません。どうすんの？ ということになります。その前に「誤差」ってなあに？ というお話から。
2種類の「誤差」
テスト理論では、誤差を2種類にわけて考えます。
一つは「系統誤差」です。何らかの原因があって生じている誤差です。測定機器がちゃんと調整されていないと起こりますね。何も乗せていない「はかり」は、正しく０グラムを指してほしいわけです。
もう一つは「偶然誤差」です。これはたまたま生じた誤差で、どっちの方向へ、どれくらい誤差が生じたのかがわからない。やっかいなのはこっちですね。そして、人を対象に何かを測定するときに、より生じやすいのはこちらです。これをどうやって扱うのか。「平均すればいい」というのがテスト理論の考え方です。
誤差の平均とは
たとえば、同じ個人に対して、数学の力を測定するような、できるだけ均質な問題を複数用意して解いてもらう、という状況を考えます。さきほどのテスト理論の式は、問題1つ1つに対して適用できるので、たとえば問題が10問あるとき、その平均点は、
という式になります。観測されたテストの得点は、真の得点と誤差の平均だよ、というわけです。どうやっても誤差が残ってしまって悲しいかといえば、そうではない。
偶然誤差ってさあ、たまたま生じた誤差でしょ。どっち方向に、どれくらい「ズレ」が生まれているかわからないじゃない。ということは、それ（偶然誤差）、たーくさん集めたら、打ち消し合って、０になるんじゃね？
と、テスト理論は考えたのですね。ほんとか？ とも思いますけど。
でも、これを適用すると、さっきの式はとてもきれいにまとまります。
え？ 誤差どこいったん？ と、思いますよね。
だからね、たくさん（ここでは10個だけだけど）集めたら０になるんじゃね？ って、テスト理論が言っているので、にしたんですよ。合計が0になるなら、平均も0だし。
なんかずるい？ そう言われても、ねえ。
たしかに、たった10問で？ という感じは否めません。だからこそ、学校では何回も何回もテストをするんでしょう。小学校の算数のテストなんかで得点の低い子どもは、やはり理解ができていないだろうと判断できますし、よく理解できている子どもは、偶然誤差があったとしてもおおむねミスは少ない。
答えが分かれる問題がいい問題
いい問題って何？ というのも、テスト理論の重要なところです。これについては、「何を目的としたテストか」を考えなくてはいけません。
たとえば、小学校1年生に算数のテストをします。当然ですが、授業で扱った問題のテストをします。教師としては、どれくらい理解できているのかを確かめたいのですから、全員が100点をとれば万々歳です。
一方、工場で、出荷前に不良品検査をします。きちんと基準を決めて、基準内であれば合格、基準を少しでも逸脱したら不合格にしますよね。ここでは基準がぶれないことが大事です。
入学試験ではどうでしょう。試験をする側は、できるだけ優秀な人材を取りたいですから、「この人は優秀か否か」を、正確に見分けられる問題がいい問題です。全員が正解したり、全員が不正解したりする問題では、「優秀かどうかを見分ける」ことはできませんから、「優秀な人だけが正解する」という問題がベストなのですね。
次の一手名人戦
将棋のイベントで「次の一手名人戦」という企画があります。
プロ棋士が指す「次の一手」を予想してもらって、当たった人だけが次の問題にチャレンジできて、最終的に残った一人がチャンピオン（次の一手名人）になるわけです。
プロ棋士が将棋を指している途中で、解説者が「次の手を封じてください」って言うと、手番の棋士が「次はこの手を指します」というのを紙に書いて記録係に手渡します。そこで、観客が、解説者のヒントをもとに次の一手を予想するわけですね。
このとき、観客が多ければ、どこかで人数を減らす必要がありますから、答えが分かれそうな問題を出さなくてはいけません。選択肢が３つあって、ちょうど3分の1ずつに分かれたら、それはとてもいい問題だったことになりますね。
ただし、第1問目からそれをやってしまうと、かなりの人が1回しか楽しめないことになります。これでは、別の意味で失敗だったことになるので、悩ましいところです。
