"What Should Every EFL Teacher Know?" (Paul Nation) Chap.12: How Do You Test Your Learners?
今週水曜から集中講義「項目応答理論による大規模言語試験の開発・運用・改定」というテスト関連の授業を受けるので！と言いつつ、今回の章とはあんまり関係なさそうw
よいテストは、reliable, valid, and practical、とのこと。第一章で「教員の仕事は、plan, train, test, and teach」と言っていたように、大きな部分を占めるものである。教員に対して生徒の進捗に関するフィードバックを与え、生徒を動機づけ、さらに生徒に自身の学習に対するフィードバックを与える。ふむふむ。
テストは、achievement test（生徒が授業で学んだことをどれだけ習得したか試す。教員が作ることが多い）とproficiency test（多くは外部機関によって作られる、個別の教育に依らない、達成度を測るテスト）にしばしば分けられるが、本章では前者に重点を置く。
※多分だけど一番上に書いた授業で扱うのは後者だから、本章とはますます関係なさそうね。
◯How Do You Make Sure That Your Test Will Be a Good Test?
まずは、reliability。
同じ人に同じ問題をやらせたら大体同じ点数が返ってくるよ、ってテスト。誰が問題を出すか・誰が丸付けするか・その他周りの環境などに依ってはならない。そうしたテストを作るための心構えとして、以下のようなものがある。
- There should be plenty of items in the test.
- The type of questions in the test should be familiar to the learners.
- The instructions for the test should be the same for all learners and should be clear and simple.
- The teacher should have a set way of marking the test.
- The test should be given under the same conditions each time it is given.
- The learners need to take the test seriously.
それぞれに関して補足をすると、
1点目。最低30項目は評価するポイントが必要。それらは生徒が学習したことをしっかり代表していなくてはならない。
2点目。選択式の問題なら生徒にとってもわかりやすいだろうが、正しいものに◯をつけるか、間違っているものに☓をするのか、いくつ正解があるのか、などわかりやすさが必要。
3点目。他の先生と見せ合うとグッド！
4点目。記述問題なら、answer keyと呼べるようなものを用意しておき、別の人が採点しても同じような点数になることが望まれる。また、選択式であっても、例えば1つだけ◯するところに2つまるがついていたらどうするか、など事前にルール設定が必要。
5点目。暗すぎたり、うるさすぎたりしない場所で、同じ時間与えて解かせる。これ面白いな。日本ではあんまり問題にならなそう。
6点目。それはそうだ。
続きまして、validity。これはreliabilityの一部と考えられる。妥当でなければ信頼できない。統計の授業では「妥当性と信頼性」のことを、「ズレとブレ」という言葉で表していた。的の中心から「ズレ」ていたら「妥当」ではない。中心に集まっていても、あまりにも「ブレ」ていたら「信頼」できない。
妥当性を考える時には「今自分が測りたいものは何か」「それはこのテストで測れそうか」を考えることが常に必要。ただ、妥当性を考える上で、生徒が真面目にテストを受けているか、という点も重要になってくる。ニュージーランドでは、先生が横について、頑張れ頑張れ言いながら生徒に試験を真面目に受けさせることがあるみたいで、やっぱり日本とはだいぶ違いそうだなあと。や、日本の中でもそういう場所はあるのか？うーん。
最後に、practicality。これは上記の2つほど大事ではない。例えば作るのにめちゃくちゃお金がかかったり、解かせるのにめちゃくちゃ時間がかかったら、現実的ではないよね。そこで以下の点に留意すること。
- コンピュータープログラムの活用を検討する。例えばAWLのリスト（http://www.victoria.ac.nz/lals/resources/academicwordlist/）なんかはcloze test（穴埋め式的なやつみたい）を作るのに便利。http://www.lextutor.ca でも似たようなことがされているそうです。
- 印刷しなくて済むPC上でのテストを検討する。そうすれば採点もPCが肩代わりしてくれる部分が多くなる。
- 採点しやすいようなレイアウトで解答用紙を組む。
- 単語テストなど、多くの可能な選択肢の中から設問に使う数個の選択肢を選ぶ際には、ランダムに取る。
1点目および2点目は、あまり言われない気がする。3点目はきっと慣れるに従ってそういうレイアウトにする先生が多そう。
◯Testing Listening
(1)Listening passages with questions
聞いて、多肢選択式や短答式の問題に答える、というもの。何回かくり返して聴かせる。いくつかのパッセージを聞かせて、1問の影響力が大きすぎないよう配慮。多肢選択式は設問3つでおk。
リスニング問題においては、設問は日本語でよい。つまり、そこにリーディング要素が入らないようにする。とは言え、言語の切り替えが毎回設問理解を容易にするわけではない（言語の切り替え自体にリソースが必要、的な意味か）ので、事前に何回か試してみるとよい。4つか5つのパッセージ・ダイアログに、6~7問の問題。短答式ではスペルのミスなども大目に見るとよい。
(2)Dictation
ディクテーションは、リスニングのテストというより、general language proficiencyに近い話だそうです。50-60語の文章を扱う。ちょっとしたスペルミスは大目に見るべきだが、どこまで大目に見るのかは事前に決めておく必要あり。
◯Testing Speaking
一般的に、1人1人みるためかなり時間がかかり、あまりpracticalではない。ペアでやらせると、相手との関係性・相手の英語力等の問題でvalidと言いかねる部分もある（これはむしろreliabilityじゃないか？と思う）。
(1)Interviews
発音・文法・流暢さ・全体的な印象などの項目を1~5につける、最低2人が採点するなど。項目多すぎるとreliabilityの点で問題有り。
(2)Role plays
試験者と生徒の間でロールプレイを行う。専門的なロールを設定（医者役で、患者にもっと運動するよう勧める、とか）することで、specialist areasの会話能力を見ることができる。 採点されない短いinformal talkをした後、最低2つのロールをさせるとよい。
(3)Picture description
まあこれは分かりやすそうだから割愛（今回長いから予想外に時間かかってる）。
(4)Other methods of testing speaking
実際に話させなくても、conversational cloze testなんてものも。こういう場面で何を言いますか？的な。こればかりだと、生徒はスピーキングの試験も全部書いて準備し始めるのでよくないが、わりといい方法ではある。
ペアで間違い探しをさせるというテストも。
◯Testing Reading
(1)Passages with questions
会話体ではない文章を読ませ、いくつかの設問に答えさせる。大意把握・精読・推測（行間を読む、的な）などのバリエーションをつける。3つの選択肢から選べせるのがよいが、True/Falseでも、短答式でもよい。
(2)Cloze tests
5文字ごとに穴が空いていて、それを埋めるような形式。埋めるための語のリストは渡されず、文脈から把握。採点方式としては、元の文章とまったく同じものしか認めないものと、可能なものは全て丸にするものがある。答案を生徒に返却するなら後者がよい。
◯Testing Writing
reliabilityの観点からは、複数の書きものを、複数回に分けて書かせ、複数人で採点するのがよい。
(1)Holistic marking
読んで全体的な点数をつける。時間がなければこちらがよい。
(2)Analytic marking
チェックリスト（スペル・句読点・体裁、語彙、文法、内容・構成、全体の印象）にしたがって、詳細に点数付けをする。生徒にフィードバックするならこちらがよい。
(3)Portfolio marking
コース全体を通して、どのように書く文章が変わったか、的な。
◯Testing Vocabulary
以前紹介したようなボキャブラリーテストを活用。それぞれの生徒が別々の単語を学習している時は、以下の方法が効果的。
まず、生徒自身が単語のリストを作る。そこには単語だけを書き連ねる。
その単語の横に、教員がコードを振る。コードの意味は次の通り。
M：その単語の意味
S：その単語を含む文
C：その単語を含むコロケーション
P：その単語をパートに区切ってそれぞれのパートの意味を説明する
◯Testing Grammar
ライティングやスピーキングでも生徒の文法力はわかるが、より絞って見たい場合は、言い換え・穴埋め・2文を1文に、などの方法で確認できる。
◯Testing Overall Proficiency
1つのテストだけを使うのはうまくない。穴埋め効果的。見たこと無い文章の第2文から穴を開けて単語の前半しか分からないようにする。（is→i_, animal→ani___, the→t__, point→po___など）その上で、単語を復元させる。これがc-testというらしい。最初の数文字と、全体の文字数のヒントも得られるので少しやりやすいのね。
語彙テストも、Generalな英語力を測るのによい。自由記述作文・1対1のインタビューもよい。
◯Regular Record Keeping
毎学期1回か2回は到達度を測ろう。テストの点数のみならず、speed readingや10 minute writing、読んだ本、書いたものなども含めるべし。学習に遅れが出ている時にもわかるし、さらにテストで異常に低い点数を取った時の救済措置にもなる。
◯付録
Read, J.(1983). What is a good classroom test? Guidelines, 5,1-7.
Reves, T.(1982). The group-oral examination: a field experiment. World Language English 1(4), 259-262.
（どちらもタイトルのみでリンクなしです。）
Hot Potatoes Home Page
Effortless English Archives: What the C-test is
Cloze test creator
CLOZES
