Comments on: Paper 004: 大学生を対象とする英語スピーキングテストの回答音声に基づくコーパス構築

By: Katsunori Kanzawa

Katsunori Kanzawa — Mon, 05 Oct 2020 02:08:08 +0000

In reply to Abe Mariko. コメントありがとうございます。一度、阿部先生とお話させていただきたいと思っておりました。また小林先生を通してご連絡させていただきます。今後ともよろしくお願いいたします。

By: Katsunori Kanzawa

Katsunori Kanzawa — Mon, 05 Oct 2020 02:05:55 +0000

In reply to iskwshin. お返事ありがとうございます。今後ともよろしくお願いいたします。

By: iskwshin

iskwshin — Sun, 04 Oct 2020 14:11:02 +0000

In reply to Katsunori Kanzawa. ご丁寧なご回答，ありがとうございました！

By: Abe Mariko

Abe Mariko — Sun, 04 Oct 2020 05:25:15 +0000

素晴らしいご発表、ありがとうございました！大変勉強になりました（阿部＠中央大学）

By: Katsunori Kanzawa

Katsunori Kanzawa — Sat, 03 Oct 2020 06:07:04 +0000

In reply to RisaTerada.

ご質問ありがとうございます。
例えば、サンプルテストのQ1では、出題画面に、河川敷のようなところに使い古されたスニーカーが置かれている写真が映し出されます。タスクはImagine who the owner of these shoes is and why they are here.なので、ownerとreasonの両方がとりあえず言及されていれば3点（5点満点）、詳細に言及されていれば4点か5点、どちらかにしか言及されていなければ1点か2点、といった感じで採点しています。
「タスクの達成度」は計量的なものではなく、どうしても主観的になってしまうのですが、採点者トレーニングを入念に行っていることもあり、2名いる採点者の採点の一致率は90%以上となっています。

By: Katsunori Kanzawa

Katsunori Kanzawa — Sat, 03 Oct 2020 05:49:45 +0000

In reply to sugiura. ご質問ありがとうございます。タグ頻度を含んだデータになってしまうのですが、それですと、1人あたり470語程度、1問あたり50語程度といったところです。タスクによっても回答語数にかなりの違いがあります。

By: Katsunori Kanzawa

Katsunori Kanzawa — Sat, 03 Oct 2020 05:49:10 +0000

In reply to s_uchida.

ご質問ありがとうございます。
具体的な精度はある程度データが揃った段階で検証しようと思っているのですが、ご指摘の通り、Japanese Englishの場合はなかなか難しいです。また、発表でも述べましたように、受験者のレベルによって精度に差があるのが実情で、レベルが高い学生のものは割と精度が高いのですが、そうでない学生のものはほとんど書き直さなくてはならないような状態です。
非ネイティブ話者の英語をAIに読み込ませていけば、精度は上がるものなのでしょうか、、、

By: Katsunori Kanzawa

Katsunori Kanzawa — Sat, 03 Oct 2020 05:48:45 +0000

In reply to tono.

ご質問ありがとうございます。
質疑応答の履歴がすべて残るということで、Zoomセッションではなく、コメント方式を採用させていただいております。ご不便をおかけし、大変申し訳ありません。
CEFRなどとの対応付けは行えていないのですが、本学の学生に合わせてA2〜B1あたりのレベルを想定して問題を作成しています。
IRTを用いて等化をする過程で、各タスクの難易度がわかるのですが、こちらの予想に反して、Q1, 2の写真描写問題の難易度が高い傾向にあります。学生が、回答のパタンが制限されないopen questionを苦手としていることに関係しているのではと見ています。

By: Katsunori Kanzawa

Katsunori Kanzawa — Sat, 03 Oct 2020 05:48:23 +0000

In reply to ishikawa.yuka.

ご質問ありがとうございます。
Task Achievement (TA) はタスクの達成度、Task Delivery (TD) は伝え方を評価する項目です。具体的には、TAはタスクで問われていることをどの程度詳細に答えられているかで評価し、TDは回答中にポーズ、ためらい、繰り返しがどの程度含まれているかで評価しています。
TAとTDは例年かなり相関が高いため、現在、TAに一本化することも検討しています。
お答えになっていますでしょうか。もし違っていましたら、再度ご質問いただけますと幸いです。

By: Katsunori Kanzawa

Katsunori Kanzawa — Sat, 03 Oct 2020 05:47:53 +0000

In reply to iskwshin.

ご質問ありがとうございます。
(1) 「この値はなんとも微妙」ということですが、まさに私もそのように感じています。ただ、工繊大の研究グループとしては、2技能テストで測れない能力があると考えられる以上、4技能で直接的に測定したほうがよいという立場をとっています。
ちなみに、過去にKIT Speaking Test（今回とは異なるテストバージョンです）とTOEICのL、Rそれぞれの相関を調べたことがあるのですが、そのときはRよりもLとの相関が高い結果になりました（実際の数値が手元にありません、、、必要であれば後日お調べしますので、おっしゃってください）。スピーキングテストに会話を聞いて答える問題が含まれていることにも関係していると思われます。
(2) KIT Speaking Testの評価は、制限時間内でどれだけの情報量を伝えたか、に大きく関わっています。したがって、おそらくfillerを抜いたとしても、情報量が同じであれば（単にpauseになっただけであれば）、評価は変わらないのではないかと思われます。