Paper 004: 大学生を対象とする英語スピーキングテストの回答音声に基づくコーパス構築
神澤克徳（京都工芸繊維大学）、小林雄一郎（日本大学）、田中悠介（京都大学）
Keywords: コーパス構築、学習者話し言葉コーパス、英語スピーキングテスト、大学生
Abstract
本発表の目的は、発表者らが現在構築中のコーパスであるKIT Speaking Test Corpusの概要を述べ、それを使用した分析例を紹介することである。KIT Speaking Test Corpusは、京都工芸繊維大学で1年次生全員を対象に実施した英語スピーキングテスト (KIT Speaking Test) の回答音声を書き起こしたものである。書き起こしの対象となる回答音声は74時間16分（1名あたり7分45秒×575名）である。書き起こしデータには「フィラー」や「自己訂正」など17種類のタグを挿入している。また、ヘッダー情報として、受験者の属性のほか、スピーキングテストのスコアや直近に受験したTOEICのスコアを付与している。このような仕様によって、学習者の習熟度（テストスコア）とパフォーマンスの関係、スピーキングテストのタスクが受験者のパフォーマンスに与える影響などの分析が可能となり、さまざまな角度から日本語を母語とする大学生の英語スピーキング能力の実情を解明することができると期待される。本発表では、4段階の習熟度別の産出語彙量、特徴的な語句を報告する。具体的には、3人称代名詞，副詞，時制，接続表現、前置詞句，that節などの発達パターンに注目する。また、フィラーや自己訂正の頻度と生起位置に注目することで、学習者が言いよどみやすい箇所に光を当てる。
Presentation video
Supplementary Information
None
Q&A live (Zoom) session
| Link: | None. |
| Notes: | None. |
ご投稿ありがとうございます。大会当日を楽しみにしております。 – Organizing committee
大変興味深い発表ありがとうございます。(1)10’50″あたりで示された，TOEIC X KIT Speaking Testの相関が.59であったという報告は大変興味深いです（私がかつて調べたTOEICのLRとSWの相関値とも近いです）。この値はなんとも微妙で，「相関がそれほど高くないので，2技能だけではだめで，4技能直接測定必須だ」という解釈と，「相関がある程度出ているため，2技能でもほぼ見切れている」という解釈がありえますが，このあたり，研究グループのご見解はいかがでしょうか？（※1つの大学のデータなので，切断効果でrが実際より下がっている可能性はありますが…） (2)17’10″あたり，もしfillerを仮に抜けば（pauseにする），評価者による評価はあがると思われますか？ （いしかわ＠神戸）
ご質問ありがとうございます。
(1) 「この値はなんとも微妙」ということですが、まさに私もそのように感じています。ただ、工繊大の研究グループとしては、2技能テストで測れない能力があると考えられる以上、4技能で直接的に測定したほうがよいという立場をとっています。
ちなみに、過去にKIT Speaking Test（今回とは異なるテストバージョンです）とTOEICのL、Rそれぞれの相関を調べたことがあるのですが、そのときはRよりもLとの相関が高い結果になりました（実際の数値が手元にありません、、、必要であれば後日お調べしますので、おっしゃってください）。スピーキングテストに会話を聞いて答える問題が含まれていることにも関係していると思われます。
(2) KIT Speaking Testの評価は、制限時間内でどれだけの情報量を伝えたか、に大きく関わっています。したがって、おそらくfillerを抜いたとしても、情報量が同じであれば（単にpauseになっただけであれば）、評価は変わらないのではないかと思われます。
ご丁寧なご回答，ありがとうございました！
お返事ありがとうございます。今後ともよろしくお願いいたします。
キーワードでは、40以下と60以上で差が出ていて、評価者の評価が支持されているようにと思いました。大変興味を持ちました。ありがとうございました。できれば、80%-20%という、最初の評価方法をもう少し詳しくお聞きしたいです。石川＠名古屋工業大学
ご質問ありがとうございます。
Task Achievement (TA) はタスクの達成度、Task Delivery (TD) は伝え方を評価する項目です。具体的には、TAはタスクで問われていることをどの程度詳細に答えられているかで評価し、TDは回答中にポーズ、ためらい、繰り返しがどの程度含まれているかで評価しています。
TAとTDは例年かなり相関が高いため、現在、TAに一本化することも検討しています。
お答えになっていますでしょうか。もし違っていましたら、再度ご質問いただけますと幸いです。
テストの task achievement の採点は、テスト・タスクのレベルとの相互関係があると思うのですが、各タスクの難易度想定レベルなどはあるのでしょうか？
この発表は Zoom セッションないみたいなので、コメントで質問してます、すみません。。（投野）
ご質問ありがとうございます。
質疑応答の履歴がすべて残るということで、Zoomセッションではなく、コメント方式を採用させていただいております。ご不便をおかけし、大変申し訳ありません。
CEFRなどとの対応付けは行えていないのですが、本学の学生に合わせてA2〜B1あたりのレベルを想定して問題を作成しています。
IRTを用いて等化をする過程で、各タスクの難易度がわかるのですが、こちらの予想に反して、Q1, 2の写真描写問題の難易度が高い傾向にあります。学生が、回答のパタンが制限されないopen questionを苦手としていることに関係しているのではと見ています。
興味深いご発表、ありがとうございました。音声の自動書き起こしの精度はどの程度でしたでしょうか。音声認識技術自体はかなり発達していると思いますが、学習者の英語の場合はまだ難しいのではないかなという気がしています（このあたりが楽になるともっとspoken corpusができそうですね）。
ご質問ありがとうございます。
具体的な精度はある程度データが揃った段階で検証しようと思っているのですが、ご指摘の通り、Japanese Englishの場合はなかなか難しいです。また、発表でも述べましたように、受験者のレベルによって精度に差があるのが実情で、レベルが高い学生のものは割と精度が高いのですが、そうでない学生のものはほとんど書き直さなくてはならないような状態です。
非ネイティブ話者の英語をAIに読み込ませていけば、精度は上がるものなのでしょうか、、、
とても意義深いコーパスの構築プロジェクトの紹介、ありがとうございました。
一人あたりの平均産出量（語数）がどのくらいか教えていただけると幸いです。（杉浦＠名古屋大学）
ご質問ありがとうございます。
タグ頻度を含んだデータになってしまうのですが、それですと、1人あたり470語程度、1問あたり50語程度といったところです。タスクによっても回答語数にかなりの違いがあります。
皆様、ご質問やコメント、ありがとうございます。順番にお返事させていただきますので、もうしばらくお待ちください。
発表ありがとうございました。
スピーキングテストの採点について質問したいことがあります。特にPart１の1と2はspeak clear, coherentlyがポイントだったと思いますが、タスクが達成されたと考える基準や観点などのようなものがもしございましたら是非お伺いしたいです。
ご質問ありがとうございます。
例えば、サンプルテストのQ1では、出題画面に、河川敷のようなところに使い古されたスニーカーが置かれている写真が映し出されます。タスクはImagine who the owner of these shoes is and why they are here.なので、ownerとreasonの両方がとりあえず言及されていれば3点（5点満点）、詳細に言及されていれば4点か5点、どちらかにしか言及されていなければ1点か2点、といった感じで採点しています。
「タスクの達成度」は計量的なものではなく、どうしても主観的になってしまうのですが、採点者トレーニングを入念に行っていることもあり、2名いる採点者の採点の一致率は90%以上となっています。
素晴らしいご発表、ありがとうございました！大変勉強になりました（阿部＠中央大学）
コメントありがとうございます。一度、阿部先生とお話させていただきたいと思っておりました。また小林先生を通してご連絡させていただきます。今後ともよろしくお願いいたします。