杉浦正利氏らによるコーパス NICE 及び関連研究の問題についてはこれまでも情報を発信してきましたが,改めて経緯を簡単にまとめ投稿いたします (添付画像参照)。 関連分野の研究に甚大な悪影響を及ぼす可能性があるものであり,多くの人に読んでいただき問題についてご理解いただければ幸いです。
研究科長の文書の1-1の3つ目の項目に 論文の執筆者(分析者)が,分析対象である 本コーパスに文章を提出している. とあるが,これは,杉浦正利氏の指導生でNICE作成グループの1人の村尾玲美氏 (現在,名古屋大学 人文学研究科 英語教育学 准教授) が学習者として作文を書いていることを指す。
村尾氏執筆の作文は『英語学習者コーパス活用ハンドブック』収録の研究でも使われている。問題が指摘され,この作文を使用した Sugiura, Narita, Ishida, Sakaue, Murao & Muraki (2007) は撤回されたが,英語コーパス学会学会誌掲載の訂正論文,石田知美・杉浦正利 (2015) では続けて使用されている。
こちらの添付画像は研究科内に設置された調査のための委員会による文書からの抜粋。 <引用> 2014年1月14日付の研究科長申渡しには、NICEの「問題点」として「本コーパスは条件を揃えて作成されたものではないが,論文は条件を揃えて作成されたことを前提にして書かれている」、
研究態度の「問題点」として「本コーパスに問題があることを認識していていたが,それを論文中に正しく書いていない」と指摘されている。 </引用> NICE の問題が,条件統制の有無ではなく,実態に反して条件統制したと発表していたことであることもはっきりと指摘されている。
<引用> 「条件が統制されていません」ということが問題なのではなく、統制された条件の下で収集されたと公言しながら、実際には、統制された条件の下で収集された英文エッセイではなかったと書かなければ、読み手は理解できない。 </引用>
上記の委員会による文書の以下の部分について。 <引用> 1.2.「3.エッセイ執筆者に関する情報に不整合があります」について 複数の英文エッセイを書いた者についてしか開示していない。ひとつの英文エッセイしか書かなかった者についてもデータをチェックして公開するのがよい。 </引用>
NICEでは各作文のヘッダに執筆者情報が記載されていた。母語話者の作文は200名分と発表されていたが,論文等で挙げられている母語話者の使用表現に妙な偏りを感じ,執筆者を確認すると,200名ではなく,大半が17名によって書かれたものであった。これでは個人の表現の癖で偏りが生じても不思議はない。
学習者についても確認したが,同じ専攻に所属していたためヘッダ情報から執筆者が特定できるケースがあり,村尾玲美氏ら杉浦正利氏の指導生が作文を書いていることが判明した。NICEを使用し研究発表している人達も含まれていた。
同一執筆者による作文の記載内容に矛盾があること,また,作成者から見せてもらった執筆者情報の一覧には情報が欠けているところがあり,コーパス収録の作文には<存在しない情報が記載されている>こともわかった。
同一執筆者の作文のヘッダ情報に矛盾があれば記載内容の誤りは明らかだが,矛盾がなくとも,また1作文しか執筆していない場合でも,記載内容の正しさに疑いが生じる。
上記引用の「ひとつの英文エッセイしか書かなかった者についてもデータをチェックして公開するのがよい」というのは,このような状況を踏まえ,記載内容すべてについて事実に即したものかどうかの確認が必要であることを指摘したものである。
指摘を受け杉浦氏らがチェックを行ったのか,また,正しい情報であることをどうやって確認したのかは明らかにされていない。そもそも記載情報に矛盾が生じた理由も説明されていない。
こちらは Eguchi & Sugiura (2015) で,文法的形態素 (助動詞 be,進行の -ing,過去-不規則,過去-規則,三人称 -s) の誤用の分析にスペルチェック,文章校正機能がオンで書かれた作文をデータとして使用していた問題を指摘したもの。
<引用> 文章校正機能が統制されていないことについては、江口氏は面談時に、研究の過程で文章校正機能が有効だった可能性を認識していたと述べていた。コーパス作成の本人である杉浦教授は、当然把握していたはずの重要項目であり、「配慮が欠けた」という種類の問題ではないように思われる。 </引用>
スペルチェックと文章校正機能がオンだと, understanded,he understand と書けば下線が付き学習者は誤りに気付きやすくなる。NICE にはこれらの機能がオンで書かれた作文とそうでない作文が混在しており,文法的形態素の習得の分析には不適切なものだが,この論文も問題の指摘後に投稿されている。
United States Trends
- 1. Under Armour 4,132 posts
- 2. Blue Origin 10.3K posts
- 3. Megyn Kelly 34.6K posts
- 4. New Glenn 10.7K posts
- 5. Senator Fetterman 20.8K posts
- 6. Vine 36.8K posts
- 7. Brainiac 7,968 posts
- 8. Curry Brand 3,274 posts
- 9. Nike 26.1K posts
- 10. CarPlay 4,639 posts
- 11. Operation Southern Spear 3,626 posts
- 12. Eric Swalwell 31.3K posts
- 13. #2025CaracasWordExpo 9,774 posts
- 14. Matt Gaetz 17K posts
- 15. Portugal 67.8K posts
- 16. World Cup 108K posts
- 17. GeForce Season 1,167 posts
- 18. Padres 28.8K posts
- 19. Grade 1 26.5K posts
- 20. Fang Fang 18K posts
Something went wrong.
Something went wrong.