機械学習によるカンニングの検出技術の開発

本研究成果は、日本物理学会が刊行する月刊誌「Journal of Physical Society of Japan」誌のオンライン版に1月8日付けにて公開され、紙面版に1月15日に公開されました。

概要

大量のデータからそのデータ間に存在する関係性を自動的に捉える技術として、機械学習と呼ばれる手法が世の中を席巻しています。人間が経験を積むことにより未来を予見するメカニズムを、擬似的にコンピュータ上の計算で実装する技術です。

教育機関の中では、学生（被験者）の課題達成度・理解到達度（能力）を調べるために、多くの試験を実施します。日々蓄積している大量のデータを解析し、被験者の能力を推定することこそが、学生の成績を評価するということですが、長年実施してきた科目であれば、その経験から答案の採点をしながらカンニングの存在に気づく教員も少なくありません。本研究では、教員が経験的にカンニングの存在を検出するメカニズムを機械学習の手法に取り込むことで、答案の正誤内容から自動的にカンニングの検出を行うことを目指しました。

従来手法は、全被験者を常に観察対象としてカンニングの度合いを推定する方法と、カンニングの度合いが大きい順に「この被験者はカンニングをしている」と断定をしていくという二つの方法があります。前者については、結局どの被験者が怪しいのかを決定する性能には乏しく、後者については、いわば「決めつけ」による間違いが生じるという弱点があります。今回の提案手法では、特に後者の従来手法とは逆に、カンニングをしている度合いが小さい順に「この被験者はカンニングをしていない」と確信して、その後の観察ではカンニングを疑わず、残りの被験者については、先入観を持たずに同様の観察を続けます。「決めつけ」るのではなく、「信じる」ことを主眼とするのが本提案手法の特徴です。

本研究では、答案の内容をシミュレーションにより用意した上で提案手法の性能を確かめました。図に示すように、絞り込みをしながら、推定結果と答案データとの整合性を調べた結果、絞り込みをするにつれて、整合性を示す値が増大しました。これはカンニングをしていないと信じることで矛盾が生じなかったことを示しています。やがて減少に転じますが、これは残りの被験者がカンニングをしていると疑わざるを得ないことを示しています。減少に転じるまでに絞り込まれた被験者については、実際にカンニングをしていることが確認されました。同時に、被験者の能力などを推定することも従来手法より精度よく行うことができることが確認されました。

詳しい研究内容について

機械学習によるカンニングの検出技術の開発