確信度は知識の質を向上させる上で重要な役割を果たします。確信のある不正解 (間違って覚えた知識) や確信のない正解 (勘で正解した問題) などの望ましくない状況は、学習者がその状況を認識しにくいため、知識の見直しを妨げてしまいます。そこで我々は、センサを用いて確信度を自動的に推定し、重点的に復習すべき問題をフィードバックするシステムを開発しています。
本研究では、その有効性を測定した3つの研究結果を報告します。(1) 10人の参加者を対象としたデータセットにおいて、確信度の有無を80%の平均適合率で検出しました。(2) 20名の参加者を対象に、確信のない正解と確信のある不正解をフィードバックすることで、正解率がそれぞれ14％、17％向上することを確認しました。(3) 学習塾（高校生72名が14,302問に回答）で大規模なデータ記録を行い、確信度推定に効果的な特徴と必要な訓練サンプル数を調査しました。
関連する対外発表
- Shoya Ishimaru, Takanori Maruichi, Andreas Dengel and Koichi Kise. “Confidence-Aware Learning Assistant”. In arXiv preprint arXiv:2102.07312, 2021. BibTeX PDF
- Shoya Ishimaru, Takanori Maruichi, Koichi Kise and Andreas Dengel. “Gaze-Based Self-Confidence Estimation on Multiple-Choice Questions and Its Feedback”. In Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems (CHI '20 Asian CHI Symposium 2020), 2020. BibTeX
- Takanori Maruichi, Shoya Ishimaru and Koichi Kise. “Self-confidence Estimation on Vocabulary Tests with Stroke-level Handwriting Logs”. In Proceedings of the 15th IAPR International Conference on Document Analysis and Recognition (ICDAR HDI'19), pp. 18–22, 2019. BibTeX