松野研究室LLM時代のPBL成果物を評価する
LLM活用を前提とした個人自由制作型PBLにおける成果物規模と品質の年度間比較
大学3年次のソフトウェア工学科目を対象に、生成AIを使える環境で学生の自由制作型PBL成果物がどう変化したかを分析する研究です。
詳しく見る 閉じる
課題
LLMを使った開発演習では、成果物の規模や品質が学生の能力だけでなく、LLMの使い方や授業設計にも左右されます。そのため、成果物から何を評価できるのかを整理する必要があります。
方法
2024年度48名、2025年度46名の成果物について、COSMIC法に基づくLLM補助測定で機能規模を比較しました。2025年度はCFRPによる基礎習熟度とテスト通過率の関係も調べています。
主な結果
2025年度の平均機能規模は2024年度の約3.2倍でした。一方で、CFRPと機能規模の相関は弱く、CFRPとテスト通過率には中程度の正の相関が見られました。LLM補助評価の限界も明示しています。