2026 AIED Conference Part 1

Track 1 – Technical Aspects of AIED

📘 AIED2026_part 1 전체 논문 목록

1	증거-결정-피드백: 이론 기반 LLM 에이전트 적응형 스캐폴딩<br>Evidence-Decision-Feedback: Theory-Driven Adaptive Scaffolding for LLM Agents	Cohn, Guo, Rayala 외	Productive Failure·감정조절·이론기반설계 3가지 이론을 결합해 LLM 에이전트의 인지+정서 스캐폴딩을 통합 설계
2	DrawSim-PD: NGSS 기반 교사 진단 추론을 위한 학생 과학 그림 시뮬레이션<br>DrawSim-PD: Simulating Student Science Drawings to Support NGSS-Aligned Teacher Diagnostic Reasoning	Chakma, He, Wang 외	학생의 과학 그림을 AI가 시뮬레이션하여 교사의 진단적 추론 훈련을 지원
3	명령어 튜닝 LLM으로 지능형 튜터링 시스템 강화: 학생 코드 이해도 자동 평가<br>Enhancing ITS with Instruction-Tuned LLMs: Automated Assessment of Student Code Comprehension	Chapagain, Rus	명령어 튜닝된 LLM을 활용해 학생의 코드 이해 수준을 자동 평가하는 ITS 강화 기법
4	교사의 기하학적 내용 지식 자동 추론: 스킬 기반 접근<br>Automatically Inferring Teachers' Geometric Content Knowledge: A Skills Based Approach	Fenigstein, Gal, Segal 외	교사의 기하학 교과 지식을 행동 데이터로부터 자동 추론하는 스킬 기반 모델
5	개인화 AI 연습이 대규모로 학습률 규칙성을 재현하다<br>Personalized AI Practice Replicates Learning Rate Regularity at Scale	Beauchesne, Maroti, Bratman 외	대규모 개인화 AI 연습 시스템에서도 전통적 학습률 패턴(규칙성)이 동일하게 관찰됨을 검증
6	접근 가능한 학습을 위한 대형 음성언어모델의 과학 공식 음성화 벤치마킹<br>Benchmarking Scientific Formula Vocalization in Large Speech Language Models Toward Accessible Learning	Li, Liu, Zheng 외	시각장애 학생을 위해 과학 공식을 음성으로 변환하는 LLM 성능을 벤치마킹
7	길들여지지 않은 블랙박스에서 해석 가능한 교수법적 오케스트레이션으로: 적응형 튜터링을 위한 전문화된 LLM 앙상블 아키텍처<br>From Untamed Black Box to Interpretable Pedagogical Orchestration: The Ensemble of Specialized LLMs Architecture for Adaptive Tutoring	Kadir	여러 전문화된 LLM을 앙상블로 결합해 해석 가능한 적응형 튜터링 아키텍처 구현
8	MLLM이 학생의 마음을 읽을 수 있는가? 손글씨 수학 풀이의 멀티모달 오류 분석<br>Can MLLMs Read Students' Minds? Unpacking Multimodal Error Analysis in Handwritten Math	Song, Xu, Zhang 외	멀티모달 LLM이 손글씨 수학 풀이에서 오류 패턴을 얼마나 정확히 분석할 수 있는지 검증
9	검증 가능한 보상을 활용한 합성 에세이 생성 프롬프트 최적화<br>Prompt Optimization with Verifiable Rewards for Synthetic Essay Generation	Nam	검증 가능한 보상 신호를 활용해 합성 에세이 생성용 프롬프트를 최적화하는 기법
10	인지 상태 그래프와 ZPD 기반 프롬프팅을 통한 개인화 프로그래밍 연습문제 생성<br>Generating Personalized Programming Exercises via Cognitive State Graphs and ZPD-Driven Prompting	Zhang, Zhu, Ma	근접발달영역(ZPD) 이론과 인지 상태 그래프를 결합해 개인 맞춤 프로그래밍 문제 생성
11	짧게, 길게, 혹은 감성적으로: 학생 학습을 위한 LLM 생성 피드백 스타일 평가<br>Short, Long, or Affective: Evaluating LLM-Generated Feedback Styles for Student Learning	Worden, Lee, Siedahmed 외	피드백의 길이와 감성적 톤이 학습 효과에 미치는 영향을 비교 평가
12	교사 인터뷰의 질적 분석을 위한 LLM 기반 도구의 개발과 평가<br>Developing and Evaluating a LLM-Based Tool for Qualitative Analysis of Teacher Interviews	Feng, Prihar, Brezack	교사 인터뷰 데이터를 질적으로 분석해주는 LLM 기반 도구 개발 및 검증
13	프로그래밍 입문 교육을 위한 설명가능 AI 보조원: 강사-AI 협업으로 피드백 신뢰성 향상<br>An Explainable AI Assistant for Introductory Programming Education: Improving Feedback Reliability with Instructor-AI Collaboration	Hoq, Pitts, Mott 외	강사와 AI가 협업해 XAI 기반으로 프로그래밍 피드백의 신뢰성을 강화
14	진화하는 보상을 통한 불완전 시연 기반 계층적 견습 학습<br>Hierarchical Apprenticeship Learning from Imperfect Demonstrations with Evolving Rewards	Islam, Debnath, Saha, Chi	불완전한 시범(데모)으로부터도 계층적 구조와 진화하는 보상함수로 학습이 가능한 강화학습 기법
15	보여주고 말하기를 넘어서: 데이터 시각화 센스메이킹 능력 개발을 위한 설명가능 AI 피드백<br>Beyond Show and Tell: Explainable AI-Supported Feedback for Developing Data Visualization Sense-Making Skills	Boonsongprasert, Pathak, Song, Chen	단순 시연을 넘어 학생의 데이터 시각화 해석력을 키우는 XAI 피드백 시스템
16	다중 에이전트 접근법을 통한 LLM 생성 개인화 수학 문제의 검증 및 정제<br>A Multi-agent Approach to Validate and Refine LLM-Generated Personalized Math Problems	Ikram, Kumar, Lu 외	여러 에이전트가 협업해 LLM이 만든 수학 문제의 품질을 검증·개선
17	통찰을 위한 시선: 대면 협력학습에서 시선 행동 탐지를 위한 확장 가능 AI 접근법<br>Gaze to Insight: A Scalable AI Approach for Detecting Gaze Behaviours in Face-To-Face Collaborative Learning	Liang, Zhou, Bulathwela, Cukurova	대면 협력 학습 상황에서 학생의 시선 행동을 AI로 탐지·분석하는 확장 가능 기법
18	AI가 초기 유아교육과 만났을 때: 중국 유치원에서 평가 동반자로서의 LLM<br>When AI Meets Early Childhood Education: LLMs as Assessment Teammates in Chinese Preschools	Li, Huang, Bao 외	중국 유치원 현장에서 LLM을 평가 보조 파트너로 활용한 사례 연구
19	슬라이드에서 시험으로: 협력적 평가 설계를 위한 다중 에이전트 인간-AI 시스템<br>From Slides to Exams: A Multi-agent Human-AI System for Collaborative Assessment Design	Truong, Luu, Duong 외	강의 슬라이드로부터 시험 문제를 생성하는 인간-AI 협업 다중 에이전트 시스템
20	i-VIP: 수학 교사 전문성 개발을 위한 LLM 기반 다중 에이전트 시스템<br>i-VIP: A LLM-Driven Multi-agent System for Professional Development of Mathematics Teachers	Li, Yang, Chu 외	수학 교사의 전문성 개발을 지원하는 다중 에이전트 LLM 시스템
21	인지 프로파일링 기반 비교과 활동 추천을 위한 신경-기호 접근법<br>A Neuro-Symbolic Approach to Extracurricular Activity Recommendation Based on Cognitive Profiling	Bukina, Khramova, Smirnov 외	신경망과 기호적 추론을 결합해 학생의 인지 프로파일 기반 비교과활동 추천
22	문제해결에서 교수법적 피드백으로: 학생 오류 귀인을 위한 학생 중심 사고의 나무 추론<br>From Problem Solving to Pedagogical Feedback: Student-Centric Tree-of-Thought Reasoning for Student Error Attribution	Li, Cheng, Wang 외	Tree-of-Thought 추론으로 학생의 오류 원인을 정확히 귀인·진단하는 기법
23	ANVIL: 강사를 위한 유추와 영상<br>ANVIL: Analogies and Videos for Lecturers	Noviello, Birillo, Migut	강사가 어려운 개념을 비유와 영상으로 쉽게 설명할 수 있도록 돕는 도구
24	프로세스 통합 IRT: 응답 과정 데이터를 통한 컴퓨터 기반 프로그래밍 평가의 능력 추정 강화<br>Process-Integrated IRT: Enhancing Ability Estimation in Computer-Based Programming Assessments Through Response Process Data	Miyazawa, Ueno	결과뿐 아니라 응답 과정 데이터를 통합한 문항반응이론(IRT)으로 프로그래밍 능력 추정 정확도 향상
25	의미 인식 데이터 증강을 통한 교육 대화 텍스트의 새로운 의도 발견<br>New Intent Discovery for Educational Dialogue Texts via Semantic-Aware Data Augmentation	Zhu, Jiang, Gu, Wang	데이터 증강 기법으로 교육 대화에서 새로운(미분류) 학생 의도를 발견하는 방법
26	LLM 채점자를 언제 신뢰할 수 있는가? 자동 평가를 위한 신뢰도 보정<br>When Can We Trust LLM Graders? Calibrating Confidence for Automated Assessment	Vasquez Ferrer, Turgut, Chen, Sonkar	LLM 자동 채점의 신뢰도를 정량적으로 보정하여 언제 믿을 수 있는지 판별
27	REFINE: 상호작용 피드백과 학생 행동에 대한 실세계 탐구<br>REFINE: Real-World Exploration of Interactive Feedback and Student Behaviour	Fawzi, Neshaei, Knezevic 외	실제 교실 환경에서 상호작용형 피드백이 학생 행동에 미치는 영향을 탐구
28	TME 프레임워크: 협력적 문제해결에서 적극적 경청 능력을 위한 멀티모달 학습자 모델링<br>The TME Framework: Multimodal Learner Modeling for Active Listening Skills in Collaborative Problem Solving	Huang, Ochoa, Hiterer	협력 문제해결 중 학생의 '적극적 경청' 능력을 멀티모달 데이터로 모델링
29	수행평가에서 후광효과를 다루는 문항반응이론 모델<br>An Item Response Theory Model for Addressing Halo Effects in Performance Assessment	Uto, Kitakaze	평가자의 후광효과(halo effect) 편향을 보정하는 새로운 IRT 모델 제안
30	직접 선호도 최적화를 통한 반응 과잉 억제 LLM 기반 가상 표준화 환자: 의료 면접 시험용<br>LLM-Based Virtual Standardized Patients with Response Excessiveness Suppression via Direct Preference Optimization for Medical Interview Examinations	Shindo, Uto	의대생 면접 훈련용 가상 환자가 과도하게 장황한 응답을 하지 않도록 DPO로 제어
31	PSC: 태국 EFL 학습자를 위한 개인화 문장 단위 발음 코칭 프레임워크<br>PSC: Personalized Sentence-Level Pronunciation Coaching Framework for Thai EFL Learners	Polasa, Rodjananant, Thanadunpremdet 외	태국인 영어 학습자 대상 문장 단위 맞춤형 발음 교정 코칭 시스템
32	학업 경로 계획을 위한 증거 연결 교육과정 지식 그래프 구축<br>Building Evidence-Linked Curriculum Knowledge Graphs for Academic Pathway Planning	Zhao, Nelson, Cruz, Piggot	교육과정 요소들을 증거 기반으로 연결한 지식 그래프로 학업 경로를 설계
33	대형 언어모델의 오개념 습득 역학<br>Misconception Acquisition Dynamics in Large Language Models	Liu, Chen, Baraniuk 외	LLM이 학생처럼 오개념을 어떻게 '습득'하고 진화시키는지 그 역학을 분석
34	다음 응답 예측을 넘어서: 딥러닝 기반 지식추적 모델의 지식 상태 전이 일관성 평가<br>Beyond Next-Response Prediction: Evaluating Knowledge State Transition Consistency in Deep Learning Based Knowledge Tracing Models	Bai, Han, Tan 외	단순 정답 예측을 넘어 지식추적 모델의 지식 상태 전이 자체의 일관성을 평가
35	컴퓨팅 사고에 프로그래밍 챗봇 접지하기: MazeMate의 설계와 평가<br>Grounding Programming Chatbot in Computational Thinking: Design and Evaluation of MazeMate	Hou, Yu, Zhu 외	컴퓨팅 사고력 함양을 목표로 설계된 미로 기반 프로그래밍 챗봇 'MazeMate'
36	SciEval: K-12 과학 수업자료 자동 평가 벤치마크<br>SciEval: A Benchmark for Automatic Evaluation of K–12 Science Instructional Materials	Li, He, Chen 외	K-12 과학 수업자료의 품질을 자동 평가하기 위한 표준 벤치마크 구축
37	자동 에세이 채점은 충분한 정확도에 도달했는가? 고전 검사이론으로부터 도출한 달성 가능한 QWK 상한선<br>Has Automated Essay Scoring Reached Sufficient Accuracy? Deriving Achievable QWK Ceilings from Classical Test Theory	Uto	고전 검사이론(CTT)을 이용해 자동 에세이 채점이 이론적으로 도달 가능한 정확도 상한을 산출
38	소속감 중심 교실 상호작용 분석을 위한 자동 멀티모달 전사: 기회와 과제<br>Automated Multimodal Transcription for Belonging-Centered Classroom Interaction Analysis: Opportunities and Challenges	Li, Samadi, Wu 외	학생의 '소속감(belonging)' 형성 과정을 분석하기 위해 교실 음성·영상을 자동 전사하는 멀티모달 기법과 한계
39	화면 기반 협력학습 행동의 자동 영상 분석: 단일 에이전트 vs. 다중 에이전트<br>Single-Agent vs. Multi-agents for Automated Video Analysis of On-Screen Collaborative Learning Behaviors	Peng, Feng	화면 녹화 영상의 협력학습 행동 분석에서 단일 AI 에이전트와 다중 에이전트 방식의 성능을 비교
40	SLOW: AI 튜터링에서 인지적 적응을 위한 전략적 논리추론 개방형 작업공간<br>SLOW: Strategic Logical-Inference Open Workspace for Cognitive Adaptation in AI Tutoring	Wei, Li, Jiang	학생이 논리적 추론 과정을 시각적으로 펼쳐볼 수 있는 개방형 작업공간을 통해 AI 튜터링의 인지적 적응력 향상
41	학습 자원에서 역량으로: 증거와 그래프 제약을 활용한 LLM 기반 태깅<br>From Learning Resources to Competencies: LLM-Based Tagging with Evidence and Graph Constraints	Lê, Abel, Laforge	학습 자료를 역량(competency) 체계와 자동으로 연결하는 LLM 태깅 기법, 증거 기반·그래프 제약을 활용
42	머신 언러닝과 재학습을 활용한 LLM 기반 초보 학생 시뮬레이션<br>Simulating Novice Students Using Machine Unlearning and Relearning in Large Language Models	Song, Guo, Lin	LLM에 지식을 의도적으로 '잊게(unlearn)' 만든 뒤 재학습시켜 초보 학생의 점진적 지식 습득 과정을 시뮬레이션

 

이 중 관심있는 논문(클로드 요약)

 

#11. Short, Long, or Affective: Evaluating LLM-Generated Feedback Styles for Student Learning

저자: Eamon Worden, Morgan Lee (공동 1저자), Abubakir Siedahmed, Adam Sales, Jiayi Zhang, Roee Shraga, Neil Heffernan — Worcester Polytechnic Institute (WPI) 위치: AIED2026_part1, pp.156–170, AIED57 세션(Day 4) "Automated Essay Scoring and Feedback Optimization"

1. 연구 배경 및 문제의식

피드백은 학습에서 가장 영향력 있는 요소 중 하나지만, 실제로는 효과적으로 구현하기 어렵습니다. 메타분석에 따르면 최대 40%의 연구에서 피드백이 효과가 없거나 오히려 해로운 것으로 나타났습니다. 특히 학생마다 필요한 피드백 유형이 다르고(저성취 학생은 더 상세한 피드백이 필요하지만, 고성취 학생은 오히려 상세함이 불필요), LLM이 이런 개인차를 제대로 반영하지 못하면 학습 효과가 없거나 오히려 학생을 낙담시킬 위험이 있다는 점에 주목했습니다. 이 연구는 미국 중학교 수학 디지털 학습 플랫폼 ASSISTments에 LLM 생성 피드백을 통합해, 피드백 스타일에 따라 효과가 어떻게 달라지는지 실증적으로 검증했습니다.

 

연구 질문(RQ):

• RQ1: 학생들이 LLM 생성 피드백에 실제로 참여(관여)하는가?
• RQ2: LLM 생성 피드백이 학생의 답안 수정(revision)에 도움이 되는가?
• RQ3: 피드백 스타일에 따라 학생 성취도가 어떻게 달라지는가?

2. 연구 방법

참가자: 322명의 7학년 학생 (11개 교실, 11명 교사), 평균 풀이 시간 18.3분

실험 설계: 교차설계(cross-over design) 무작위 대조 실험(RCT)

• 두 개의 Common Core 수학 표준(평행사변형 넓이, 비율 표 작성)에 대해 각 6문제씩 구성된 문제 세트 2개를 제작
• 4가지 조건(피드백 제공 시점이 앞 3문제/뒤 3문제, 어느 표준이든)에 학생을 무작위 배정
• 문제 2번(같은 스킬 내)과 4번(다른 스킬로 전이) 점수로 학습 효과를 측정

4가지 피드백 스타일:

스타일 설계 원리 특징

GPT-Short	Hattie의 과제·과정 수준 피드백	1~2문장, 정답 부분 확인 + 짧은 방향 제시
GPT-Self	Hattie의 자기 수준(self-level) 피드백	샌드위치 기법(칭찬→피드백→격려)으로 정서적 지지 포함
GPT-Long	과제·과정 피드백 + 강한 feed-up	3~4문장, 더 철저한 설명·오개념 교정
GOAT	미세조정(fine-tuned) Llama-3-8B 모델	교사 작성 피드백 4,000개로 학습된 모델

모든 피드백은 GPT-4o가 먼저 학생 답안을 0~4점으로 채점(교사 채점과 Cohen's Kappa 0.62 일치)한 후 생성되었습니다.

3. 핵심 결과

RQ1 — 참여(수정 시도율):

• GPT-Self 피드백을 받은 학생이 수정 시도율이 가장 낮음 (20.9%)
• GPT-Short(30.0%), GOAT(29.8%), GPT-Long(26.6%)이 더 높은 수정률을 보임
• 통계적으로 GPT-Short, GOAT는 GPT-Self보다 유의하게 수정 확률이 높음(p<.03)
• 점수가 높을수록 수정 확률은 낮아짐(당연한 결과)

RQ2 — 수정 후 점수 향상:

• 전반적으로 수정은 평균 점수를 향상시켰지만, 고성취 학생에게는 효과가 없거나 오히려 해로웠음
• GOAT는 초기 0점 학생에게 가장 큰 향상(+1.27점)을 보였으나, 초기 2~3점 학생은 수정 후 오히려 점수가 하락
• GPT-Self는 초기 2~3점 학생에게서 가장 큰 향상을 보임(수정 시도는 적었지만 질이 높았음)

RQ3 — 동일 스킬 내/전이 학습 효과 (LOOP 추정):

피드백 스타일 같은 스킬(문제2) 다른 스킬 전이(문제4) 해석

GOAT	음(-0.20~-0.26)	음(-0.20~-0.24)	전반적으로 성취도를 떨어뜨림
GPT-Self	양(+0.22~0.26)	양(+0.20~0.26)	일관되게 성적 향상, 효과크기 약 0.21
GPT-Short	거의 영향 없음	거의 영향 없음	유의한 효과 없음
GPT-Long	양(+0.21~0.39, 유의미)	음(-0.10~-0.50, 유의미)	같은 스킬엔 도움, 다른 스킬 전이엔 해로움

 

4. 결론 및 시사점

① "참여율이 곧 학습 효과를 의미하지 않는다"는 역설적 발견 GPT-Self는 학생들이 가장 답안 수정을 적게 했지만(20.9%), 학습 효과는 가장 일관되게 좋았습니다. 연구진은 친절하고 정서적으로 지지하는 피드백이 정답·오답을 균형 있게 강조해서 수정 동기는 줄였지만, 자기조절학습(self-regulation)을 촉진해 이후 문제에서 더 나은 성취로 이어졌다고 해석했습니다.

 

② "철저함(thoroughness)은 양날의 검" GPT-Long은 같은 스킬 내에서는 유의미하게 도움이 됐지만, 다른 스킬로의 전이에는 오히려 해로웠습니다. 연구진은 지나치게 상세한 설명이 학생의 "생산적 고군분투(productive struggle)" 기회를 빼앗아 깊은 학습과 자기조절을 저해했을 가능성, 그리고 긴 피드백이 가혹하게 느껴져 동기를 떨어뜨렸을 가능성을 제시했습니다.

 

③ 미세조정 모델(GOAT)의 한계 GOAT는 가장 높은 수정률과 저성취 학생에게 최고의 개선을 보였지만, 모든 전이 학습에서 가장 나쁜 결과를 보였습니다. 이는 GOAT가 학습한 교사 작성 피드백이 원래 12~48시간 지연되어 제공되던 것이라, 실시간 상황보다 더 많은 정보를 담고 있었기 때문으로 분석됩니다. → "학생에게 정보를 과도하게 주면 학습이 오히려 나빠진다"는 결론.

 

④ 핵심 메시지

"LLM 생성 피드백의 효과는 피드백을 제공하는지 여부가 아니라, 피드백의 스타일 설계에 크게 좌우된다."

같은 GPT-4o 모델에서 나온 피드백이라도 프롬프트 설계(짧음/길음/정서적 지지)에 따라 결과가 정반대로 나타날 수 있다는 것이 이 논문의 가장 중요한 시사점입니다.

 

⑤ 실무적 제언

• 저성취 학생에게는 답안 수정을 강하게 권장하거나 의무화하는 것을 고려할 필요가 있음(단, 좌절감 증가 위험과 트레이드오프)
• 학생에게 예측 점수를 미리 보여주면 더 많은 노력을 유도할 수 있을 것으로 추정
• 교사가 LLM 피드백을 검토·수업에 통합하는 방식에 대한 후속 연구 필요

한계점: 백엔드 로깅 오류로 "피드백이 좋았지만 수정하지 않음"을 선택한 학생 데이터가 누락되어 선택 편향(selection bias) 가능성이 있으며, 모델별 표본 크기가 제한적이라 일부 효과는 통계적으로 유의하지 않았습니다.

 

 

#22.  From Problem Solving to Pedagogical Feedback: Student-Centric Tree-of-Thought Reasoning for Student Error Attribution

저자: Tengju Li, Penghe Cheng, Jiong Wang, Ding Yu, Hao Wu, Yu Lu — 베이징사범대학교(Beijing Normal University) 위치: AIED2026_part1, pp.325–339

1. 연구 배경 및 문제의식

LLM은 복잡한 수학 문제를 푸는 능력은 뛰어나지만, 그 추론 능력이 좋은 교수법적 피드백으로 자동 연결되지는 않습니다. 실제로 LLM은 학습자의 인지적 관점에서 오류의 원인을 진단하는 데 자주 실패해, 장황하지만 초점이 빗나간 피드백을 만들어냅니다. 논문의 도입부 사례가 핵심을 보여줍니다. 학생이 단순 계산 실수를 했는데도, LLM은 이를 근본적인 개념 오해로 오진단해 불필요하게 복잡한 설명을 제공합니다. 반면 실제 교사는 "이 학생은 계산 단계에서 실수했다"는 것을 정확히 짚어내고 간결한 스캐폴딩을 제공합니다. 수학적 추론력이 강하다고 해서 좋은 교수법적 진단 능력이 저절로 따라오지 않는다는 것이 핵심 문제의식입니다.

실제 교사는 문제를 다시 풀어서 오류를 찾는 것이 아니라, 학생의 잠재적 인지 상태를 추론해서 문제풀이 흐름의 어느 단계에서 무너졌는지를 파악합니다. 즉 오류 귀인(error attribution)은 본질적으로 여러 가능한 인지적 실패 가설을 생성하고 검증하는 과정인데, 기존의 직접 프롬프팅이나 표준 Chain-of-Thought(CoT)는 이런 형태의 추론을 잘 지원하지 못합니다.

2. 핵심 프레임워크: SC-ToT (Student-Centric Tree-of-Thought)

연구진은 학생 오류 귀인을 잠재적 인지 가설에 대한 구조화된 탐색 문제로 정식화했습니다. 핵심 이론적 기반은 Newman Error Analysis(NEA)로, 문제풀이 과정을 5단계로 나눕니다.

 

단계 내용

Reading (읽기)	핵심 용어·기호 식별
Comprehension (이해)	문제 의도·변수 의미 파악
Transformation (변환)	문제를 수학 모델로 매핑
Process Skills (처리 기술)	계산·알고리즘 절차 수행
Encoding (부호화)	최종 답을 적절한 형식으로 표현

 

SC-ToT는 3단계 트리 탐색 구조로 작동합니다.

1. 오류 위치 파악(Error Localization) — 학생 풀이에서 오류가 있는 핵심 단계나 텍스트 구간을 식별
2. 인지 단계 분류(Cognitive Stage Classification) — NEA의 5단계 중 어느 단계에서 실패했는지 매핑
3. 원인 가설 생성(Cause Hypothesis) — 오류의 근본 원인을 자연어로 설명하는 가설 생성

이 세 단계는 트리의 리프 노드까지 이어지는 완전한 귀인 경로 H = {위치, 인지단계, 가설}을 형성하며, beam search(폭 k=2)로 효율적으로 탐색합니다.

3. 핵심 혁신: 시뮬레이션 학생 검증(Simulated-Student Verification)

이 논문에서 가장 독창적인 부분입니다. LLM이 스스로 생성한 가설을 LLM 자신이 평가하면 그럴듯하지만 부정확한 설명(환각)이 나오기 쉽다는 문제를 해결하기 위해, 다음과 같은 검증 메커니즘을 도입했습니다.

"가설이 맞다면, 그 인지적 결함을 가진 가상의 학생을 시뮬레이션했을 때 실제 학생과 똑같은 오류 패턴을 재현할 수 있어야 한다."

 

구체적으로:

1. LLM에게 특정 인지적 결함(가설 H)을 가진 학생인 것처럼 문제를 다시 풀게 함
2. 이 시뮬레이션된 풀이와 실제 학생의 원래 풀이를 비교
3. LLM 기반 채점자로 두 풀이의 구조적 정합성(특히 오류 단계와 그 주변 논리)을 점수화
4. 가장 높은 점수를 받은 가설을 최종 진단으로 채택

이렇게 함으로써 단순 자기평가(self-consistency)의 편향을 줄이고, 귀인 환각(attribution hallucination)을 크게 감소시킵니다.

4. 실험 설계

데이터셋: MathEDU 기반으로 새로 구축. 기존 데이터셋에는 정교한 인지 귀인 라벨이 없어, 두 명의 숙련된 수학 교사가 NEA 프레임워크에 따라 재주석 작업을 수행해 916개 고품질 트리플렛(문제·오답 풀이·전문가 진단)을 구축. 주석자 간 일치도 Cohen's Kappa 0.76(상당한 일치)

 

백본 모델: 소규모 오픈소스 모델 Qwen3-8B를 주력으로 사용해, 작은 모델로도 큰 모델과 경쟁할 수 있는지 검증

비교 대상:

• 추론 전략: Direct Prompting, CoT, CoT-SC(Self-Consistency)
• 모델 규모: GPT-5.2, GPT-4o(폐쇄형 최상위), DeepSeek-V3.2(오픈소스 강자)

평가 지표:

• 오류 위치 정확도(Loc-Acc, IoU 기반)
• 인지 단계 분류 정확도·F1(Cog-Acc, Cog-F1)
• 원인 가설 점수(Hyp-Score, LLM-as-a-Judge 0~5점)
• 피드백 길이, BERT-Score, 정답성(Correctness), 스캐폴딩 점수(0~5점)
• 신뢰성 검증을 위해 데이터의 10%를 인간 전문가 2명이 블라인드 평가, GPT-4o 평가와 피어슨 상관계수 0.75 이상으로 검증

5. 핵심 결과

오류 귀인 성능

모델/전략 Loc-Acc Cog-Acc Cog-F1 Hyp-Score

GPT-5.2 (CoT)	0.8854	0.6814	0.4758	4.25
DeepSeek V3.2 (CoT)	0.8493	0.6743	0.4212	3.86
Direct Prompting (Qwen3-8B)	0.8046	0.6171	0.3541	2.92
CoT+SC (Qwen3-8B)	0.8281	0.6667	0.4272	3.77
SC-ToT (Qwen3-8B, 제안기법)	0.8986	0.7226	0.5273	4.12

 

→ 8B의 작은 모델이 SC-ToT를 적용하자 오류 위치 정확도에서 GPT-5.2를 능가했고, 인지 단계 분류(Cog-F1)에서도 가장 좋은 결과를 보였습니다. 특히 인지 단계 분류는 GPT-5.2조차 Cog-F1 0.4758에 그칠 만큼 어려운 과제였는데(Newman 라벨의 주관성과 학습 데이터 부족 때문), SC-ToT는 이를 명시적 트리 구조의 중간 의사결정 노드로 활용해 크게 개선했습니다.

 

피드백 생성 품질

모델 길이(단어) BERT-Score Correctness Scaffolding

Human(기준)	41.21	1.0000	5.00	4.51
Qwen3-8B (베이스)	93.84	0.7126	3.19	2.79
GPT-5.2	127.46	0.8437	4.52	3.95
Qwen3-8B + SC-ToT	51.07	0.8253	4.35	4.26

 

→ SC-ToT 적용 시 피드백 길이가 51.07단어로 인간 교사 수준(41.21단어)에 근접했고, 장황한 응답의 긴 꼬리(long tail)가 눈에 띄게 줄었습니다. 특히 스캐폴딩 점수에서 GPT-5.2(3.95)를 능가하는 4.26을 기록했습니다 — 단순히 정답을 알려주는 게 아니라 학생이 어디서 막혔는지 짚고 그 단계를 통과하도록 안내하는 방식이기 때문입니다.

 

Ablation(구성요소 제거) 실험

• Newman 인지 단계 구조 제거 → Loc-Acc 0.8641로 하락, Hyp-Score 3.86으로 하락
• 시뮬레이션 학생 검증 제거 → Cog-F1이 0.5273에서 0.4398로 급락 (가장 핵심적인 구성요소임을 입증)

사례 연구 (Table 4) 시속 환산 실수(72분을 1.25시간으로 잘못 변환, 정답은 1.2시간)를 한 학생 사례에서:

• GPT-5.2: 학생의 올바른 전략을 간과하고 "개념적 오해"로 오진단, 불필요하게 복잡한 연립방정식 접근법을 권유
• Qwen3-8B + SC-ToT: 정확히 "Process Skills 단계의 단위 환산 실수"로 진단하고, 학생의 올바른 접근법은 칭찬하면서 첫 단계만 다시 확인하라고 간결하게 안내

6. 결론 및 시사점

핵심 메시지

"수학 문제 해결 능력만으로는 좋은 교수법적 피드백이 보장되지 않으며, 교육 이론(NEA)에 기반한 구조화된 트리 탐색과 시뮬레이션 검증을 결합하면 소형 오픈소스 모델도 최첨단 대형 모델과 동등하거나 그 이상의 교수법적 역량을 발휘할 수 있다."

 

실무적 의의

• 비싼 폐쇄형 거대 모델 없이도 8B급 소형 모델로 교사 수준의 진단·피드백이 가능함을 입증 → 비용 효율적 ITS 배포의 가능성 제시
• 시뮬레이션 학생 검증이라는 새로운 환각 억제 메커니즘 제시 — LLM이 자신의 진단을 "재현 가능성"으로 스스로 검증하게 만드는 접근법

한계 및 향후 과제

1. 다단계 탐색·검증 과정의 계산 비용 부담이 커서 실시간 배포에는 제약 → 추론 흔적을 더 작은 특화 모델로 증류(distillation)할 계획
2. MathEDU 데이터셋의 규모·영역이 제한적 → 더 크고 다양한 데이터셋으로 일반화 검증 필요
3. 시뮬레이션된 학생과 실제 학습자 사이의 인지적 정합성이 체계적으로 검증되지 않음
4. 향후 실제 지능형 튜터링 시스템에 배포해 실제 학생 학습 성과에 미치는 영향을 사용자 연구로 검증할 계획

 

 

#32. Building Evidence-Linked Curriculum Knowledge Graphs for Academic Pathway Planning

저자: Jingyi Zhao, Rhodri B. Nelson, Deborah Pelacani Cruz, Matthew D. Piggot — Imperial College London 위치: AIED2026_part1, pp.478–492

1. 연구 배경 및 문제의식

대학의 학업 경로 안내(advising)는 "이 과목이 어떤 선행 지식을 요구하는지", "이 과목을 들으면 무엇을 배우는지"를 정확히 파악해야 가능합니다. 그런데 실제 교과과정 명세서(module specification)는 학습 결과·선수 조건을 비정형적이고 종종 암묵적인 언어로 기술하기 때문에, 교과과정 모델링이 매우 노동집약적이고 검증하기 어렵습니다. 이는 잘못된 선수과목 가정과, 정당화하기 어려운 지도(advising) 결정으로 이어질 수 있습니다.

기존의 LLM 기반 자동 추출 연구들은 있었지만, 원본 문서로의 체계적인 추적 가능성(traceability)을 거의 제공하지 않아 고위험(high-stakes) 학업 지도 상황에서 감사(audit)가 어렵다는 한계가 있었습니다. 이 논문은 교과과정 텍스트를 **증거 연결(evidence-linked) 교육과정 지식 그래프(KG)**로 변환하는 감사 가능한(auditable) 프레임워크를 제시합니다.

2. 핵심 용어 정의

용어 의미

Evidence (증거)	공식 교과과정 문서에서 추출한 발췌 구간(extractive span)
Grounding (접지)	추출된 스킬 문자열을 분류체계/온톨로지의 표준 ID에 매핑하는 것
Provenance (출처기록)	엣지(관계)가 어떻게 생성되었는지에 대한 메타데이터(모델/프롬프트/버전, 접지 결정 등)

 

3. 방법론 — 4단계 파이프라인

① 외부 지식 통합 및 2단계 접지(Grounding) 전략

스킬 명칭을 두 단계로 표준화합니다.

• 일반 스킬: ESCO, 국가 학문 벤치마크, 대학입학전 과목 명세, MSC2020 등 4개 자료원에서 5,803개의 표준 라벨로 구성된 마스터 어휘집에 매핑(범용성 확보)
• 도메인 특화 스킬: GCMD Science Keywords(9,192개 개념), SWEET 온톨로지(6,000개 이상 개념)에 매핑(전공 정밀도 확보)

추출된 스킬 문자열은 Sentence-BERT 코사인 유사도로 후보를 찾은 뒤, GPT-4o가 최적 매칭을 선택(KEEP) 또는 신규 등록(NEW)을 결정하는 2단계 절차로 표준화합니다.

 

② LLM 기반 추출 + 증거 보존

GPT-4o(temperature=0.2)를 사용해 각 모듈(과목)에서 다음을 추출합니다.

• 선수 스킬(prerequisite skills)
• 결과 스킬(outcome skills)
• 각 스킬을 뒷받침하는 문자 단위 오프셋(시작/끝 위치)과 출처 문서 ID

명시적으로 언급된 스킬(직접 증거 있음)과 합리적으로 추론된 스킬(직접 증거 없이 맥락상 암시됨)을 구분해 태깅하며, 후자는 "가설(hypothesis)"로 별도 저장해 검증 대상으로 남깁니다. → 108개 모듈에서 1,593개의 고유 표준 스킬, 1,735개의 모듈-스킬 관계(선수 849개, 결과 886개) 추출

 

③ 교과과정 지식 그래프 구축 — 모듈 간 선수관계 추론

선수관계 후보는 단순한 시간 순서(더 이른 학년/학기)뿐 아니라, 스킬 겹침 점수(타깃 모듈의 선수 스킬 중 후보 모듈의 결과 스킬이 차지하는 비율, ≥0.2)로 상위 15개 후보(C(m))를 선정한 뒤, **GPT-4o가 각 후보 엣지를 keep/drop/unsure로 감사(audit)**해 오탐(false positive)을 줄입니다. LLM이 명시적 텍스트 증거가 있다면 후보 목록 밖의 새 선수관계도 제안할 수 있지만, 시간적 타당성·최소 스킬겹침·양쪽 증거 인용·동일 audit 절차를 모두 통과해야만 채택됩니다(환각 방지).

이후 결정론적 검증(시간 순서 일관성, 사이클 검출을 통한 위상정렬, ID 정합성 점검)을 거쳐 최종 **유향비순환그래프(DAG)**를 구성합니다.

 

④ 증거 연결 경로 계획(Pathway Planning)

학생이 "원격탐사를 전공하고 싶다" 같은 자연어로 관심사를 입력하면, GPT-4o가 추출된 모듈 설명과 매칭해 추천 과목을 제시하고, 각 추천에 대해 (1) 증거 기반 근거, (2) 모듈/스킬 수준의 선수조건 격차를 문자 단위 증거와 함께 제시합니다. 불확실한 의존관계는 강제하지 않고 '권고(advisory)'로만 표시됩니다.

4. 핵심 결과

모듈-스킬 관계 추출 품질 (108개 모듈, 익명화된 대규모 학부 STEM 교과과정 대상)

접지 커버리지(Grounded Coverage)	93.0%
추출 정확도(전문가 검증, n=265)	86.2%
엣지 유형(선수 vs. 결과) 정확도	65.8%
증거 충분성(Evidence Sufficiency)	84.5%
마스터 어휘집 접지 정확도	91.5%
도메인 온톨로지 접지 정확도	76.9%

 

엣지 유형 정확도(65.8%)가 상대적으로 낮은 이유는 시스템 결함이 아니라 본질적인 모호성 때문입니다. 예를 들어 "데이터 분석"은 현장실습의 전제조건이면서 동시에 평가받는 학습 결과일 수도 있습니다. 실제로 평가자 간 일치도(Cohen's Kappa)도 추출(0.73)·접지(0.52)에 비해 엣지 유형 분류는 0.16으로 매우 낮아, 이것이 시스템 오류가 아니라 교과과정 자체의 본질적 모호성임을 뒷받침합니다.

 

모듈 간 선수관계 추론 정확도

471개의 추론된 모듈-모듈 선수관계 후보에 대해 전문가가 검증한 결과:

• 71.1%(335/471) 가 올바른 선수관계로 확인됨
• 17.0%(80/471) 부정확/무관
• 11.9%(56/471) 불확실
• 확인된 관계 중 22.1%는 "필수(Essential)", 36.4%는 "중요/유용"으로 평가됨 — 단순한 약한 연관이 아니라 실제로 행동 가능한(actionable) 관계임을 보여줌

증거 구간 품질 (100개 샘플 무작위 검증)

• 원문에서 위치 확인 가능: 85%
• 의미적으로 타당함(해당 스킬을 실제로 뒷받침): 74%
• 문자 오프셋 정확도(±2자 이내): 84%

Ablation(구성요소 제거) 실험 — 설계 선택의 정당성 입증

구성 접지 커버리지 추론 정밀도 사용자 신뢰

접지 없음	–	52%	–
1단계만(마스터 어휘집)	16.5%	58%	–
2단계만(도메인 온톨로지)	76.5%	63%	–
2단계 통합(전체)	93.0%	67%	–
스킬겹침만(LLM 감사 없음)	–	48%	–
증거 없는 감사	–	59%	–
전체 감사(증거 포함)	–	71.1%	–
증거 없음	–	–	2.6/5
증거 있음	–	–	3.8/5

 

증거 구간을 제공하면 신뢰도가 2.6→3.8로 상승하고, 검증 소요 시간이 112초→47초로 절반 이상 단축되었으며, 추천을 따르려는 의향도 52%→78%로 크게 늘었습니다.

 

경로 계획 도구 사용성 평가 (학부생 30명 대상 파일럿)

• SUS(시스템 사용성 척도) 점수: 76.7점("양호" 등급)
• 추천 근거 이해도, 사용 의향 등 긍정적 평가, 인지 부담은 낮음
• 단, 신뢰도 평가는 보통 수준(3.00/5)
• 교직원의 독립 검토: 15개 학생 사례(120개 모듈) 비교 결과 65% 정확히 일치, 82% 수용 가능 수준

5. 결론 및 시사점

핵심 메시지

"교과과정 명세서를 증거 연결 지식 그래프로 변환하면, 단순히 추출 정확도가 높을 뿐 아니라 자문관과 학생 모두가 추천 근거를 직접 원문에서 검증할 수 있는 투명하고 감사 가능한 학업 계획 도구를 만들 수 있다."

 

핵심 차별점: 기존 연구들은 개념 단위 추출만 했지만, 이 논문은 문자 단위 증거 구간을 보존해 모든 추출 결과와 추론된 관계를 원문으로 역추적할 수 있게 했다는 점이 가장 큰 기여입니다.

 

실무적 시사점

• 적용 적합 대상은 영국 STEM 학부 과정처럼 공식적으로 구조화된 학습 결과를 명시한 교과과정. 구조가 부실한 교과과정에서는 정확도가 떨어질 것으로 예상됨
• 지식 그래프는 일회성 산출물이 아니라 교과과정 개정 시마다 재추출이 필요한 "살아있는 산출물(living artefact)"로 다뤄야 함
• 신뢰도가 낮은 추론 링크는 강제 제약이 아니라 권고로만 제시하고, 최종 판단은 자문관에게 맡겨야 함(특히 "데이터 분석" 같은 일반적 스킬 겹침에서 비롯된 관계의 경우)
• 문자 단위 출처 추적 메커니즘은 고위험 AI 거버넌스 프레임워크 하에서 기관의 책무성과 학생 이의제기 절차를 뒷받침하는 감사 추적(audit trail) 역할을 함

한계점

• 선수조건 vs. 결과의 구분 모호성, 일반적 스킬 겹침으로 인한 오탐, 외부 자원의 불완전한 커버리지가 하위 추론 단계로 오류를 전파시킬 수 있음
• 향후 과제: 더 강력한 기관 신호(공식 선수조건 규칙, 평가 구조) 통합과 불확실성 보정, 모듈 명세 외 평가·강의자료로 증거 출처 확장, 다기관 벤치마킹과 형평성·접근성을 포함한 의사결정 품질 평가 확대