5 Ways Artificial Intelligence Might Transform Assessment Practices

https://spencerauthor.com/ai-assessment/

5 Ways Artificial Intelligence Might Transform Assessment Practices

 

평가의 존재 이유

* 평가는 교사들이 개별 학생들의 상태를 알 수 있게 한다. 이 특정 학생이 학습 목표를 달성했는가? 이 학생이 개념을 이해하고 있는가? 이 학생이 기술을 숙달했는가? 이 학생이 학습에 참여하고 있는가? 이 학생에게 추가적인 지원이나 스캐폴딩이 필요한가? 이러한 질문들은 어떤 학생들이 심화 학습이 필요하고 어떤 학생들이 중재(예: 소그룹 분리 학습)가 필요한지 파악하는 데 도움을 준다.

* 평가는 교사들이 학급 전체의 상태를 알 수 있게 한다. 전반적인 경향은 무엇인가? 이는 교사들이 계획, 실행, 평가의 더 큰 수업 계획 주기를 수행하는 데 도움을 준다.

* 평가는 학생들이 자신의 숙달 수준을 알 수 있게 한다. 그들은 자신이 아는 것, 모르는 것, 그리고 다음에 어디로 갈 것인지를 이해할 수 있어야 한다. 하지만 평가는 또한 학생의 동기부여나 자기 효능감을 높이는 데 도움이 될 수 있다. 평가는 덜 평가적이고 더 서술적일 수 있다.

평가 실행을 이끌 가치는 무엇인가? 

AI를 평가 실천에 어떻게 사용할지 생각할 때, 우리는 이러한 가치와 신념의 역할( values and beliefs that we hold )을 인식해야 한다. 기계 학습은 진공 상태에서 일어나지 않을 것이다. 가치, 신념, 정책이 엔지니어들이 이러한 AI 시스템을 설계하고 교육자들이 구현하는 방식을 형성할 것이다. 교사, 리더, 또는 코치로서, 어떤 AI 평가 도구를 보고 "이 설계를 이끄는 가치는 무엇인가?"라고 물어보는 것이 도움이 될 수 있다.

앞으로 AI가 우리의 평가 실행을 어떻게 변화시킬 수 있을까?

Trend #1: Less Grading and More Assessment

평가의 자동화. AI가 평가 과정에서 교사를 대체하는 것은 아니다. 단지 우리가 인간의 실수가 가장 많이 발생하는 영역을 아웃소싱하고 대신 평가의 더 관계적인 요소에 집중하는 것.

Trend #2: Faster Feedback

개념을 배울 때, 피드백의 지연은 오개념이 몇 주 동안 지속되고 여러 오개념으로 이어질 수 있다는 것을 의미한다. 일부 학생들에게는 피드백의 지연이 동기 부여의 상실로 이어진다.  faster feedback= timely corrections

Trend #3: Predictive Analysis

- 적응형 학습: AI 알고리즘은 학생들의 과거 성과에 대한 데이터를 분석하여 학생들이 더 효과적이고 효율적으로 학습할 수 있도록 돕는 적응형 학습 계획을 개발할 수 있다. 학생의 관심사, 집중력, 과제 완료율 또는 다양한 데이터 요인을 고려하여 학생에게 더 '지속적인' 학습을 유도할 수 있는 과제의 종류를 예측하는 데 도움을 줄 수 있다. 

- 위험에 처한 학생들의 조기 식별: AI 알고리즘은 학생들의 출석, 성적 및 기타 요인에 대한 데이터를 분석하여 뒤처지거나 학교를 중퇴할 위험이 있는 학생들을 식별할 수 있다. 이는 교사와 관리자들이 조기에 개입하여 지원을 제공하고 학생들이 낙오되는 것을 방지하는 데 도움을 줄 수 있다. 

- 적응형 평가: AI 알고리즘은 학생들의 평가 질문에 대한 응답 데이터를 분석하여 후속 질문의 난이도를 조정함으로써 각 학생이 적절하게 도전받고 정확하게 평가되도록 할 수 있다.

- 예측 모델링: AI 알고리즘은 과거 학생 성과에 대한 데이터를 사용하여 성공 또는 실패로 이어질 가능성이 높은 요인을 식별할 수 있는 예측 모델을 개발할 수 있다. 이는 교사와 관리자들이 학생의 결과를 개선하기 위해 데이터 기반 결정을 내리는 데 도움을 준다.

 

Trend #4: More Differentiation within Assessments

AI 기반 적응형 평가는 학생 응답에 기반하여 평가 항목의 난이도를 조정함으로써 교사들에게 학생 성과에 대한 더 자세한 통찰력을 제공할 수 있다. 이는 교사들이 학생들이 무엇을 알고, 무엇을 모르며, 다음에 무엇을 해야 하는지 파악하는 데 도움을 줄 수 있다. 결과적으로 각 학생의 기술 수준에 맞는 더 개인화된 교육이 이루어진다. 

 

다른 경우에는 AI를 사용하여 현재의 평가를 영어 학습자들을 위해 차별화할 수 있다. 여기서 AI는 동사 시제를 단순화하고, 어휘 용어집을 제공하거나 심지어 문장 시작 부분을 생성할 수 있다. 어떤 경우에는 여러 유형의 평가를 만들고 학생들이 방법을 선택하도록 할 수 있다. 그러나 우리는 또한 AI를 사용하여 학습 차이가 있는 학생들을 위한 목표 지향적 형성 평가를 만들 수 있다. 이는 IEP 목표와 관련된 과제에 대한 루브릭이나 체크리스트가 될 수 있다. 여기서 교사는 AI가 생성한 평가로 시작하여 개별 학생에 대해 알고 있는 것을 바탕으로 수정한다.

Trend #5: Empowering Students to Own the Assessment

* 목표 설정: 학생들은 AI를 사용하여 개선할 영역에 대한 개인화된 추천을 받을 수 있다. 그들은 자신의 강점과 약점을 평가하고 다음 단계를 수립함으로써 학습 과정의 주도권을 가질 수 있다.

* 자원 추천: 학생들은 AI를 큐레이션 도구로 사용하여 개념을 학습할 때 필요한 스캐폴드, 튜토리얼, 자원을 찾는 데 도움을 받을 수 있다. 응용 수학 탐구에서의 튜토리얼 세트나 PBL에서 방문할 사이트 추천 등에서 AI는 학생들이 "내가 무엇을 알아야 하는가?"에서 "어디서 이것을 찾을 수 있는가?"로 나아갈 수 있는 잠재력을 가지고 있다.

* 수행 피드백: 교육자로서, 우리는 감시 목적(부적절한 행동 확인이나 부정행위 적발 등)으로 비디오에서 기계 학습을 사용할 수 있지만, 비디오와 AI의 결합은 신체적 수행에 대한 더 나은 피드백을 의미할 수도 있다. AI가 음악 연습을 듣고 피드백을 제공하는 것을 상상해보라. 추가적인 이점은 "Hot Cross Buns"을 리코더로 듣지 않아도 된다는 것이다. 비슷하게, 체육 수업에서 AI는 비디오를 분석하고 안전을 높이기 위한 자세에 대한 피드백을 제공할 수 있다. 학생들은 본질적으로 AI와 "채팅"하며 어떻게 조정할 수 있는지 배울 수 있다.

* 학습 포트폴리오: 우리는 디지털 포트폴리오를 개인적인 노력으로 생각하는 경향이 있다 - 실제로 그렇다. 그러나 그들은 본질적으로 사회적이기도 하다. 학생들은 더 큰 청중과 자신의 작업을 공유하고 있다. AI는 학생들이 시간이 지남에 따라 그들의 성취와 성장을 보여주는 디지털 포트폴리오를 만들고 유지하는 데 도움을 줄 수 있다. 학생은 세 가지 아티팩트를 선택하고 추천 알고리즘에서 두 가지 더 선택할 수 있다.

* 시간 관리: AI는 학생들이 작업의 우선순위를 정하는 방법에 대한 개인화된 알림과 추천을 제공함으로써 시간을 더 효과적으로 관리하는 데 도움을 줄 수 있다. 이는 강압적이거나 처벌과 연결될 필요는 없다. 단순히 과제 집중도 점수일 수 있다. 학생이 프로젝트를 하고 있는데 소셜 미디어가 방해가 된다면, 그들은 AI를 사용하여 집중력을 유지하는 시스템을 만들 수 있다. 

* 성찰 촉진: 평가는 항상 순수하게 평가적인 것은 아니다. 때로는 더 서술적인 성격을 띤다. 학생들은 후속 질문을 허용하는 방식으로 성찰을 촉진할 수 있는 챗봇과 협력할 수 있다.

* 누락된 것 찾기: 때로는 "당신은 _______를 고려해 보셨나요?"라고 말할 수 있는 또 다른 시각이 필요하다. AI는 작업을 보고 "여기에 뭔가를 추가하는 것을 고려해 보는 것이 좋겠다"라고 말할 수 있는 동료처럼 기능할 수 있다.

* 개인화된 피드백: 학생들은 예시를 제출하고 즉각적인 피드백을 받을 수 있다. 이는 실수를 판단하는 데 도움이 되는 진단 피드백일 수 있다. 또는 장단점에 대한 개방형 세트일 수 있다. 그러나 우리는 또한 학생들에게 구체적이고 실행 가능한 피드백을 요청하는 방법을 가르칠 수 있다.

https://youtu.be/8WxvVgXC_NY?si=1qsCAa8yFhUif_vj

평가 실천을 이끌 가치는 무엇인가?

AI를 평가 실천에 어떻게 사용할지 생각할 때, 우리는 이러한 가치와 신념의 역할을 인식해야 한다. 기계 학습은 진공 상태에서 일어나지 않을 것이다. 가치, 신념, 정책이 엔지니어들이 이러한 AI 시스템을 설계하고 교육자들이 구현하는 방식을 형성할 것이다. 교사, 리더, 또는 코치로서, 어떤 AI 평가 도구를 보고 "이 설계를 이끄는 가치는 무엇인가?"라고 물어보는 것이 도움이 될 수 있다.

내 두려움은 우리가 AI 평가 도구를 교육학적 견고함이나 핵심 가치보다는 편의성과 비용에 의해 선택하는 것을 보게 될 것이라는 점이다. 나는 우리가 영리한 마케팅과 귀여운 디자인 때문에 도구들이 인기를 얻는 것을 보게 될까 걱정된다. 학구가 하향식으로 이러한 도구들을 구매함에 따라, 일부 교육 리더들은 공통 평가를 갖는다는 명목으로 순응을 강요할 것이다. 도구를 제공하고 교사들이 언제 어떻게 사용할지 결정하도록 신뢰하는 대신, 우리는 대부분의 평가 과정을 교사의 핵심 신념과 충돌할 수 있는 방식으로 기계에 아웃소싱하는 정책을 갖게 될 수 있다.

반면에, 우리가 교사들이 AI 도구를 현명하게 사용하도록 권한을 부여한다면, 우리는 더 인간 중심적인 접근을 하게 될 것이다. 나는 우리가 평가에서 인간적 요소를 유지하는 것이 중요하다고 생각한다.

인간적 요소를 기억하라

나는 아들에게 ChatGPT가 글쓰기 분석과 피드백 제공을 얼마나 잘하는지 보여주었다. 내가 교사로서 할 수 없는 방식으로 거의 즉각적으로 피드백을 줄 수 있다고 설명했다. 내 블로그 포스트 중 하나를 예로 들었다. 그것은 우리의 그레이하운드가 나에게 가르쳐준 교훈에 대한 개인적인 이야기였다.

그의 반응은?
"그건 끔찍한 피드백이에요."
"무슨 뜻이니? 실용적이고 실행 가능해. 긍정적인 피드백이 부정적인 피드백보다 더 많아. 모든 것이 사실이야."
아들은 말했다, "선생님이 그렇게 했다면 무정할 거예요. 누군가가 자신의 반려동물이 죽은 것에 대해 쓴다면 유일한 반응은 '정말 유감이에요. 이야기 나누고 싶으세요?'예요. 그게 전부예요."
그는 계속해서 말했다, "피드백은 괜찮아요. 우리가 그것을 필요로 한다는 것을 알지만 제가 가장 좋아하는 영어 선생님들은 제가 알려진 것처럼 느끼게 하는 방식으로 피드백을 줘요. 그 피드백은 제가 더 쓰고 싶게 만들어요. 비판적이긴 하지만, '선생님이 나를 이해하고 있어'라고 생각하게 하는 방식으로 비판적이에요. 이해가 되나요?"

이해가 된다. 그가 암시하는 것은 피드백이 기계적이지 않다는 것이다. 그것은 관계적이다. 역동적이다. 맥락적이다. 때로는 공감적이기도 하다. 나는 여전히 AI가 피드백 도구로서 잠재적인 약속이 있다고 생각하지만, 그것이 평가의 관계적 측면을 대체할 수 있다고 생각하지 않는다.

가장 인간적인 수준에서, 평가는 대화다. 때로는 우리가 고립된 상태에서 하는 내적 대화일 수 있다. 때로는 신뢰하는 동료들과의 대화일 수 있다. 종종 그것은 학생과 교사 사이의 대화다. 이러한 대화들은 단어 선택이나 스타일, 논증에 관한 것일 수 있다. 하지만 그것들은 또한 희망과 꿈, 슬픔과 상실에 관한 것일 수 있다. 나는 결코 그러한 대화들을 잃고 싶지 않다.

마찬가지로, 진정한 고독 속에서 자기 평가를 하는 것에는 강력한 무언가가 있다. 비효율적이고 아마도 환경 친화적이지 않다는 것을 알지만, 책을 쓸 때마다 나는 모든 것을 원고 형식으로 인쇄하고 손으로 표시한다. 여백에 메모를 적는다. 문장을 산산조각 낸다. 부분을 동그라미 치고 새로운 위치로 화살표를 그린다. 좌절감을 느끼면 옆에 만화 캐릭터를 그리기도 한다. 이 지저분한 주석은 내 목소리와 내면의 비평가를 신뢰하는 법을 배운 사적인 공간이다. 나는 이 의식에 알고리즘을 초대하고 싶지 않다. 그것은 나의 것이다.

AI는 동료 피드백의 한 형태로 기능할 수 있다. 알고리즘은 목소리와 스타일, 단어 선택에 대한 표적화된 피드백을 생성할 수 있다. 그것은 내가 사용할 필요가 없는 불필요한 단어를 제거하여 내 글을 더 간결하게 만드는 데 도움을 줄 수 있다. 하지만 그것은 한 사람이 그것을 읽는 것이 어떤지 말해줄 수 없다. 그것을 위해서는 "존, 그 글이 나를 감동시켰어"라고 말할 수 있는 다른 쪽의 인간이 필요하다.

그것이 내가 더 쓰고 싶게 만드는 종류의 피드백이다.

내가 가장 희망적인 부분은 교사들이 AI가 진단 도구로서 일부 즉각적인 피드백을 제공하는 동안 더 인간 중심적인 피드백을 제공하는 데 더 많은 시간을 보낼 것이라는 점이다. 현재 내 학생들(초등학교 수준의 예비 교사들) 중 많은 이들이 학생들의 읽기 유창성을 테스트하는 데 몇 시간을 보낸다. 앞으로 몇 년 안에, 우리는 학생들이 유창성 연습을 하는 것을 듣고 실수를 잡아내어 유창성 점수를 제공할 뿐만 아니라 음성학, 블렌딩, 음소 인식에서 그들이 어려워할 수 있는 영역을 진단할 수 있는 AI를 가지게 될 것 같다. 이는 교사들이 상담을 하거나 소그룹을 이끄는 데 시간을 할애할 수 있게 할 것이다.

My hope is not that AI will replace teachers in the realm of assessment. Instead, my hope is it will free teachers up to give the kind of feedback that only a human can give.

내 희망은 AI가 평가 영역에서 교사를 대체하는 것이 아니다. 대신, 내 희망은 그것이 교사들이 오직 인간만이 줄 수 있는 종류의 피드백을 제공할 수 있도록 자유롭게 할 것이라는 점이다.