EDU REVIEW 원본 ↗
AI 시대의 과제 지도·평가 특강

AI가 쓴 글을,
어떻게 평가할 것인가

답은 AI 금지가 아니라 구조화된 출제 · 지도 · 검증 · 평가다.

학생 글을 단속하는 수업에서,
사고 과정을 설계하는 수업으로.

김준호 · 동서울대학교 교수 · Professor Edition

COURSE DESIGN학생의 사고 과정검증 가능한 학습을 설계한다
01출제
02지도
03검증
04평가
FINAL OWNER교수자 최종 판단

교수자 최종 판단

AI 시대의 과제 지도와 평가 · Opening01 / 30
교수자가 마주한 새로운 질문

학생 글을 읽을 때
세 가지를 동시에 본다

잘 쓴 글일수록 더 정교한 확인이 필요하다.

01

진짜 쓴 것인가

학생이 직접 작성했는가,
AI가 생성한 것인가

02

이해하고 있는가

내용을 실제로 알고 있는가,
아니면 글만 있는가

03

근거가 실제인가

출처와 통계가 존재하는가,
만들어진 것인가

서로 다른 세 질문을 함께 확인한다

AI 시대의 과제 지도와 평가 · New Questions02 / 30
기존 대응의 한계

AI 금지 · 표절 검사 · 문체 판단만으로는 부족하다

필요한 것은 단속이 아니라 구조화된 지도와 검증이다.

01

AI 글 ≠ 표절

기존 문서와 겹치지 않아도 AI가 쓴 글일 수 있다

02

문체 ≠ 이해도

완성도 높은 문체가 이해를 보장하지 않는다

03

사후 감점 ≠ 개선

처벌은 다음 과제를 개선시키지 않는다

구분해야 할 판단의 조건

AI 시대의 과제 지도와 평가 · Old Limits03 / 30
관점 전환

글이 아니라
사고 과정을 본다

과제는 완성된 글 한 편이 아니라 학생의 사고 구조물이다.

6개의 질문사고 과정WHAT · HOW · WHERE
DEPTH · TIME · EVIDENCE
WHAT
주장

무엇을 주장하는가

HOW
방법

어떻게 분석했는가

WHERE
범위

어디까지 다루는가

DEPTH
깊이

얼마나 깊이 들어갔는가

TIME
흐름

어떤 순서로 전개했는가

EVIDENCE
근거

무엇을 근거로 삼았는가

이 여섯 질문이 Gestalt 6축의 뼈대다.

여섯 기준이 연결되는 사고 구조

AI 시대의 과제 지도와 평가 · Perspective04 / 30
교수자가 실제로 하는 일

논문 지도와 과제 평가는
하나의 반복 사이클이다

출제부터 피드백까지 한 흐름으로 연결한다.

01교수 — 과제 출제 및 기준 공개
02학생 — 초안 작성 및 제출
03교수 — 초안 기준 분석 및 개선 방향 피드백
04학생 — 피드백 반영 후 최종본 제출
05교수 — AI 탐지 · 출처 검증 · 필요 시 구술 검증
06교수 — 5인 AI 저지 채점 + 집계
07교수 — 피드백 보고서 전달 → 다음 과제로

앞 단계의 기록이 다음 단계의 입력이 된다

AI 시대의 과제 지도와 평가 · Cycle05 / 30
PART 2 — Gestalt 6축

세 가지 도구로
교수자의 판단을 구조화한다

AI가 교수자를 대체하는 것이 아니라 판단의 구조를 지원한다.

도구 1

6가지 평가 기준

출제 · 지도 · 평가 기준

도구 2

3개 검증 게이트

AI 탐지 · 구술 · 출처

도구 3

5인 AI 저지

다관점 올림픽 채점

판단을 지원하는 세 가지 구조

AI 시대의 과제 지도와 평가 · Toolkit06 / 30
6가지 평가 기준 — Gestalt 6축

교수들이 이미 하던 피드백을
여섯 기준으로 명문화한다

새로운 공개 이론이 아니라 이 강의를 위해 직접 설계한 분석 프레임워크다.

6 AXESGESTALTWHAT · HOW · WHERE
DEPTH · TIME · EVIDENCE
WHAT
주장

무엇을 말하는가

HOW
방법

어떻게 분석하는가

WHERE
범위

어디까지 다루는가

DEPTH
깊이

얼마나 파고드는가

TIME
흐름

어떤 순서로 가는가

EVIDENCE
근거

무엇으로 증명하는가

'글이 약하다' 대신 어느 기준이 약한지 정확히 말한다.

여섯 기준이 연결되는 사고 구조

AI 시대의 과제 지도와 평가 · Six Axes07 / 30
6축을 교수자의 언어로

먼저 쉬운 질문으로 이해하고
그다음 공식 기준을 붙인다

이 표가 출제 · 지도 · 채점의 공통 언어다.

평가 기준교수자의 질문배점
WHAT그래서 네가 하려는 말이 뭐냐?20
HOW그걸 어떤 방식으로 보겠다는 거냐?20
WHERE범위가 어디까지냐? 뭘 안 할 거냐?10
DEPTH말만 하지 말고 끝까지 들어가라20
TIME글의 순서가 왜 이렇게 가야 하냐?15
EVIDENCE근거가 어디 있냐?15

여섯 기준이 연결되는 사고 구조

AI 시대의 과제 지도와 평가 · Professor Language08 / 30
WHAT — 20점

그래서 네 말이 뭐냐

확인: 이 글은 무엇에 답하는가.
첫 문단에서 알 수 있는가.

약한 WHAT

SNS는 청소년에게 영향을 준다

주장이 없다.
모두가 아는 사실이다.

강한 WHAT

SNS 사용 시간과 자존감의 관계를 분석한다

비교 심리 노출을 원인으로 사용 기준의 필요성을 검토한다

같은 글을 바라보는 판단의 차이

AI 시대의 과제 지도와 평가 · WHAT09 / 30
HOW — 20점

어떤 방식으로 볼 것인가

HOW가 없으면 WHAT이 있어도 글은 선언으로 끝난다.

HOW = 주장을 다루는 방법론
✓비교할 것인가
✓사례를 분석할 것인가
✓통계를 볼 것인가
✓문헌을 검토할 것인가
✓인터뷰·관찰을 활용할 것인가

방법론이 주장과 직접 연결되는지 확인한다.

HOW = 주장을 다루는 방법론

AI 시대의 과제 지도와 평가 · HOW10 / 30
WHERE — 10점

어디까지 다룰 것인가

범위를 모르면 아이디어는 늘어나기만 한다.

WHERE = 과제의 경계
✓분석 대상은 누구인가
✓기간은 어디까지인가
✓어떤 사례를 포함하는가
✓무엇은 이번 과제에서 제외하는가

좋은 WHERE는 무엇을 다루는지뿐 아니라 무엇을 다루지 않는지도 안다.

WHERE = 과제의 경계

AI 시대의 과제 지도와 평가 · WHERE11 / 30
DEPTH — 20점

얼마나 깊이 들어갔는가

선언에서 원인,
메커니즘,
반론,
실행 수준까지 내려간다.

깊이 0좋다 / 나쁘다
원인왜 나쁜가
메커니즘어떤 구조로 작동하는가
완전한 DEPTH반론과 한계를 다루고 실행 수준까지

표면의 선언에서 실행의 깊이로

AI 시대의 과제 지도와 평가 · DEPTH12 / 30
TIME — 15점

순서가 논리를 만드는가

목차는 형식이고 흐름은 논리다.

TIME = 글의 진행 순서와 인과 흐름
✓앞 문단이 뒤 문단을 낳는가
✓서론의 질문이 결론에서 답을 얻는가
✓분석 순서가 자연스러운가
✓중간에 논리적 점프가 없는가

목차가 있는 글이 아니라 흐름이 있는 글을 본다.

TIME = 글의 진행 순서와 인과 흐름

AI 시대의 과제 지도와 평가 · TIME13 / 30
EVIDENCE — 15점

근거가 어디 있는가

'그럴 것 같다'와 '일반적으로 알려져 있다'는 근거가 아니다.

주장은 증거 위에 서야 한다
✓데이터 · 통계
✓문헌 · 논문
✓사례 · 인터뷰 · 관찰
✓출처 링크 — 실제 접근 가능

근거의 존재와 주장을 지지하는 방향을 함께 확인한다.

주장은 증거 위에 서야 한다

AI 시대의 과제 지도와 평가 · EVIDENCE14 / 30
피드백 비교

나쁜 피드백 vs
구조화된 피드백

학생은 '글이 약하다'는 말로는 고칠 수 없다.
축을 지정하면 고친다.

나쁜 피드백

글이 산만하다

더 깊이 써라

근거가 부족하다

구조화된 피드백

WHERE — 분석 대상을 좁혀라

DEPTH — 반론과 한계를 포함하라

EVIDENCE — 3문단 주장에 문헌을 붙여라

같은 글을 바라보는 판단의 차이

AI 시대의 과제 지도와 평가 · Feedback15 / 30
출제 단계에서 6축 활용

채점 기준을 나중에 붙이지 않는다
출제 단계에서 내장한다

학생은 출제 시점부터 무엇이 평가되는지 알고,
교수자는 같은 기준으로 채점한다.

WHAT핵심 주장을 한 문장으로
HOW분석 기준 2개 이상
WHERE대상 · 제외 항목 명시
DEPTH반론과 한계 포함
TIME문제제기 → 분석 → 결론
EVIDENCE신뢰 근거 3개 이상

평가 기준을 과제의 구조 안에 내장한다

AI 시대의 과제 지도와 평가 · Assignment16 / 30
지도 단계에서 6축 활용

초안 피드백은 다시 써주는 것이 아니라
어디를 고칠지 알려주는 것이다

AI는 분석을 제공하고,
학생은 직접 수정하며,
교수자는 지도 방향을 결정한다.

01학생 초안 입력
026축 기준 분석
03약점 기준 확인
04개선 우선순위 제시
05학생이 직접 수정

앞 단계의 기록이 다음 단계의 입력이 된다

AI 시대의 과제 지도와 평가 · Supervision17 / 30
평가 단계에서 6축 활용

요구한 것을 평가하고
평가할 것을 미리 요구한다

출제 기준과 평가 기준을 동일하게 유지한다.

평가 기준교수자의 질문배점
WHAT핵심 주장이 한 문장으로 명확한가20
HOW방법론이 WHAT을 실현하는가20
WHERE범위와 경계가 명확한가10
DEPTH아이디어가 실행 수준까지 내려갔는가20
TIME논리적 흐름과 순서가 있는가15
EVIDENCE주장에 측정 가능한 근거가 있는가15

여섯 기준이 연결되는 사고 구조

AI 시대의 과제 지도와 평가 · Evaluation18 / 30
PART 3 — 검증과 평가 하네스

왜 AI 평가만으로는
부족한가

AI가 쓴 글을 AI가 평가할 때 생기는 구조적 문제를 먼저 본다.

설계 PASS와 운영 PASS는 분리해야 한다.

3 Gates · 5 Judges · Professor Final Decision

EVIDENCE FLOW검증과 평가AI 판정을 교수자 판단으로 전환한다
01AI 탐지
02출처 검증
03구술 검증
045인 채점
FINAL OWNER교수자 최종 판단

교수자 최종 판단

AI 시대의 과제 지도와 평가 · Harness19 / 30
AI 평가의 위험

AI가 평가할 때
네 가지 위험이 생긴다

채점 전에는 검증 게이트가,
평가에는 다관점이 필요하다.

01

완성도 ≠ 이해도

그럴듯한 글을 사고 깊이로 착각할 수 있다

02

출처 실존 미확인

논문·통계가 실제로 존재하는지 확인하지 못할 수 있다

03

이해 여부 불명

학생이 내용을 실제로 알고 있는지 알 수 없다

04

단일 관점 편향

하나의 AI 판단은 하나의 관점에 갇힌다

구분해야 할 판단의 조건

AI 시대의 과제 지도와 평가 · Risk20 / 30
검증 게이트 시스템

3개의 게이트가
AI 판정을 교수자 판단으로 연결한다

게이트는 처벌 장치가 아니라 교수자가 확인해야 할 지점을 표시한다.

GATE 1

AI 작성 가능성 탐지

구조·문체 분석.
의심 높음이면 구술 검증

GATE 2

구술 검증

5개 질문.
3/5 이상이면 채점 진행

GATE 3

출처·링크 검증

URL·논문·통계 실존 확인.
브라우징 ON 필수

검증 결과는 교수자의 판단으로 연결된다

AI 시대의 과제 지도와 평가 · Three Gates21 / 30
GATE 1 — AI 작성 가능성 탐지

확정 판정이 아니라
구술 검증 트리거다

핵심 문장은 'AI가 썼다'가 아니라 '확인이 필요하다'이다.

01개인 경험 부재
02문체 균일성
03구조 과잉 완성도
04수업 맥락 부재
05근거의 일반성
낮음 / 보통채점 진행
높음 / 매우 높음Gate 2 구술 검증

동일한 확인 기준에서 두 결과로 분기한다

AI 시대의 과제 지도와 평가 · Gate 122 / 30
GATE 2 — 구술 검증

학생이 실제로 이해했는지는
말로 확인한다

학생의 답변을 바탕으로 교수자가 최종 판단한다.

01Q1 출처 — 어디서 찾았는가
02Q2 과정 — 어떻게 작성했는가
03Q3 확장 — 한 발 더 나아가면?
04Q4 반론 — 이 주장에 반대하면?
05Q5 개인화 — 본인 경험과 연결은?
3/5 이상 충분본인 작성 인정, 채점 진행
2/5 이하 충분재제출 또는 추가 지도

동일한 확인 기준에서 두 결과로 분기한다

AI 시대의 과제 지도와 평가 · Gate 223 / 30
GATE 3 — 출처·링크 검증

핵심은 글의 유창함이 아니라
근거의 실존성이다

출처 검증은 선택이 아니다.
브라우징 ON 상태에서만 '검증 완료'다.

01URL이 실제로 열리는가
02논문이 실제로 존재하는가
03통계 수치가 원 출처에 있는가
04인용 방향이 주장과 같은가
05허위 기관·미래 날짜는 없는가
실존 확인출처 검증 완료
접근 불가 / 불일치교수자 재확인

동일한 확인 기준에서 두 결과로 분기한다

AI 시대의 과제 지도와 평가 · Gate 324 / 30
브라우징 상태 계약

OFF 상태에서는
'출처 검증 완료'라고 말하면 안 된다

도구 상태에 따라 가능한 판정의 이름을 엄격하게 나눈다.

브라우징 OFF

구조 패턴 분석 · 내부 논리 검토

URL · 논문 · 통계 실제 확인 불가

구조 분석 완료 (미검증)

브라우징 ON

URL 접속 · 논문 검색 · 통계 대조

API 기반 완전 자동화 불가

출처 검증 완료

도구 상태에 따라 판정의 이름이 달라진다

AI 시대의 과제 지도와 평가 · Browsing25 / 30
5명의 평가관 페르소나

단일 판단을
다섯 관점으로 분산한다

최고점과 최저점을 제외하고 나머지 3명의 평균을 최종 점수로 사용한다.

김현우전략 기획

WHAT · WHERE

이수진현장 실무

HOW · DEPTH

박민준데이터 연구

EVIDENCE · TIME

최지영UX / 정보 설계

TIME · WHAT

정도현창의 교육

DEPTH · EVIDENCE

5명 점수최고점 제외최저점 제외3명 평균

집계 방식 예시 · 실제 학생 점수 아님

76최저 제외
84평균 반영
88평균 반영
90평균 반영
92최고 제외
(84 + 88 + 90) ÷ 3 87.33점

다섯 점수에서 양끝을 제외하고 세 점수를 모은다

AI 시대의 과제 지도와 평가 · Five Judges26 / 30
전체 하네스 구조

오케스트레이터 1개
서브 에이전트 15개

교수자는 GPTs/Gems 하나에서 6개 트리거로 전체 시스템을 운영한다.

00_master가 15개 Knowledge 파일과 3개 게이트,
5인 심사,
집계·피드백을 연결한다.
상세 파일 구조 열기 ↗

하나의 운영자와 열다섯 역할

AI 시대의 과제 지도와 평가 · Blueprint27 / 30
실제 운영 흐름

AI 평가도 기록이 있어야
신뢰할 수 있다

상태 카드와 채점 검증 로그가 각 단계의 근거를 남긴다.

01교수 — 과제 출제 및 기준 공개
02교수 — 학생 초안 입력 → AI 피드백 수령
03학생 — 최종본 직접 수정·제출
04교수 — Gate 1: AI 탐지
05교수 — Gate 3: 출처·링크 검증
06교수 — Gate 2: 필요 시 구술 검증
07교수 — 5인 채점 시작
08AI — 올림픽 집계
09AI — 채점 검증 로그 출력
10교수 — 피드백 보고서 전달
11기록 보존 → 다음 사이클

앞 단계의 기록이 다음 단계의 입력이 된다

AI 시대의 과제 지도와 평가 · Operation28 / 30
직접 설계하기

하네스 파일이 아니라
구조를 보고 직접 만든다

파일 구조와 역할은 공개하지만 Instructions 내용은 공개하지 않는다.
GPTs/Gems/Claude Projects에 직접 구현한다.

파일 구조 보기 ↗Gems 데모 ↗GPTs 데모 ↗
AI 활용 레벨 5~6

구조를 파악하고 직접 설계·구현할 수 있는 수준

파일 구조 파악역할 이해Knowledge 분해트리거 설계검증 로그 확인

구조를 이해하고 직접 구현한다

AI 시대의 과제 지도와 평가 · Build29 / 30
CLOSING

AI 시대의 과제 평가는
구조 설계다

학생의 사고를 구조화하고,
근거를 확인하고,
이해를 검증하고,
다시 피드백으로 돌려주는 과정이다.

김준호 · 동서울대학교 교수

01출제6축 내장
02지도축별 피드백
03검증3개 게이트
04평가5인 다관점
FINAL OWNER교수자 최종 판단
↺다음 과제로 환류

AI는 판단하지 않는다.
교수자의 판단을 구조화한다.

교수자 최종 판단

AI 시대의 과제 지도와 평가 · Closing30 / 30