AI가 만든 자료 믿어도 될까 — 데이터로 검증하고 배포하기

여기까지 와서 가장 찜찜한 질문이 남았다. “AI가 만든 이 자료, 진짜 믿어도 되나?” 그럴듯해 보이는 거랑 실제로 맞는 건 다르다. 그래서 자랑 대신 의심부터 하기로 했다.

믿지 말고, 숫자로 확인하자

이 자격증 시험은 객관식이 아니라 데이터를 직접 분석하는 실기형이었다. 그렇다면 검증법은 분명하다. 공식 샘플 데이터를 실제로 돌려서, 우리 자료가 가르치는 대로 하면 합격선이 나오는지 보면 된다. Claude한테 그 분석을 직접 시켰다.

결과는 분명했다. 분류 문제는 정확도 90% 중반, 회귀 문제는 설명력(R²)이 0.96까지 나왔다. 합격선을 한참 웃돌았다. “우리 자료대로만 하면 붙는다”가 느낌이 아니라 숫자로 찍혔다.

덤으로 데이터의 성격도 그림으로 드러났다. 예를 들어 요금을 예측하는 문제에선 ‘직전 요금’ 하나가 정답과 거의 완벽하게(상관계수 0.99) 붙어 있었다. 이런 건 표만 봐선 안 보이는데, 그려놓으니 한눈에 들어온다.

아예 ‘설치 없이’ 해보게 만들었다

시험에서 쓰는 분석 도구는 따로 설치해야 한다. 학생 입장에선 그게 또 벽이다. 그래서 브라우저만 열면 되는 웹 분석기를 따로 만들었다. 시험 도구와 비슷한 화면에, 데이터 분석 5단계를 클릭으로 따라 할 수 있게. 놀랍게도 같은 공식 데이터를 넣어 돌려보니 성능이 거의 똑같이 나왔다.

가장 뼈아팠던 사고: ‘너무 쉽게’ 만들다 알맹이를 날렸다

대상이 초보라, 모든 용어에 쉬운 뜻과 비유와 예시를 붙여 전부 다시 썼다. 여기까진 좋았다. 그런데 “더 쉽게, 더 덜어내”를 너무 세게 밀어붙인 게 화근이었다.

마지막 관문: 배포에서 줄줄이 터진 오류

다 만들고 PDF로 묶어 내보내는 단계. 여기서 황당한 게 연달아 터졌다.

① 35개 PDF가 갑자기 473MB. 각 페이지 구석에 파일명을 도장처럼 찍었더니, 그 글자를 위해 한글 폰트 전체(약 14MB)가 파일마다 통째로 박혔다. 파일당 14MB × 35개 = 473MB. ‘실제로 쓴 글자만 남기는’ 처리(폰트 서브셋)로 줄이니 20MB로 내려왔다. 24분의 1이다.

② PDF 저장이 ‘액세스 거부’. 폴더 경로에 한글과 이모지가 섞여 있고 파일이 열려 있던 탓에, 저장이 액세스 거부(0x5)로 막혔다. 영문 이름의 임시 폴더에 먼저 만든 뒤 제자리로 복사하는 식으로 우회했다.

③ 클라우드 업로드 용량 벽. 완성본을 클라우드에 한 번에 올리려다 전송 용량 한계에 부딪혔다. 결국 자동 동기화 폴더를 쓰는 방식으로 길을 틀었다. 여기서도 ‘정공법이 막히면 우회로’라는 그 패턴이 또 반복됐다.

그래서, 누구나 할 수 있다

지금까지의 전부 — 슬라이드, 교재, 웹 도구, 데이터 검증, 배포 — 를 만드는 동안 나는 코드를 한 줄도 직접 손으로 짜지 않았다. 한 거라곤 한국어로 일을 맡기고, 자료를 미리 정리해 건네고, 막히면 다른 길을 같이 찾고, 결과를 의심하고 검증한 것뿐이다.

이게 ‘이런 거’의 정체였다. 교감 선생님이 흘린 한마디, 수당도 없던 연수, 그 어정쩡한 자리에서 시작해 — 결국 코드를 못 짜는 사람도 자기 일에 맞는 도구를 만들 수 있다는 결론에 닿았다. 당신 일에도 분명히 된다. 막히는 데까지 다 적어둔 이 기록이, 그 첫 삽을 뜨는 데 보탬이 되면 좋겠다.