AI 탐지기 | 실전 가이드
AI 탐지기 결과, 어디까지 믿어야 할까? 점수 해석부터 대응까지 과제나 원고를 제출했는데 “AI 작성 가능성 87%”라는 결과가 나왔다고 해보자. 숫자가 구체적이어서 사실 처럼 느껴진다. 하지만 이 수치만으로 누가 글을 썼는지, 어떤 도구를 사용했는지, 사용 규정을 어겼는지는 알 수 없다. 핵심 답변: AI 탐지기는 텍스트의 패턴을 분석해 생성형 AI 글과 얼마나 비슷한지 추정한다. 작성 과정을 직 접 관찰하는 도구는 아니다. 따라서 결과는 추가 확인이 필요한 신호로 읽어야지, 저자 판정이나 부정행위 의 증거로 단독 사용해서는 안 된다. 이 가이드는 탐지 결과를 받은 학생과 작성자, 이를 검토해야 하는 교사·편집자·팀 담당자를 위한 것이다. 지금 당장 할 일, 점수의 함정, 실제로 도움이 되는 자료를 순서대로 정리했다.
먼저 할 일: 5단계 점검표 1. 점수를 낮추려고 글부터 고치지 않는다. 정확한 문장을 불필요하게 바꾸거나 작성 과정의 흔적을 지울 수 있다. 2. 해당 과제나 기관의 AI 사용 규정을 찾는다. AI 보조가 전면 금지인지, 일부 허용인지, 사용 사실을 밝혀 야 하는지 확인한다. 3. 이미 존재하는 자료를 보존한다. 메모, 참고문헌, 초안, 수정 기록, 피드백이 있다면 그대로 둔다. 없던 초 안을 뒤늦게 만들지는 않는다. 4. 점수의 정의를 확인한다. 표시된 비율이 ‘AI가 작성했을 확률’인지, 의심 문장 비율인지, 자체 분류 점수 인지 설명을 읽는다. 5. 글의 내용과 작성 과정을 설명한다. 핵심 주장 하나를 골라 근거 자료, 논리 전개, 수정 이유를 구체적으 로 이야기한다. 다른 도구로 비교해 보고 싶다면 Solvely AI 탐지기처럼 텍스트의 AI 작성 가능성을 추정하는 서비스도 있 다. 다만 두 번째 도구에서 다른 숫자가 나왔다고 어느 쪽이 정답이 되는 것은 아니다. 미공개 원고나 개인 정보가 포함된 글을 올리기 전에는 해당 서비스의 최신 이용 조건과 데이터 처리 방식을 확인해야 한다.
AI 탐지기는 정확히 무엇을 탐지할까? 대부분의 AI 탐지기는 입력된 글의 통계적·언어적 특성을 보고 분류한다. 어떤 모델이 어떤 데이터를 써서 학습했는지, 짧은 글과 긴 글을 어떻게 다루는지, 사람의 수정을 어떻게 반영하는지는 제품마다 다르다. 공 통점은 작성자의 실제 행동을 기록하지 않는다는 것이다.
Ellie Wang · 1
AI 탐지기 | 실전 가이드
현실의 글쓰기는 단순한 ‘사람 또는 AI’ 두 칸으로 나뉘지 않는다. 사람이 직접 글을 쓴 뒤 문법 교정을 받을 수도 있고, AI로 목차를 만든 뒤 자료를 찾아 문장을 모두 다시 쓸 수도 있다. 번역 도구나 접근성 보조 기능 을 사용할 수도 있다. 같은 최종 문장이라도 과정과 규정 준수 여부는 서로 다르다. 특히 “AI 87%”를 “이 작성자가 AI를 썼을 확률 87%”로 바로 바꿔 읽으면 안 된다. 실제 대상과 비슷한 글, 언 어, 길이, 사용 조건에서 그 숫자가 확률로 보정되어 있다는 근거가 있어야만 그런 해석이 가능하다. 제품 설명에서 점수의 의미를 확인할 수 없다면, 의미가 불확실하다고 기록하는 편이 정확하다.
정확도 93.5%인데, 경고 36%가 틀릴 수 있는 이유 다음은 원리를 설명하기 위한 가상의 예시다. 과제 1,000개 가운데 규정을 위반한 글이 100개, 규정에 맞게 작성된 글이 900개 있다고 가정하자. 탐지기가 위반 글 100개 중 80개를 맞게 표시하고, 정상 글 900개 중 45개를 잘못 표시했다면 결과는 다음과 같다. 결과
개수
실제 위반을 맞게 표시
80
위반을 놓침
20
정상 글을 잘못 표시
45
정상 글을 맞게 통과
855
전체 1,000개 가운데 935개를 맞혔으므로 정확도는 93.5%다. 그러나 표시된 글은 125개이고, 그중 45개는 잘못된 경고다. 즉 경고를 받은 글의 36%는 이 예시에서 실제 위반이 아니다. 이 숫자는 Solvely나 다른 제품의 성능 측정치가 아니다. 규정 위반 글의 비율이 달라지면, 같은 탐지기라도 경고 중 오탐의 비율이 크게 달라질 수 있다는 점을 보여 주기 위한 계산이다. 특정 벤치마크의 높은 정확 도를 곧바로 우리 학교나 편집팀에 적용해서는 안 되는 이유다. 검토 비용도 생각해야 한다. 경고 125건을 한 건당 8분씩 확인한다면 약 16시간 40분이 든다. 이 역시 가정 에 따른 계산이다. 도입 여부를 결정할 때는 탐지 성능뿐 아니라 검토 시간과 잘못된 의심이 가져올 피해를 함께 봐야 한다.
사람이 쓴 글도 AI로 표시될까? 그럴 수 있다. 사람이 쓰거나 규정에 맞게 작성한 글을 AI로 표시하면 오탐(false positive), 금지된 사용을 놓 치면 미탐(false negative)이다. 좋은 평가 자료라면 두 오류를 모두 보여 줘야 한다. Liang 등 연구진의 2023년 연구는 당시 평가한 탐지기들이 비원어민 영어 작성자의 글을 AI 작성으로 더 자 주 잘못 분류한다는 결과를 보고했다. 이 연구를 모든 최신 제품의 동일한 오류율로 일반화할 수는 없다. 다
Ellie Wang · 2
AI 탐지기 | 실전 가이드
만 전체 정확도 하나만으로 서로 다른 작성자 집단에 공정한지 판단할 수 없다는 경고는 분명하다. 한국어 글에 대해서도 별도 검증이 필요하다. 영어 자료에서 나온 수치를 한국어 과제, 번역된 글, 여러 언 어가 섞인 글에 그대로 옮겨서는 안 된다. 제품이 한국어 글을 어떤 자료로, 어떤 길이와 수정 조건에서 평 가했는지 확인하자. 관련 자료가 없다면 ‘검증되지 않았다’고 말해야 한다.
내 글이 표시되었을 때: 차분하고 구체적으로 대응하기 먼저 과제 지침이나 원고 제출 규정을 읽고, 어떤 행위가 문제로 제기되었는지 확인한다. ‘AI처럼 보인다’는 말과 ‘사전에 공지된 AI 사용 규정을 위반했다’는 주장은 다르다. 다음으로 이미 남아 있는 자료를 정리한다. 주제 메모, 참고문헌 검색 기록, 문서의 버전 기록, 받은 피드백, 실제 수정 흔적이 도움이 될 수 있다. 모두 제출해야 하는 것은 아니다. 해당 절차에서 관련 있고 적절한 범 위만 공유한다. 개인 계정 전체를 보여 달라는 요청에는 목적과 필요성을 먼저 확인한다. 핵심 문단 하나를 선택해 설명해 보는 것도 좋다. 왜 그 주장을 했는지, 어떤 자료의 어느 부분을 근거로 삼 았는지, 수정하면서 무엇을 바꿨는지 말할 수 있다. 이는 이해도를 보여 주지만 글 전체의 작성자를 과학적 으로 증명하지는 않는다. 검토하는 쪽도 이 한계를 인정해야 한다. 문의 메일은 이렇게 시작할 수 있다. “제 글이 AI 탐지기에 표시되었다는 안내를 받았습니다. 어떤 과제 규정이 문제인지, 탐지 결과 외에 검토 중인 자료가 무엇인지 알려주실 수 있을까요? 제가 사용한 출처와 현재 남아 있는 초안·수정 기록을 설명드 리겠습니다.” 이미 공식적인 조사 단계라면 해당 기관의 답변 기한과 절차를 따르고, 학생 상담·권리 지원 또는 담당 부서 의 도움을 받는다. 유리한 숫자가 나올 때까지 글을 여러 외부 사이트에 올리는 행동은 문제를 해결하지 못 하며, 미공개 자료의 유출 위험을 키울 수 있다.
교사와 편집자를 위한 판단 기준 먼저 규정을 특정하자. 글의 출처가 불분명한 것인지, 허용되지 않은 AI 보조가 있었는지, 출처 표시가 잘못 되었는지, 학습 목표를 보여 주지 못했는지는 서로 다른 질문이다. 탐지 점수 하나로 한꺼번에 답할 수 없다. 작성자가 설명할 기회를 갖게 하고, 실제 글의 주장과 근거를 확인하자. 학습 내용을 다른 예시에 적용해 보 는 질문은 이해도를 파악하는 데 도움이 된다. 하지만 지금 문제의 글을 누가 작성했는지 과거로 돌아가 확 인해 주지는 않는다. 학습 지도와 부정행위 판정을 혼동하지 않는 것이 중요하다. 중대한 결정을 내려야 한다면 일관된 절차가 필요하다. 우려의 근거를 알려 주고, 답변과 관련 자료를 검토 하고, 언어·접근성 상황을 고려하고, 판단 이유와 이의제기 방법을 남긴다. 문체가 매끈하다는 인상이나 숫 자만으로 결론을 내리지 않는다.
Ellie Wang · 3
AI 탐지기 | 실전 가이드
AI 탐지기를 쓰기 전에 확인할 7가지 - 점수의 의미: 분류 점수인가, 표시된 문장의 비율인가, 검증된 확률인가? - 평가 자료: 한국어와 실제 사용할 글의 종류·길이가 포함되었는가? - 오탐: 정상 글이 몇 건이나 잘못 표시되었는가? 비율뿐 아니라 실제 건수는 얼마인가? - 미탐: 어떤 사용 방식이나 수정 조건에서 위반 글을 놓치는가? - 문턱값: 경고 기준을 바꾸면 오탐과 미탐이 어떻게 달라지는가? - 검토 절차: 누가 결과를 볼 수 있고, 작성자는 어떻게 답변하고 이의를 제기하는가? - 데이터 처리: 업로드한 글을 얼마나 보관하며, 누가 접근하고, 삭제할 수 있는가? 가능하면 작성 과정이 확인된 샘플로 소규모 평가를 하자. 실제 사용할 언어와 문서 유형을 반영하고, 오탐 건수와 검토 시간을 기록하자. 도구 버전이나 과제 규정이 바뀌면 결과도 다시 확인해야 한다. 검증 자료가 부족하다면 그 한계를 도입 결정에 명시한다.
‘탐지기에 안 걸리게’ 고치면 해결될까? 점수가 낮아졌다는 이유만으로 규정 준수가 입증되지는 않는다. 반대로 점수가 높다는 이유만으로 위반도 입증되지 않는다. 분류기 점수를 목표로 문장을 다시 쓰다 보면 수치, 인용, 조건, 확신의 정도가 바뀔 수 있 다. 편집 도구를 썼다면 점수보다 의미 보존을 확인하자. 날짜와 숫자가 그대로인지, “가능하다”가 “보장한다” 로 강해지지 않았는지, 출처가 여전히 주장을 뒷받침하는지 살펴본다. 도구 사용이 허용되는지, 필요한 경 우 사용 사실을 밝혔는지도 확인한다.
결론: 점수는 질문의 시작일 뿐이다 AI 탐지기는 검토할 지점을 제안할 수 있지만, 작성 과정과 규정 위반 여부를 단독으로 판정할 수 없다. 글 이 표시되었다면 기존 자료를 보존하고 구체적인 질문을 하자. 검토하는 사람이라면 공지된 규정, 실제 근 거, 설명 기회, 오류 가능성을 함께 보자. 이 절차가 숫자 하나보다 더 공정하고 실제 문제 해결에도 도움이 된다.
참고 자료와 범위 - Liang, W. 외 (2023), “GPT detectors are biased against non-native English writers.” https://arxiv.org/abs/2304.02819. 연구 결과는 당시 조사한 도구와 표본에 관한 것이다.
Ellie Wang · 4
AI 탐지기 | 실전 가이드
- 1,000개 과제 사례는 오탐과 기본 비율의 관계를 설명하는 가상 계산이다. 특정 제품의 성능 평가나 한국 어 글의 실제 위반 비율이 아니다. 편집 안내: 이 글에는 AI 글쓰기 도구를 제공하는 Solvely로 연결되는 맥락상 링크가 하나 포함되어 있다. 어떤 탐지기도 작성자를 확정하거나 특정 결과를 보장한다는 주장은 하지 않는다.
Ellie Wang · 5