AI 탐지기 오판 논란, "챗GPT 안 썼는데 70% 생성률?" 대학생·취준생 '억울함' 호소

생성형 AI가 발전하면서 교육계와 취업 시장에서 AI 사용 여부를 판별하는 탐지 서비스가 활용되고 있지만, AI를 사용하지 않았음에도 AI가 작성했다는 '누명'을 쓰는 사례가 늘고 있습니다. 대학생들은 직접 작성한 과제물이 AI 탐지기에서 높은 생성률로 판정받아 재작성해야 하는 상황에 놓이고, 취업 준비생들은 자기소개서가 AI로 작성되었다는 의심을 받지 않기 위해 추가적인 노력을 기울이고 있습니다. 전문가들은 AI 탐지기의 정확성 문제를 지적하며 평가 기준의 변화 필요성을 강조하고 있습니다.

 

AI 탐지기의 등장과 오판 논란

"챗GPT를 사용한 적이 없는데 인공지능(AI) 생성률이 70%가 나왔어요. 안 썼다는 것을 어떻게 증명해야 하나요?"

서울 한 대학 사회학과 재학생 오모(22) 씨는 전공 수업 과제로 보고서를 제출했다가 'AI 의심 문장이 많으니 주의하라'는 교수의 메일을 받고 황당함을 느꼈습니다. 참고 자료를 찾거나 개요를 짤 때도 챗GPT를 사용한 적이 없고 전부 직접 썼지만, AI 판독 비율이 70%가 나와 결국 다시 써서 제출할 수밖에 없었습니다.

챗GPT가 등장한 지 2년 반이 지난 지금, 생성형 AI가 발전을 거듭하면서 한편에서는 생각지도 못한 '부작용'을 호소하는 목소리가 나오고 있습니다. AI의 도움을 받지 않았음에도 AI를 활용했다는 '누명'을 쓴다는 주장이 바로 그것입니다.

대학 온라인 커뮤니티 '에브리타임'에서도 "내가 썼는데 왜 챗GPT가 썼다고 하느냐", "복학하니까 이상한 표절 검사가 생겨서 고통받는다", "GPT 탐지기 만든 사람 천벌 받았으면 좋겠다" 등 억울함을 호소하는 글들이 쉽게 발견됩니다.

AI 탐지기의 정확성 문제

최병호 고려대 AI 연구소 교수는 "챗GPT, 그록, 제미나이 등 각 생성형 AI는 버전마다 글을 작성하는 독특한 패턴이 있고, 이를 거꾸로 생각하면 패턴 탐지와 무력화가 충분히 가능하다"고 설명했습니다.

그러면서 "베낀 것을 탐지하는 것, 베낀 것이 아닌데 베꼈다고 오판하는 것, 베낀 것을 그렇게 보이지 않도록 회피하는 것 모두 가능하다"고 지적했습니다.

실제로 아랍에미리트(UAE)에 있는 뉴욕대 아부다비(NYUAD)의 탈랄 라완·야시르 자키 교수팀이 2023년 8월 발표한 조사 결과에 따르면 GPT제로와 오픈AI의 'AI 텍스트 탐지기'의 오판율은 각각 31.55%, 49.37%였습니다. 두 탐지기는 챗GPT가 작성한 답안 10개 중 3∼5개를 학생이 작성했다고 잘못 분류했습니다.

국내 대표적인 챗GPT 탐지 서비스 'GPT킬러'도 홈페이지를 통해 "사람이 작성했더라도 문장을 이루고 있는 단어의 구성에 따라 챗GPT가 작성했다고 판단할 수 있다"며 "기계로 썼을 확률이 높은 단어로 구성됐다는 얘기는 문장을 구성하는 단어가 단조롭거나 평이한 경우가 많다는 이야기"라고 안내하고 있습니다.

대학생들의 고충

대학생들은 AI 탐지기로 인한 고충을 토로하고 있습니다. 연세대 에브리타임의 한 이용자는 "챗GPT 잡는 방법이 존재하는 것은 맞나"라며 "'GPT제로'도 정확성이 떨어지고 판정 오류 많다고 한다. 교수들이 어떤 생각인지 궁금하다"고 적었습니다.

대학생 김모(25) 씨는 "과제를 제출할 때마다 1만원에 가까운 돈을 쓰려니 부담이 된다"며 "교수님 성향상 탐지기 검사를 꼭 할 것 같은 분들을 추려 최대한 아껴가면서 이용하고 있다"고 말했습니다.

이러한 상황에서 대학생들은 자신이 직접 작성한 글이 AI로 오판받지 않도록 다양한 방법을 시도하고 있습니다. 단어 선택을 다양화하거나, 구어체를 활용하는 등 AI 탐지기를 피하기 위한 노력을 기울이고 있습니다.

취업 준비생들의 딜레마

취업 준비생들의 고민도 깊어졌습니다. 자기소개서를 작성할 때도 AI처럼 보이지 않기 위해 탐지기를 돌리는 일이 당연시된 지 오래입니다.

지난해 3월 고용노동부와 한국고용정보원이 발표한 '2023년 하반기 기업 채용동향조사'에 따르면 기업은 챗GPT로 자기소개서를 작성한 것이 확인되면 '감점'(42.2%)이나 불합격(23.2%) 등 불이익을 주겠다고 답했습니다. 매출액 상위 500대 기업의 인사담당자(315곳 응답)를 대상으로 한 조사로, 취준생들 사이에서 챗GPT의 도움을 받는 게 그만큼 일반화됐다는 방증입니다.

취업 준비생 전모(25) 씨는 "상투적인 문장이나 딱 봐도 AI가 쓴 것 같은 글은 감점 요소가 될 수 있어서 신경 써서 고친다"며 "직접 쓴 자소서였는데도 GPT킬러가 잘못 탐지한 적도 있었다"고 말했습니다.

또 다른 취업 준비생 황모(27) 씨도 "기업 입장에서 AI 검수 과정을 거치는 것도 이해는 가지만, 행여나 'AI스럽게' 보일까 봐 신경을 써야 한다는 게 억울하다"고 말했습니다.

AI 탐지기 회피 방법의 등장

이러한 상황에서 온라인에는 'AI 탐지기를 속이는 방법'도 공유되고 있습니다. 직접 작성한 글이 'AI스럽게' 보이지 않게끔 챗GPT에 "GPT 킬러에 걸리지 않도록 자연스럽고 독창적으로 작성해 줘"라고 명령하는 식입니다.

취업 준비생 전씨는 "탐지기를 사용한 뒤 생성률이 높게 나오면 연결어·부사·대명사 등을 수정하고 동의어로 바꾸거나 문장을 합치고 쪼갠다"면서 "여러 AI에 같은 질문을 하고 제일 좋은 문장들만 퍼즐처럼 맞춰서 구성하기도 한다"고 했습니다.

이 외에도 단어 선택을 다양화하기, 구어체 활용하기 등 다양한 회피 방법이 공유되고 있어 AI 탐지기의 실효성에 의문이 제기되고 있습니다.

AI 시대의 새로운 평가 기준 필요성

최병호 고려대 AI 연구소 교수는 "단순히 베꼈느냐, 아니냐를 판단하는 시대는 지났다. 이제는 관점을 바꿔야 할 때"라고 짚었습니다.

그러면서 "AI를 쓰는 것을 모두 인정해야 한다"며 "'사람이 쓰지 않았을 수 있다'를 넘어 더 나아가 '꼭 사람이 써야 하는가?'를 고민해야 한다"고 지적했습니다.

최 교수는 "기업과 학교의 평가 기준도 바뀌어야 한다"며 "보고서 대신 대면 문답 형식으로 학습 수준을 판단하거나, 지원자가 AI를 통해 필요한 정보를 적절하게 잘 뽑아내는지 등을 평가해야 한다"고 제안했습니다.

백은경 이화여대 인공지능대학 교수도 "중요한 것은 기술이 발전할 때마다 예기치 못한 부작용이 존재한다는 것을 사람들이 인지하는 것"이라며 "알고 있으면 대처가 가능하다. 완벽하다고 맹신할 때 문제가 발생한다"고 했습니다.

이어 "요즘에는 학교에서 AI를 적극적으로 쓰고, 어떻게 하면 잘 쓸 수 있는지를 가르치는 추세"라며 "AI에 대한 인식을 맞춰가는 과정에 있다고 보면 될 것 같다"고 덧붙였습니다.

생성형 AI 시대에 AI 탐지기의 오판으로 인한 '억울함'은 교육계와 취업 시장에서 새로운 문제로 대두되고 있습니다. 직접 작성한 글이 AI로 오판받는 상황은 학생들과 취업 준비생들에게 추가적인 부담을 주고 있습니다. 이제는 단순히 AI 사용 여부를 판단하는 것을 넘어, AI와 함께 살아가는 시대에 맞는 새로운 평가 기준과 교육 방식이 필요한 시점입니다. 여러분은 AI 탐지기로 인한 경험이 있으신가요? 댓글로 여러분의 생각과 경험을 공유해 주세요.