“프롬프트까지 제출하세요”…AI 시대, 코딩테스트가 달라진다

프로그래머가 노트북으로 코드를 작성하는 모습. 사진은 기사 내용과 직접적인 관련 없음. 게티이미지뱅크 AI가 코드를 대신 작성하면서 개발자를 뽑는 시험도 다시 만들어지고 있다. 정답 코드를 얼마나 빨리 짜는지보다 AI를 어떻게 쓰고, 틀린 결과를 찾아내며, 낯선 문제를 해결하는지를 보려는 기업들이 등장했다.AI 기업 앤트로픽은 실제로 자사 AI 때문에 개발자 채용 과제를 여러 차례 손봤다. 앤트로픽 성능최적화팀은 2024년부터 지원자에게 가상의 가속기용 코드를 최적화하도록 하는 과제를 냈다. 같은 제한시간을 줬더니 클로드 오퍼스 4가 대부분의 지원자보다 좋은 결과를 냈고, 뒤이어 나온 오퍼스 4.5는 최상위 지원자의 성적까지 따라잡았다. 앤트로픽은 현재까지 과제를 세 버전으로 바꿨다고 지난 1월 공개했다.AI를 막는 대신 아예 면접장 안으로 들인 기업도 있다. 미국 배달 플랫폼 도어대시는 지난 3월 기존 코딩 면접을 60분짜리 ‘AI 보조 엔지니어링 세션’으로 바꾼다고 밝혔다. 지원자는 AI 도구를 쓰면서 기존 코드의 문제를 해결하고 화면을 공유해 자신이 무엇을 하는지 설명한다. 평가자는 AI 사용 방식과 결과 검증, 디버깅, 문제 범위 판단, 의사결정 과정을 살펴본다.● AI 금지 34%, 허용 46%…기업들도 아직 ‘정답’을 못 찾았다AI를 코딩시험에서 허용할지를 두고는 아직 기준이 엇갈린다. 기술인력 평가 플랫폼 CoderPad가 올해 세계 개발자와 채용 담당자 등 650명 이상을 대상으로 조사한 결과, 채용 면접과 평가에서 AI를 전면 금지한다는 응답은 34%였다. 29%는 제한적으로, 17%는 폭넓게 허용했다. 20%는 시험에 따라 다르게 결정한다고 답했다.국내에서도 평가 방식은 아직 제각각이다. 송하주 국립부경대학교 소프트웨어융합혁신원 원장은 “코딩 시험을 아예 안 보는 곳부터 이전과 동일하게 보는 곳, AI를 써도 되는 곳과 그렇지 않은 곳까지 편차가 상당히 크다”며 “제각각이라는 것 자체가 아직 어느 쪽도 확신을 갖지 못했다는 뜻”이라고 말했다.온라인 테스팅 기업 그렙의 임성수 대표는 “국내에서는 개발자 채용 자체가 많이 줄었고, 채용 때 코딩테스트를 시행하는 기업 수도 빠르게 감소하고 있다”며 “기존 알고리즘 코딩테스트 대신 AI를 활용한 개발 역량을 평가하려는 시도는 늘고 있지만 무엇을 어떻게 평가해야 할지에 대해서는 아직 명확한 답을 찾지 못하고 있다”고 말했다.반면 임 대표가 파악한 미국 ...