내가 LLM 사용을 줄이기로 한 이유

• 15년 경력 소프트웨어 엔지니어 Alberto Fortin은 LLM(대규모 언어 모델) 도입에 큰 기대를 가졌지만, 실제 프로덕션 환경에서는 여러 한계를 경험함
• Go와 ClickHouse 기반 인프라 재구축 과정에서 AI의 허와 실을 체감하고, 모델 개선에도 핵심 문제 해결이 부족함을 느꼈음
• 생산성 향상에 대한 환상이 존재하며, 실제로는 버그와 예상치 못한 문제가 더 늘어남을 지적
• LLM을 보조자(assistant) 로 인식하고, 핵심 설계·결정은 개발자 스스로 해야 한다는 교훈을 강조함
• "AI는 혁신적이지만 아직 완전하지 않으니, 균형 잡힌 활용과 냉정한 현실 인식이 필요함"

Alberto Fortin의 LLM 경험과 회고

• 15년 경력의 소프트웨어 엔지니어 Alberto Fortin은 LLM을 적극적으로 개발 작업에 도입하며 큰 기대감을 가졌음
• Go와 ClickHouse를 활용하여 인프라를 재구축하는 과정에서 여러 도전과 한계에 부딪히면서, AI와 실제 개발 간의 격차에 대한 블로그 글을 작성하였음
• 이후 최근 추가 분석을 통해 Claude Opus 4 등 최신 모델이 이러한 문제를 해결했는지 검증하는 작업을 진행

• Alberto의 경험은, 실무 환경에서 LLM 도입을 고민하는 엔지니어에게 실질적인 교훈과, 어떤 부분에서 도구가 가치를 제공하는지, 또 어디까지가 한계인지에 대한 현실적인 시각을 제시함

LLM 경험에 대한 Alberto의 주요 인용문

"오동작이나 기능 미작동만의 문제가 아니었음에 정말 놀랐음. 향후 몇 년간 이 코드를 유지보수하려는 개발자로서, 코드는 충분히 깔끔해야 함."

"문제가 곧 해결될 것 같지만, 결국 다음에 또 새로운 에러가 발생하고, 그걸 해결하는 데 다시 2주 정도가 더 걸리는 경험이 반복되었음."

"오류 출력을 LLM에 전달하면 새로운 답안을 주긴 하지만, 또 뭔가를 복잡하게 꼬아놓거나 다른 부분을 망가뜨리는 문제가 자주 발생함."

LLM에 대한 과한 기대에 대한 인식

"초기 오토컴플리트 등 작은 기능을 처음 쓸 때, 개발자 모두 놀라움을 느낌. 마치 내 생각을 읽는 것 같아, 기대치가 부풀게 되는 현상이 있음."

"개발 생산성이 10배쯤 오를 수 있을 것 같아지는데, 실제로는 그만큼의 기대를 너무 빨리 가지는 경향이 있음."

역할과 기대의 재정립

"가장 큰 차이는 역할 인식의 변화임. 나는 아키텍트이자 시니어 개발자이고, LLM은 내 조수에 불과함. 내가 계획을 세우고, LLM은 보조 역할을 맡음."

"신뢰를 잃게 된 후에는 더 이상 중요한 기능을 맡기지 않음. 리팩토링 등 작은 단위에서만 활용함."

"버그를 직접 수정하기 시작했음. 코드베이스를 완전히 이해하고 있으면 문제를 직접 해결하는 것이 훨씬 빠르고 효율적임."

LLM을 바라보는 시각의 변화와 조언

"시니어 개발자로서 LLM 도입이 잘 맞지 않는 것이 내 역량 부족이 아님을 스스로 인정함. 기존 작업 방식을 지키면서, AI는 보조적으로 활용하는 것이 핵심임."

"기술 발전을 통해 한 단계 발전한 것은 사실이지만, 아직 다음 단계에는 도달하지 못했음. 의사결정과 아키텍처는 여전히 사람이 맡아야 함."

"AI 혁명이 놀랍긴 하지만, 지금은 균형 잡힌, 현실적인 기대치가 필요함."