몇 달 동안 예전 방식으로 코딩하는 중

• 코드베이스 학습과 문제 해결 감각을 되찾기 위해, 코딩 에이전트 중심 작업에서 벗어나 손으로 코드를 작성하는 시간에 몇 달을 투입 중
• 코딩 에이전트는 빠른 반복과 동작하는 소프트웨어 출시에 유용했지만, 원하는 바가 불명확할 때 많은 가정을 대신 수행해 학습량과 코드 감각이 줄어드는 경험 존재
• Recurse Center에서 직접 Transformer를 작성하며 LLM을 처음부터 다시 배우고, Python 직관과 컴퓨터의 여러 추상화 계층에 대한 이해도 함께 강화 중
• Stanford CS336 과제를 LLM의 코딩 도움 없이 수행하며 토크나이저, GPT-2 스타일 아키텍처, Tiny Stories와 OpenWebText 기반 실험까지 진행했고, Unix·Vim·Clojure·페어 프로그래밍도 병행 중
• 뛰어난 프로그래머일수록 AI 활용 능력도 높았다는 관찰과 함께, 장기적으로는 에이전트를 더 잘 쓰기 위해서도 손으로 코딩하는 장인적 훈련이 중요하다는 판단

LLM과 코딩 경험

• Aily Labs에서 지난 2년간 AI 에이전트를 구축했고, 2024년 초 내부용 웹 검색 에이전트도 개발한 경험
  • Anthropic의 Building Effective AI Agents보다 약 6개월 앞섰고, OpenAI의 DeepResearch보다 1년 앞선 시점이라는 언급
  • Cursor의 조기 활용, LLM 기반 지식 그래프 활용, 새로운 접근법을 지속적으로 실험한 경험 포함
• 주간 저널 클럽을 이끌며 오픈소스 LLM 구축 논문들을 다뤘고, DeepSeek R1, Ai2의 Olmo 3, Meta의 Llama 3 논문 발표 경험
  • 내부 모델 학습과 SOTA 폐쇄형 모델 기반 워크플로 사이의 트레이드오프를 이해하는 데 도움이 된 경험
  • 2023년 처음 LLM을 사용한 뒤 작동 원리와 적용 방식에 대한 호기심이 계속 이어졌다는 언급

코딩 장인의 핵심 요소

• 손으로 코드를 작성할 때는 원하는 것을 구현하는 일과 함께 코드베이스 학습도 동시에 일어났다는 인식
  • 반면 코딩 에이전트를 쓰면 프롬프트에 지정한 결과를 그대로 얻었고, 원하는 바가 정확하지 않을 때는 에이전트가 많은 가정을 대신 수행했다는 경험
  • 그 결과 배우는 양이 줄고 코드베이스에 대한 충분한 감각을 갖기 어려웠다는 판단
• 동시에 코딩 에이전트는 빠른 반복과 동작하는 소프트웨어 출시에 도움을 줬고, 테스트 이후 실용성도 높았다는 평가
  • 또한 훌륭한 튜터 역할도 했다는 언급
• Cal Newport의 글에서 사고와 장인성의 관계를 운동과 건강의 관계에 비유한 대목에 공감한 경험
  • “명확한 메모나 보고서를 작성하기 위한 부담은 제거해야 할 성가심이 아니라 장인의 핵심 요소”라는 인용 포함
  • 같은 원리가 코드 작성에도 적용된다는 관점
• 함께 일한 뛰어난 프로그래머들은 대체로 AI 활용 능력도 뛰어났고, 더 깊은 지식이 이 도구에 대한 더 큰 지렛대를 제공했다는 관찰
  • 에이전트를 프로덕션에 배포하는 일상 속에서도 학습은 계속됐지만, 항상 바빠서 배우지 못한 코딩 및 컴퓨터 개념 목록이 점점 늘어났다는 언급
• 미국으로 돌아가야 하는 시점이 오면서, 이 주제에 집중하기에 Recurse Center가 적절한 장소라는 판단

코드 리트릿이란 무엇인가

• Recurse Center는 Brooklyn의 자기주도형 풀타임 프로그래밍 리트릿
  • 지원 절차와 코딩 인터뷰 이후 참가자들은 각자 프로그래밍 목표를 가지고 입장해 6주 또는 12주 동안 프로그래밍 진행
• 협업성이 주요 특징이며, 수십 년 경력의 프로그래머들과 다양한 전문성을 가진 동료 코호트와 함께하는 환경 강조
  • 무료 프로그램이라는 점도 특징

Recurse Center에서의 목표

• 처음부터 LLM 학습

  • 사전학습과 사후학습을 포함해, 미리 만들어진 코드베이스를 포크하는 대신 직접 Transformer를 작성하는 목표

• Python을 손으로 더 잘 쓰기

  • 몇 년간 Python으로 일했지만 여전히 배울 것이 많다고 느끼며, 문서 참조나 LLM 질문을 최소화하고 프로젝트 구성에 대한 직관을 키우고 싶은 목표

• 컴퓨터를 더 깊이 이해하기

  • 컴퓨터가 여러 추상화 계층에서 동작하는 매우 복잡한 기계라는 인식
  • 정규 Computer Science 교육을 받지 않았기 때문에, 계층들이 어떻게 함께 작동하는지에 대한 더 나은 정신 모델을 만들고 싶은 목표
  • 구체적 계획은 많지 않지만 RC가 적합한 장소라는 판단

진행 상황

• 처음부터 LLM 학습

  • Stanford의 CS336: Language Modeling from Scratch 첫 과제를 LLM의 코딩 도움 없이 수행한 경험
    • 50페이지 분량 과제였고, 다른 Recurser와 함께 Python으로 최적화된 토크나이저를 작성한 뒤 PyTorch로 업그레이드된 GPT-2 스타일 아키텍처를 구축
    • Tiny Stories 데이터셋에서 여러 ablation을 실행해 하이퍼파라미터를 조정했고, 이후 약 90억 토큰 규모 OpenWebText 데이터셋에 해당 하이퍼파라미터 적용
  • 이후 과제로 언어 모델 최적화, 스케일링 법칙 추정 및 계산, 원시 텍스트의 사전학습 데이터 변환, 모델 사후학습까지 진행할 계획
    • 두 번째 과제는 GPU 프로파일링과 Triton으로 FlashAttention2 구현 포함
    • 과제 핵심 부분을 마친 뒤 자체 모델 post-train 목표

• Python을 처음부터 더 잘 쓰기

  • 연습을 위해 Python 또는 PyTorch로 작은 에이전트와 신경망을 많이 작성 중
  • 가장 큰 도움이 된 요소는 10년 이상 Python으로 일한 사람들과의 페어 프로그래밍 경험
    • 상대가 문법이나 연산을 정확히 기억하지 못할 때, 터미널을 열고 아주 단순한 예제를 직접 입력해 빠르게 반복 확인하는 방식을 익힌 사례
    • 보통 1분 이내에 동작 여부를 검증했고, Google 검색이나 LLM 질문 없이 해결했다는 관찰
    • 이 과정을 근육 기억으로 만드는 일이 막힘에서 더 빨리 벗어나는 데 도움을 줬다는 언급
  • 단순 프로젝트나 Advent of Code 같은 문제를 계속 페어 프로그래밍으로 진행하고 싶은 생각
    • 누군가와 실시간으로 작업하는 일은 처음에는 긴장됐지만, 바로 그 점 때문에 진전이 컸다는 체감

• 컴퓨터를 더 깊이 이해하기

  • 1983년 Apple IIe에서 BASIC으로 고전 함수 fizzbuzz를 작성한 경험
    • 당시 컴퓨터의 코드 편집과 실행 과정은 훨씬 수동적이었지만, 동시에 기본적으로는 비슷하다는 점을 확인한 경험
  • 자신의 Unix/터미널 기술 부족을 느껴 CTF Fridays에 참여
    • Bandit와 다른 “war games”를 터미널로 풀며 비밀번호를 수집하고 레벨을 올리는 방식의 Unix 및 컴퓨터 보안 관련 도전 과제 수행
    • 이제 Claude Code가 자신의 컴퓨터에서 무엇을 실행하려 하는지 꽤 잘 감이 온다는 언급
  • AI 교재를 넘기다 본 단일 계층 퍼셉트론을 하루 동안 Vim만으로 직접 코딩한 경험
    • 처음에는 특히 힘들었지만 다른 Recurser에게서 팁과 단축키를 배웠다는 언급
    • 클라우드 GPU에서 학습 작업을 실행할 때 파일을 급히 수정해야 하는 상황에서 매우 유용해졌다는 서술
  • Clojure 워크숍 참여 경험
    • 15년 이상 Clojure를 사용한 사람이 진행했고, Clojure가 함수형 언어라 관련 경험이 많지 않은 상태에서 흥미로웠다는 언급
    • 짧은 소개 뒤 모두가 함께 문제를 풀고, 각자 1~2분씩 해결을 진전시키는 mob programming 방식 포함
  • 주간 기술 발표 세션은 매우 다양한 주제에 노출되는 기회라는 평가
    • 5분 발표 형식이라 지루하지 않을 만큼 짧고, 동시에 의미 있는 것을 배울 수 있을 만큼 빠르다는 특징
    • 예시 제목으로 “Running Rust Code”, “GPUs for Dummies”, “Typesafe APIs for Type B Personalities”, “Some Useless Agents” 제시
    • 직접 진행한 발표는 단순 에이전트 아키텍처, MCP 도구의 효율적 스케일링, 그리고 예정된 GPU 최적화 방식 발표 포함
  • 다른 사람들의 프로젝트와 경력에 대한 이야기만 듣는 일도 컴퓨터가 해결할 수 있는 문제 공간을 이해하는 데 매우 가치 있었다는 언급

남은 6주

• 곧 다시 에이전트를 프로덕션에 배포하고 eval을 돌리게 되겠지만, 그때는 새로운 기술과 요령을 갖춘 상태일 것이라는 기대
• 현재 RC에서 6주가 더 남았고, 목록에 있는 모든 것을 끝내기에는 충분하지 않을 수 있다는 걱정
  • 실제로 다 끝내지는 못할 것이라는 인정
• 그럼에도 RC의 장점은 목록을 전부 지우는 데 있다기보다, 코딩에 시간을 쓰는 일 자체에 있다는 결론

각주와 말미 언급

• 2023년 LLM을 처음 접했을 때 큰 충격을 받은 이유로, 몇 년 전 일본에서 일본어를 풀타임으로 공부하며 매우 어려움을 겪었는데 컴퓨터 모델이 그것을 해낸 것처럼 보였다는 개인적 맥락 제시
  • 당시 환각이 있거나 수학을 제대로 못했더라도 여전히 놀라웠다는 언급
• CS336 첫 과제 수행 중 2~3개의 버그는 약 20분 디버깅 후 Claude에게 조언을 구했지만, 대부분의 디버깅은 손으로 했다는 각주
• 마지막 댓글에는 6개월 전부터 코딩과 검색 모두에서 LLM을 전혀 쓰지 않고, 대신 원문 문서와 테스트 픽스처를 사용한다는 반응 포함
  • 해당 실천에 대한 호감과 글 작성에 대한 감사 표현 포함