AI가 Stack Overflow에 끼친 영향을 그래프로 보기

Hacker News 의견들

• 모든 사회 조직은 의도적으로 포용과 배제의 경계를 설계해야 함
  StackExchange는 참여 장벽이 지나치게 높아 장기 사용자에게는 포용적이었지만 질문이 차단된 신규 사용자에게는 배타적이었고, 이런 방식으로 사이트를 서서히 죽였음. AI를 꺼리는 이들이 질문할 최적의 장소로 살아남을 수도 있었지만, 경영진이 사이트 곳곳에 AI를 밀어 넣으며 그들마저 떠나게 함. 나조차 SO 문화의 변덕과 강박을 익혔는데도 권한을 휘두르려는 사용자가 어떻게 오해할지 걱정돼 질문하기 어려웠음. 활동량은 최고 20만 7천 건에서 1,226건으로 줄어 약 99.41% 감소함

  • 규칙이 사이트 데이터의 품질을 보호한다는 명분 아래 독단적인 운영자가 통제하고 사용자를 배척할 도구를 제공했음. 모든 운영자가 그랬던 것은 아니지만 이런 문화가 사이트 전반에 퍼져 있었고 결과는 예상 가능했음
    컴퓨터와 무관한 전문 분야에서 정규 교육과 자격을 갖춘 뒤 관련 SE에 전문적이고 출처가 충실하며 일반인도 이해하기 쉬운 답변을 작성했고, 약 2주 만에 최고 기여자가 됐으며 10년 넘은 답변으로도 아직 점수를 받고 있음. 하지만 지식과 경력이 부족한 취미 활동가 운영자가 내 모든 문구를 트집 잡기 시작해 한 달 만에 참여를 중단함. 지식 기반의 유용성과 무결성은 지키지 못했어도 여러 사람의 자존심만큼은 확실히 보호한 셈임
  • 가장 큰 결함 중 하나는 질문을 ‘중복’으로 닫는 기능이었음. Google 첫 결과의 질문이 일부 답변만 받은 채 중복으로 닫혀 있고, 연결된 원문을 열어 보면 핵심적인 맥락 차이를 완전히 놓친 경우가 여러 번 있었음
    말기의 운영자들은 SO가 Google 검색 첫 결과라는 사실과, 악의적인 묵살을 수천 명이 보게 된다는 점도 파악하지 못했음
  • 2009년부터 계정을 사용했고 초기에 작성한 답변 하나가 추천 1천 개 이상과 평판 약 1만 점을 얻었지만, 나도 질문하면 똑같이 형편없는 대우를 받았음. 신규 사용자만의 문제가 아니었고 AI가 등장하기 훨씬 전에 기여를 중단함
  • 통제가 없었다면 Reddit과 다를 바 없었을 것임. 균형선을 넘었을 수는 있지만, 답변이 대체로 정확하고 실용적이며 교육적이었던 점, 사이트 점수가 실제 역량 신호가 되었던 점, 권한의 단계적 해제가 참여 방법과 문화를 익히도록 안내한 점은 만족스러웠음
    실제로 채용 담당 CTO가 우리가 사용하는 기술에 인기 있는 답변을 썼다고 알아본 적도 있음. 모든 문화가 좋은 것은 아니므로 공간의 문화를 관리하고 신규 사용자에게 가르치는 일도 중요함
  • Stack Overflow 전성기 무렵 들어와 질문이나 답변 없이 전문 검색 엔진처럼만 사용했음. 더 나은 수단이 나오자 바로 옮겼고 공동체를 직접 느껴본 적이 없어, 관료적으로 닫힌 질문도 배신감보다는 다시 검색해야 하는 번거로움으로 받아들였음

• SO는 공동체 형성을 원하지 않고 질문과 답변만 중요하다고 결정하면서 스스로 몰락을 불렀음. 더 나은 답변 수단이 등장하자 공동체가 없는 SO를 방문할 이유도 사라졌으며, 대화를 금지한 방침은 여전히 이해하기 어려움

  • 대화를 배제한 기본 발상 자체는 농담, 잡담, 움직이는 GIF 서명 사이에서 답을 찾아야 했던 포럼보다 SO를 매력적으로 만든 요소였고, 문제는 구현 세부 사항에 있었음
    댓글에는 평판이 필요하면서 답변은 “댓글이어야 한다”며 삭제했고, 두 상황의 동등성이 명확하지 않은데도 질문을 성급하게 중복 처리하는 등 수많은 작은 결정이 사용자를 몰아냄. 예컨대 자료형 A가 B의 하위 자료형이라 같은 답이 적용된다면, 그 하위 자료형 관계 자체가 답이지 중복 질문은 아님. 포럼에 가까운 신규 사용자 경로를 만들어 좋은 질문으로 다듬거나 기존 답을 찾도록 안내하고, 그 과정에서 나온 검색어를 검색 최적화에 반영했다면 적대감을 크게 줄일 수 있었음. 말기에 ‘Staging Ground’라는 단순하고 열등한 형태를 시도했지만 이미 늦었음
  • AI가 많은 이에게 새로운 SO 역할을 하기 시작했어도 SO에는 훌륭한 인간 기여자들이 있었음. 다른 곳처럼 AI를 도배해 인간을 없애기보다, 실제 인간 사이의 진정성 있는 상호작용을 육성하는 고유한 강점에 집중할 수 있었음. 하지만 돈 때문에 플랫폼을 상품화하는 길을 택함
  • 예전에는 답하거나 토론할 만한 재미있고 흥미로운 질문도 있었지만, 빠르게 단순 질문과 “코드 보내줘” 요청만 남게 됨
  • 예전에는 새 코드 골프 질문을 보려고 SO 첫 화면을 자주 찾았지만 이를 별도 포럼으로 옮기는 등 사이트에서 즐거움을 서서히 제거했음. 전문가용 사이트만 원했던 듯하지만, 마지막 보루마저 AI에 패한 지금은 방문할 이유가 없음
  • Reddit도 같은 길을 가고 있음. AI 생성물을 제거하려는 AI 운영 시스템이 프로그래밍, 전자공학, 보디빌딩, 용접, 기계 가공, 3D 프린팅 커뮤니티에서 내가 팔로우하던 주요 기여자들을 여러 명 삭제했지만 Reddit 관리자는 이를 알지 못함
    주거용 IP 제공업체와 OpenClaw로 대량 신고하면 어떤 계정이든 정지시킬 수 있다는 사람도 있음. 이제 유용한 글을 써도 누군가 “AI”라고 몰아붙이기 쉬움

• ChatGPT 출시 전이면서 SO가 Prosus에 매각된 뒤 시작된 활동량 감소를 다루는 댓글이 적어 놀라움. 인수 직전에는 수상한 성장 급증도 있었으며, ChatGPT 출시 시점까지의 활동을 분석하면 변화가 뚜렷하게 보임
  [1] Stack Overflow acquired by Prosus for $1.8 billion: https://techcrunch.com/2021/06/02/stack-overflow-acquired-by...
  [2] Prosus to acquire Stack Overflow for US$1.8 billion https://www.prosus.com/news-insights/2021/prosus-to-acquire-...

  • 매각을 원인으로 볼 필요는 없음. 지속적인 감소는 2016년부터 그래프에 명확히 나타나는데, ChatGPT 탓을 강조하는 이들은 그 이전 5년 이상의 하락을 편리하게 무시함
  • 제때 매각 차익을 실현한 것은 다행임
  • AI는 기존에 진행 중이던 쇠퇴를 가속했을 뿐이라는 해석이 더 가치 있음
  • 성장 급증이 2020년 중반을 뜻한다면, 그 시기에 있었던 다른 중대한 사건도 떠올려볼 만함

• Stack Overflow를 열었더니 “이 IP 주소에서 비정상적으로 많은 요청이 발생해 일시적으로 속도가 제한됐다”는 메시지가 나타남. 이것도 AI가 인터넷에 끼친 영향 중 하나임

• LLM은 이미 답변된 질문이라며 찾아내지 못한 나를 바보 취급한 적이 없음. SO는 스스로 무덤을 파고 들어감

  • 부정적인 일을 겪은 이들이 많지만 내게는 매우 긍정적인 순간도 있었음. 인터넷의 낯선 사람이 시간을 들여 질문을 이해하고 막힌 부분에 훌륭한 해법을 제시해, 혼자 프로젝트를 진행하던 중 격려와 사회적 연결을 느꼈음
    LLM이 빠르게 답을 주는 지금은 그런 기분 좋은 인간적 연결이 그리움
  • LLM은 틀린 답을 확신에 차서 내놓고, 곁가지 문제를 해결하느라 세 시간을 낭비하게 만들기도 함. SO 계정을 만들거나 질문·답변한 적은 없지만 필요한 답을 여러 번 찾아 바로 업무를 계속할 수 있었음
  • 중복 제거는 검색 결과가 동일한 답변 100개로 넘치지 않게 하는 선별 과정임. 바보 취급받았다는 느낌은 비합리적인 자기 인식이며, 실제 의도는 게으르게 운영자에게 일을 떠넘긴다는 뜻에 가까웠을 것임
  • 질문이 겉보기만 비슷하고 개념적으로는 전혀 달라도 중복으로 닫히곤 했음. 검색을 이미 했고 비슷해 보이는 다른 질문과 실제로는 다르다는 단서를 덧붙여 다시 물어도, 댓글 두 개와 반대 표 2개 정도만 받기 쉬웠음

• 그래프의 실제 정점은 2014년으로 AI가 본격화되기 10년 전이며, 그동안 소프트웨어 엔지니어 인력은 크게 증가함
  Stack Overflow는 존중받기 전에 배지를 얻어야 했던 낭만화된 구식 질의응답 포럼의 마지막 형태였음. 다행히 오늘날 새 프로젝트는 문서와 이슈 추적기가 훨씬 좋아졌고, 이제 AI도 이를 활용할 수 있는 듯함

  • 초기에 물어볼 만한 기본적인 초보 질문이 많았고 그 답변들이 계속 검색 결과에서 유효했기 때문에, 시간이 갈수록 아직 답하지 않은 유의미한 질문이 줄어 새 질문 수도 감소한 것이 자연스러움

• 유령 도시로의 붕괴가 충격적이지만 전부 AI 탓으로 돌리기는 어려움. SO의 보상 구조는 답변하며 똑똑하다는 기분을 느낄 만한 질문이 남아 있을 때만 작동했고, 그 샘이 마른 뒤에는 AI가 프롬프트 하나로 처리할 내용만 남았음. 역설적으로 AI는 SO를 수집해 앞서 나갈 발판을 얻음
  Wikipedia도 비슷하게 진화했지만, 형식상 무엇이 진실인지 결정한다고 느끼는 괴짜들의 봉건 독재 체제로 변하면서 그들에게 계속 참여할 유인을 줬음. SO에는 이들을 붙잡을 같은 유인이 없었음

  • 답할 가치가 있는 질문은 여전히 존재함. 다만 SO가 ChatGPT 이전부터 질문하려는 사람들을 모두 쫓아냈기 때문에 그곳에 올라오지 않을 뿐임
  • 무엇이 진실인지 결정하는 괴짜들의 봉건 독재라는 묘사는 학계가 태곳적부터 작동해 온 방식과 같음
  • 예전에는 이력서에 SO 링크와 평판 점수를 적던 시절도 있었는데 세상이 크게 달라짐
  • 그래프에 AI 도입 곡선을 겹쳐 보면 AI만 의심하는 데 회의적인 태도가 타당함

• Coding Horror를 읽었고 초고속 인터넷보다 프로그래밍을 오래 했지만 Stack Overflow 계정을 만들고 싶었던 적은 없음. 사이트를 직접 둘러본 적도 없이 늘 Google에서 들어와 답을 찾으면 떠났음
  인터넷 공동체의 모든 문제를 운영자가 해결해줄 것으로 보던 시대가 있었지만, 가상 평판을 위해 사소한 관료 놀이를 즐기는 이들이 결국 일반 사용자를 밀어낸다는 사실을 알게 됨. 특히 Reddit처럼 최저 수준에 맞추지 않고 일정한 품질 기준을 유지하려는 공간에서 더 심각했음

  • 정치가 모든 것을 망치는 듯함. 괴짜들은 한때 자신들이 정치를 초월했다고 생각했지만 그렇지 않음을 깨달았음. 여기서 정치는 인간을 대상으로 한 게임 이론의 다른 이름임

• SO는 이미 2017년부터 쇠퇴하고 있었던 듯함. Reddit, Discord, 웹 포럼 같은 유용한 대안이 2014~2015년 이후 SO에 타격을 줬고, AI는 고통을 끝내는 자비의 일격에 가까움

  • 그래프는 질문 수를 보여주므로 어느 시점에는 포화될 수밖에 없음. 내용의 90%가 이미 답변됐고, 새 질문 대부분은 새 프레임워크에서 나옴
  • 많은 문제는 해당 GitHub 프로젝트의 이슈 추적기에 직접 묻는 편이 더 합리적이었음

• Stack Overflow를 열었더니 유지보수 중이라고 했고, 새로고침하자 요청이 너무 많다며 IP를 차단했음. SO라면 이보다 나아야 함