생성형 AI 기초를 위한 작은 책: 직관적인 수학 입문서

생성형 모델의 주요 계열을 공통 수학 원리로 연결하는 입문서로, 최신 아키텍처를 망라하기보다 잠재변수, 우도, 변분 하한, 확산, 에너지 지형의 기초에 집중함 PCA와 오토인코더에서 출발해 확률적 잠재변수 모델과 VAE, 확산 모델로 이어지며, 뒤의 개념이 앞에서 익힌 수학 위에 쌓이도록 구성함 선형대수, 확률, 미적분 등 필요한 도구를 별도 사전 학습 장에 모으지 않고 모델을 이해하는 데 필요한 시점에 도입하며, 목적함수를 단계별로 유도함 가역변환과 확률의 연쇄법칙으로 우도를 계산하는 모델뿐 아니라, GAN과 에너지 기반 모델처럼 명시적인 우도 계산에 의존하지 않는 학습 방식도 범위에 포함함 현재 원고는 시각적 설명을 보강한 두 번째 프리프린트로 여전히 작업 중이며, 학습과 인용은 가능하지만 상당량의 복제나 파생 교육 자료 제작에는 원칙적으로 허가가 필요함 수학적 기반에 집중하는 입문서 생성형 AI의 빠른 발전 아래에는 잠재변수, 우도, 변분 하한, 가역변환, 확률적 잡음 추가 과정, 스코어 장, 적대적 비교, 에너지 지형이라는 비교적 적은 수의 수학 원리가 있음 수학에 관심 있는 연구자, 실무자, 학생이 기본 원리부터 생성형 모델링을 이해하도록 돕는 것이 목표임 모든 현대 아키텍처, 구현 세부사항, 최첨단 개선 기법을 나열하지 않음 제목의 ‘작은’은 깊이보다 범위가 제한적이라는 뜻이며, 선택한 주제는 수학적 구조가 드러나도록 신중하게 전개함 연구 최전선의 독자에게는 익숙한 내용일 수 있지만, 모델을 블랙박스 조리법으로 다루지 않고 수학적 논리를 명확히 연결함 참고문헌은 대규모 문헌 조사보다 주요 역사적 연결과 기술적 연결을 뒷받침하는 데 초점을 맞춤 필요한 순간에 수학을 도입하는 학습 흐름 엄격한 역사적 순서 대신 앞선 개념을 바탕으로 다음 모델을 이해하는 순서를 따름 선형대수, 확률, 미적분, 가우스 분포 계산, 밀도 변환 도구를 모델 설명에 통합함 긴 사전 복습 대신 각 도구가 필요한 지점에서 도입하거나 복습함 개괄적인 설명에 필요한 수준보다 많은 유도 과정을 담아 수학적 목적함수와 모델링 직관을 연결함 PCA와 오토인코더로 선형변환, 투영, 재구성, 잠재 구조를 익힌 뒤, 확률적 PCA를 통해 잠재변수 생성 모델로 넘어감 확률적 잠재변수를 바탕으로 증거 하한(ELBO), 기댓값 최대화 알고리듬(EM), 변분 추론을 도입하고 변분 오토인코더(VAE)로 확장함 확산, 정확한 밀도 계산, 우도 밖의 학습 잡...