Books
생성 모델: MLP에서 디퓨전 트랜스포머까지
오토인코더에서 출발해 디퓨전 트랜스포머, 조건 걸기, 영상 생성까지
최적화: 경사하강에서 Muon 까지
미분과 근사에서 출발해 역전파, 2차 방법, Adam, Muon, μP, 최적 수송, 일반화까지
스펙트럼으로 보기: 에피사이클에서 구면 조화까지
같은 정보를 다른 축으로: 푸리에 급수와 에피사이클, 샘플링, 대칭과 구면 조화, 소리·그림·CG 렌더링·차원별 신호, 커널과 스펙트럼 편향까지
정보이론: 압축과 이해의 관계는?
짧게 적을 수 있으면 규칙을 안 것인가: 코드 길이와 최소 기술 길이, 주성분 분석과 희소 코딩, 레이트–디스토션과 코딩 레이트, 디노이징과 언롤드 최적화, 암기와 일반화, 그리고 압축의 한계
생성 모델의 강화학습: 확률적 앵무새에서 스스로 진화하는 지능체로의 도약
DPO에서 GRPO까지
정보기하학: 기계가 무언가를 알게 되는 두 가지 경로
확률분포를 점으로 보는 데서 출발해 KL 발산, 지수족, 피셔 계량과 곡률, 사영과 EM, 최적 수송, 자연 그래디언트까지
미분기하학: 고차원 공간을 이해하는 열쇠
문제에서 패턴으로, 패턴에서 정리로, 정리에서 정의로
동역학: 머신러닝의 기초를 쌓은 물리학 개념들
ML 입문자를 위해 ML 연구자의 눈으로 따라가는 고전역학과 통계역학