Human Learning

Machine Learning Chapter 2

 
  • 2015년 04월 06일

Pattern Recognition and Machine Learning (이하 PRML) 2장을 읽고 있는데 진도가 잘 나가지 않습니다. 취업하고 회사일이 바빠서라고 핑계를 대보지만 부끄럽습니다. -_-; 우선 현재까지 봤던 내용이라도 키워드부터 우선 나열해봅니다.

Keywords

  • density estimation
  • i.i.d.: independent and identically distributed
  • parametric distribution: Gaussian Distribution과 같이 데이터 양에 상관없이 고정된 parameter를 갖는 분포
  • nonparametric distribution: Latent Dirichlet Allocation과 같이 데이터의 사이즈에 따라 parameter의 갯수가 변하는 분포
  • conjugate prior: 아래의 수식에서 prior * posterior의 분포가 prior가 되도록 하는 prior distribution
\[\begin{align*} posterior \propto likelihood \times prior \end{align*}\]
  • Bernoulli distribution
  • sufficient statistic
  • binomial distribution
  • beta distribution
    • beta prior * binomial likelihood 는 beta distribution
    • 즉, beta distribution은 binomial distribution에 대한 conjugate prior
    • i.i.d.로 가정한 데이터가 주어졌을 때 순차적으로 학습할 수 있음
  • hyper parameters

약 50여 페이지를 더 봐야하는데 진도가 나갈때마다 키워드라도 정리해야겠습니다 … 모두들 굿나잇 ;)

검색