Kernel Density Estimation - Parzen Window

리마인드

Gaussian Density estimation 기반 이상치 탐지

• 정상 데이터가 모두 하나의 가우시안 분포로부터 생성되었다는 가정하에서 데이터를 통해서 하나의 가우시안 분포의 평균벡터와 공분산 행렬을 추정해서 데이터의 확률밀도함수를 추정한다.
• 이후, 새로운 데이터가 들어왔을 때, 우리가 추정한 밀도함수를 바탕으로 해당 데이터의 생성 확률을 구한 뒤, 그 확률이 일정 수준보다 낮으면 이상치로 판별함

Mixture of Gaussians 기반 이상치 탐지

• ‘모든 데이터는 하나의 가우시안 분포로 부터 생성되었다’라는 가우시안 분포의 엄격한 가정을 완화함
• 두 개 이상의 가우시안 분포로 부터 데이터가 생성되었다고 가정함
• 실제 데이터의 확률 밀도함수는 여러 가우시안 분포들의 혼합이다
• 각 가우시안 분포의 결합 가중치, 평균벡터, 공분산행렬이 우리가 추정해야 할 값들임
• 데이터를 가장 잘 설명할 수 있는 가우시안 분포의 갯수를 찾는 과정에서 Expectation-maximization Algorithm이 최적화에 사용됨

⇒ Mixture of Gaussians에서 보다 가정이 완화된 이상치 탐지 기법: Kernel- density Estimation

Kernel-density Estimation

• Mixture of Gaussians의 가정이 더욱 완화되어 데이터가 특정분포( 예: 가우시안)을 갖는다는 가정없이 주어진 데이터로부터 주변의 밀도를 추정하는 방식

비모수적 방법인 kernel density estimation을 통한 데이터의 확률밀도 함수 추정

                                                                                                  ⇒ kernel함수로 가우시안을 썼을
                                                                                                       때 분포가 smooth함