Support Vector -based anomaly detection

• 정상 데이터의 영역을 정의하는 함수를 학습하고 새로운 데이터에 대해서 이 함수를 적용하여 정상/이상치를 탐지함
• 밀도 기반 이상치 탐지, Auto-Encoder기반 이상치 탐지와 달리 Support Vector 계열의 이상치 탐지는 명확하게 정상 영역과 이상치 영역을 구분하는 구분 경계선을 찾는 것이 목적임
• 1-SVM : kernel trick을 통해 고차원으로 변환된 feature space에서 원점에서 부터 가장 멀리 떨어진 초평면 (hyper plane)을 찾는다. 그 초평면 보다 바깥쪽에 정상 데이터가 위치하도록 설계하고, 초평면 보다 안쪽에 위치한 데이터를 이상치로 판별 할 것임. 1-SVM은 이러한 초평면을 찾는 것이 목적임
• SVDD : 중심을 기준으로 해서 모든 정상 데이터를 감싸 안을 수 있는 초구(hyper sphere)를 찾을 것임. 그 후 초구 내부에 있으면 정상 데이터 , 초구 밖에 있으면 이상치 데이터로 판별할 것임. SVDD는 이러한 초구를 찾는 것이 목적임

One - class support vector machine (1-SVM)

• 원점에서 가장 멀리 떨어진 초평면 (hyperplane)을 찾고 이 초평면 밖에 모든 정상 데이터가 존재하도록 학습
• 최적화 문제

$$ min_w \,  \frac{1}{2}  \parallel w \parallel^{2}  +  \frac{1}{ \nu l}  \sum_{i=1}^l  \xi_{i} -  \rho \\ s.t \, \, \,  w * \Phi (x_{i})  \geq   \rho  -  \xi _{i} \\ \\ \\i = 1,2,...,l, \,\,\,   \xi _{i} \geq 0 $$

$$ 단,\,\, \xi _{i} : 페널티, \,\,\, \rho : 원점과 \, 초평면과의 \, 거리 , \, \, \, 0< \nu <1, \,\,\, l: 정상 \,데이터의 \,관측치 $$

• Decision function

$$ f(x_i)  = sign(w* \Phi (x_{i}) -  \rho ) $$

• 해석

$$ min_w \, \frac{1}{2} \parallel w \parallel^{2} + \frac{1}{ \nu l} \sum_{i=1}^l \xi_{i} - \rho \\ $$

첫번째 항: regularization term, 두번째 항: 원점으로부터 초평면의 식에 대해서 최소한의 페널티를 받아라

세번째 항: 원점에서 초평면까지의 거리는 최대한 멀리 떨어지도록 해라

$$ s.t \, \, \, w * \Phi (x_{i}) \geq \rho - \xi _{i} $$

원점부터 초평면까지의 거리가 모든객체에서 rho보다 커야 하는것이 원칙이지만 이 조건을 만족못하면 페널티를 받는다