Search

Statistical Learning [3] - 비선형 모형 (스플라인)

Properties
Lecture
Non-parametric
Reference
ISLR, ELS
Author
Kipoong Kim
Date
2021/02/25
Link
Empty
Created
3/12/2021, 1:08:00 PM
Tags
Empty

Title: Data Mining: From Concepts To Modern Applications : [3] Supervised Learning - Piecewise Polynomials & Splines

Piecewise Polynomials and Splines

Piecewise Polynomials : Non-linear Relationship

Linear Regression은 X와 y 간 선형적 관계만을 설명할 수 있기 때문에, 증가하다가 감소하는 비선형적 관계에는 적합하지 않음.
이를 위해서, 가장 직관적인 방법은 데이터의 구간을 나누어서 회귀직선을 여러번 적합하면 될 것임.

Piecewise Polynomials: Two Problems

Piecewise polynomial: 1차, 2차, 3차, ... 등의 polynomial을 각 구간마다 적합하는 방법. 이 때, 각 구간은 knot이라는 경계점을 기준으로 함
Piecewise polynomial으로는 (1) Continuity와 (2) Differentiability 문제가 발생할 수 있음
따라서, 우리는 d차 piecewise polynomials + 2 constraints (continuity and 1st, ..., (d-1)th derivatives)을 만족하는 모형을 적합하고자함.

Piecewise Polynomials: Piecewise Cubic Spline

Piecewise Cubic Spline: 각 구간마다 3차 직선을 적합하는 것.
Linear Spline은 Continuity는 만족하나 Differentiability가 만족하지 않기 때문에 매끄럽지 않음. 반면, Cubic Spline은 "연속 → 1차 미분 연속 → 2차 미분 연속" 순으로 갈수록 매끄러운 적합 결과.

Piecewise Polynomials: How to choose the locations of the knots

Knots 위치를 선택하는 방법
(1) 도메인 지식을 바탕으로 하는 Heuristic approach
(2) Density-based approach

Piecewise Polynomials: How to choose the number of the knots

Knots 개수를 선택하는 방법
(1) 도메인 지식을 바탕으로 하는 Heuristic approach
(2) Cross Validation

Piecewise Polynomials: Natural Cubic Spline

Cubic Spline은 outer range에서 추정 분산이 매우 커지는 문제가 발생함 > 그에 따라, outer range에서는 linear spline을 사용하는 것이 권장됨. >> 이를 "Natural Spline"이라고 부름 >> 따라서, Outer Range에서 Linear line을 사용하는 Cubic Spline을 "Natural Cubic Spline"이라고 부름.

Piecewise Polynomials: Natural Cubic Spline vs Polynomials

Degrees of Freedom (DF) : 모형의 복잡도를 나타내는 지표
동일한 모형 복잡도 (DF)를 갖는 두 모형 Natural Cubic Spline과 15차 Polynomials를 비교한 결과, polynomial curve보다 Natural Cubic Spline은 매우 안정적인 모습을 보임.

Piecewise Polynomials: Smoothing Spline

(Knot 포인트를 선택하는 문제를 피하기 위해?) 새로운 접근방법이 제안됨. > 기존의 Linear Regression의 Goodness-Of-Fit + Roughness 패널티를 사용함. >> Roughness 패널티로 "모든 domain 영역에서 '함수의 2차미분 (기울기의 변화량)'의 총량"을 사용함 >> Roughness 패널티 - 함수가 급변할수록 큰 값을 가짐.
Smoothing parameter λ\lambda는 0을 주는 경우, Roughness 패널티와 상관없이 f(Xi)=yif(\boldsymbol{X}_i) = y_i를 사용할 것임. λ\lambda가 무한대로 가는 경우, Roughness 패널티을 최대한 줄이는 방향으로 적합이 이루어지며, 그 결과 roughness가 없는 모형 linear line이 적합됨.
알고보니 Smoothing Spline은 모든 지점 x1, ..., xn 에서 knot 포인트를 가지며 shrinkage를 포함하는 natural cubic spline과 동일한 것으로 나타남.

Piecewise Polynomials: How to choose λ\lambda in Smoothing Spline

기존의 n번 반복을 해야하는 LOOCV가 다음의 매우 간단한 수식으로 표현가능함. > 이에 따라, Smoothing Spline은 LOOCV를 이용하면 계산 효율적으로 CV error를 계산 가능함.

Piecewise Polynomials: Comparison with different λ\lambda values

λ\lambda value에 따라 Underfitted model → Overfitted model이 적합됨. > CV Error를 최소화하는 Lambda value를 통해 최적의 smoothing spline fitting을 구할 수 있음.
Follow me on Facebook and Github. Thank you
TOP