Regularization,Lasso ,라쏘,regression_Day23(3)

커리큘럼 상에는 Ridge regression 만 있었지만

조금만 욕심을 더 내서 Lasso 와 Elastic Net 도 한번 알아보도록 하자

 

Lasso Regression은

Ridge랑 매우 매우 매우 비슷하지만 아주 아주 아주 중요한 차이점이 있다고 한다

Ridge Regression : khalidpark2029.tistory.com/77

Regularization,Ridge,릿지,regression_Day23

---

Lasso Regression은 Ridge Regression 계산식에서 약간의 변형

(제곱이나 절대값이냐의 차이)

 

Ridge 와 Lasso 의 차이점은

ridge regression can only shrink the slope asymptotically close to 0 while Lasso regression can shrink the slope all the way to 0

ridge는 기울기를 점근적으로 0에 가깝게만 축소 할 수있는 반면,

Lasso는 기울기를 0까지 줄일 수 있다.

 

 

Size 에 영향을 주는 4개의 변수가 있다고 가정할때

Weight , High Fat Diet 는 size에 영향을 주지만

Sign , Airspeed of Swallow 는 size에 영향을 주지 않는 변수라 가정하자

 

 

람다 값이 커지면 쓸모없는 변수의 계수는 0으로 내려가지만 , '0'이 되지는 않을것이다

 

하지만 Lasso 에서는 쓸모없는 변수의 계수는 0이 된다

 

쓸모없는 특성값을 0으로 만들어 줄수 있느냐(Lasso) 와 0에 가까이 가게 해주느냐(Ridge)의 차이이며 결국

쓸모없는 variables 많이 포함한 경우 Lasso 모델이 Ridge 모델보다 조금 더 효율적이다

 

 

더블 BAM!!

 

 

출처 : youtu.be/NGf0voTMlcs