공부/ML
-
[Machine Learning] Local Minima(Local Minimum) 의 존재확률적 관점공부/ML 2019. 11. 18. 18:01
머신러닝을 공부하고 다양한 예제를 작성하다 보면 몇몇 상황에서 원하지 않는 결과가 나오는 상황을 볼 수 있다. 이유야 다양하지만(learning step, data의 특성, 나의 실력) 이번에는 Local minimum에 대한 것을 살펴보자. (바쁜 당신을 위해 빠른 진행) 일반적으로 cost function을 최소화하기 위해서 열나게 모델을 작성한다. 위 같은 경우 크게 문제없이 최적의 값(w)을 찾아낼 수 있다. 심플하게 사람이 저기에서 걷는다고 했을 때, 아무 생각 없이 오르막길 나올 때까지 걸으면 끝이다. (우측 그림의 unregularized에 대해서는, 이 글에서 자세히 다루지 않지만, 데이터의 변수 간의 분포가 일정하지 않을 경우, 우측 그림과 같이 찌그러지게 되는데, 이 경우 oversho..
-
[Machine Learning] cost function - 왜 제곱을 사용하는 것일까?공부/ML 2019. 10. 23. 17:51
머신러닝을 공부하다 보면 COST 함수에 대한 내용을 접하게 된다. INPUT 값에 대한 기댓값으로 얼마가 나오겠지...라는 예측과 차이의 정도를 반환하는 함수로, 이 값이 작으면 작을수록 정확하게 예측했다고 판단할 수 있다. 식을 보게 되면 예측값 [ x(i) ], 정답 [ y(i) ] 의 값의 차이를 제곱하고 있는 것을 확인할 수 있다. 이에 대해서 "예측값과 정답의 차이가 크다면 더욱 더 weight를 가해서 좀 더 정확한 modeling을 하기 위해서 제곱 값을 적용한다."라고 흔히들 많이 설명한다. 맞는 말이다. 하지만... 왜 하필 제곱을 사용하는 것일까? 예측값과 다른 것이 문제가 되어서 사용한다면 왜 3 제곱, 4 제곱... 100 제곱을 사용하면 되는 게 아닐까? 그럼 더 정확해지지 않을..