머신러닝 Minimize cost

Cost Function  

앞서 배운것 linear Regression 의 목표는 우리가 가지고 있는 W,b를 가지고 cost minimize 하는것이다. 

 

간단한 hypothesis 를 만드는 식을보자 

그러다면 cost(W) 는 어떻게 보일까? 

 

 

 

 

Gradient descent algorithm 

수식:

최소화 하는데 있어서 가장 많이 쓰이는 알고리즘이다. 

 

 

 

주어진 cost function 에 minimize 를 사용한다. 

아무지점이나 시작할수 있다. 

W가 0일때 시작할수도 있다. 

W를 조금 바꾸면서 cost 를 줄일수있다.

그 과정을 반복하는것이다. 

어떠한 점에서 시작하는 간에 최저점에 도달할수있는 과정이다. 

 

Convex function  : cost(w,b) 식으로 쓴다면 어느 시점에 시작을 하더라도 항상 답을 찾아서 가져다 준다. 

코스트펑션을 설계할때 무조건적 convex function 이 되는지 확인해야한다. 

linear 을 하기전에 cost 가 convext function 인지 보고 확인을 하고 문제없이 gradien descent algorithm 을 사용할수 있다.