혼공머신 3차시 _ 다양한 분류 알고리즘

Ch.04-1 로지스틱 회귀

로지스틱 회귀

 - 선형 방정식을 사용한 분류 알고리즘

 - 선형 회귀와 달리 시그모이드나 소프트맥스 함수를 사용하여 클래스 확률 출력 가능

다중 분류 - 타깃 클래스가 2개 이상인 분류 문제 ( 로지스틱 회귀 : 다중 분류 위해 소프트맥스 함수 사용해 클래스 예측 )

시그모이드 함수 - 선형 방정식의 출력을 0과 1 사이의 값으로 압축해 이진 분류를 위해 사용

소프트맥스 함수 - 다중 분류에서 여러 선형 방정식의 출력 결과를 정규화하여 합이 1이 되도록 함

 

Ch.04-2

확률적 경사 하강법

 - 훈련 세트에서 샘플 하나씩 꺼내 손실 함수의 경사를 따라 최적의 모델을 찾는 알고리즘

 - 미니배치 경사 하강법 : 샘플을 하나씩 사용하지 않고 여러 개를 사용

 - 배치 경사 하강법 : 한 번에 전체 샘플을 사용

손실함수

 - 확률적 경사 하강법이 최적화할 대상

 - 문제에 잘 맞는 손실 함수가 이미 정의됨( 이진분류 : 로지스틱 회귀 / 이진 크로스엔트로피 손실 함수 사용,

다중 분류 : 크로스엔트로피 손실 함수 사용, 회귀 문제 : 편균 제곱 오차 손실 함수 사용 )

에포크 - 확률적 경사 하강법에서 전체 샘플을 모두 사용하는 한 번 반복을 의미 ( 일반적으로 경사하강법 알고리즘은 수십에서 수백 번의 에포크 반복 )