[머신러닝] 머신러닝으로 전환하기 / 선형 회귀(Linear Regression), 학습 및 손실

글 작성자: 택시 운전사

머신러닝으로 전환하기

학습 목적

선형 회귀에 관한 지식을 상기
머신러닝에서의 가중치와 편향이 선형 회귀에서의 기울기 및 오프셋과 어떤 관계를 갖는 지 설명
'손실'의 일반적인 개념과 그 중 특별히 제곱 손실에 대해 설명

선형 회귀(Linear Regression)

점 집합에 가장 잘 맞는 직선 또는 초평면을 찾기 위한 가장 간단한 데이터 학습 방법

손실 함수

주어진 예의 L₂ 손실은 제곱 오차라고도 합니다.

= 예측과 라벨 간의 차이 제곱

= (관찰 - 예측)²

= (y - y')²

선형 관계에서의 데이터에 대한 근사치고 하나의 직선을 그린다면 일반적으로 이렇게 표현됩니다.

y^{'} = b + w_{1} x_{1}

여기서

하지만, 머신러닝의 관습에 따라 모델의 방정식을 약간 다르게 작성하게

y^{'} = b + w_{1} x_{1}

여기서

새로운 분당 우는 횟수 $x_{1}$ 에서 온도 $y^{'}$ 를 추론(예측)하려면 $x_{1}$ 값을 이 모델에 삽입하기만 하면 됩니다.

아래 첨자(예: $w_{1}$ , $x_{1}$ )는 여러 특성에 의존하는 좀 더 정교한 모델을 예시합니다. 예를 들어 세 가지 특성에 의존하는 모델은 다음과 같은 방정식을 사용합니다.

학습

라벨이 있는 데이터로부터 올바른 가중치와 편향값을 학습하는 것, 지도 학습에서 머신러닝 알고리즘은 다양한 예를 검토하고 손실을 최소화 하는 모델을 찾아봄으로써 모델을 만들어내는데, 이 과정을 경험적 위험 최소화라고 한다.

손실

잘못된 예측에 대한 벌점, 모델의 예측이 얼마나 잘못되었는 지를 나타내는 수이다. 예측이 완벽하면 손실은 0이고 그렇지 않으면 손실은 그보다 커지게 된다. 모델 학습의 목표는 모든 예에서 평균적으로 작은 손실을 갖는 가중치와 편향의 집합을 찾는 것

제곱 손실

제일 잘 알려진 손실함수

평균 제곱 오차(MSE)는 예시당 평균 제곱 손실입니다. MSE를 계산하려면 개별 예의 모든 제곱 손실을 합한 다음 예의 수로 나눕니다.

M S E = \frac{1}{N} \sum_{(x, y) \in D} (y - p r e d i c t i o n (x))^{2}

여기서

는 예이며, 다음과 같습니다.
- $x$ 는 모델이 예측하는 데 사용하는 특성 집합(예: 온도, 나이, 짝짓기 성공률)입니다.
- $y$ 는 예의 라벨(예: 분당 우는 소리)입니다.
$p r e d i c t i o n (x)$ 은 특성 집합 $x$ 과 결합된 가중치 및 편향의 함수입니다.
$D$ 는 $(x, y)$ 쌍과 같이 여러 라벨이 있는 예가 포함된 데이터 세트입니다.
$N$ 은 $D$ 에 포함된 예의 수입니다.

MSE는 머신러닝에서 흔히 사용되지만, 모든 상황에서 최선인 유일한 손실 함수는 아닙니다.

y^{'} = b + w_{1} x_{1} + w_{2} x_{2} + w_{3} x_{3}

[머신러닝] 학습 및 테스트 세트 (0)	2018.12.24
[머신러닝] 일반화(Normalization) / 과적합(Overfitting)의 위험 (0)	2018.12.24
[머신러닝] 손실 줄이기 / 반복 방식, 경사하강법(Gradient descent), 학습률 (0)	2018.12.24
[머신러닝] 머신러닝으로 문제 표현하기 / 머신러닝 용어 정리 (0)	2018.12.24
[머신러닝] 머신러닝 소개 (0)	2018.12.24

댓글