경사 하강법으로 손실 값을 최적화(optimization)하기 위한 최적화 알고리즘(optimizer)은 다양하며 대표적으로 세 가지 정도의 변형이 있으며, 목적 함수의 기울기 계산에 사용하는 데이터의 양이 다름 데이터의 양에 따라 최적인 최솟값을 찾는 정확성과 최솟값을 찾는 데 걸리는 시간 간의 균형을 맞추기 위해 다른 방법들을 적용할 수 있음 배치 경사 하강법 (Batch Gradient Descent, Vanilla Gradient Descent) 경사 하강법을 위한 기울기를 계산할 때, 모든 학습 데이터셋을 사용하여 손실(loss)을 계산한 뒤 손실이 최소가 되도록 모델의 가중치(기울기)를 업데이트 하는 방법 해당 방법에서 배치(batch)란 일부 데이터가 아닌 학습에 사용되는 전체 데이터를 의미..

경사하강법은 주어진 수학 함수의 최소값/최대값을 찾는 데 사용되는 반복적인 1차 최적화 방법 ※ 수학에서 최적화(optimization)의 의미 : 특정 집합 위에서 정의된 실수값, 함수, 정수에 대해 그 값이 최대나 최소가 되는 상태를 해석하는 문제 머신러닝 및 딥러닝에서는 일반적으로 손실 함수를 최소화하기 위해 사용됨 요구사항 일반적으로 경사하강법 적용을 위해서는 크게 두 가지 요구사항이 있음 미분 가능한 함수 함수에 불연속인 지점, 뾰족한(좌미분계수, 우미분계수가 다른 점) 지점에서는 미분 불가능 볼록한(Convex) 함수 하나의 변수를 갖는 일변량 함수의 경우 함수 내 임의의 두 점을 연결하는 선이 함수 곡선을 교차하지 않으며, 그 선이 곡선보다 위에 있는 함수 일변량함수가 볼록한지 아닌지 수학적..

활성화 함수(Activation Function) 인공신경망에서 노드의 입력은 가중치(w)와 편향(b)을 사용하여 선형 변환이 수행된 이후, 활성화 함수가 적용되어 다음 층으로 전달되거나 예측하는 출력값이 됨 이러한 정보의 흐름을 순방향 전파라고 함 손실 함수(Cost Function, 비용 함수, Loss Function) 모델에서 순방향 전파에 의해 출력된 예측값과 실제값 사이의 오차 계산을 위해 사용되는 함수 모델의 예측 성능을 평가하는 척도 역전파(Backpropagation) 위에서 얘기한 순방향 전파와 반대로 손실정보를 기반으로 모델의 가중치, 편향과 같은 파라미터 벡터를 업데이트하기 위해 모델에 전달하는 과정 경사하강법(Gradient Descent) 역전파는 단순히 가중치와 편향을 업데이트..

오차 함수는 머신 러닝 모델의 예측값과 실제값 간 차이나는 정도를 통해 현재 모델의 성능을 측정하는 지표로 사용됨 오차 함수는 크게 수치 예측 시와 분류 시로 나눌 수 있음 수치 예측 시 오차 함수 MSE(Mean Sqaure Error) 예측값과 실제값의 차이 제곱의 평균 회귀 모델의 주요 손실 함수로 사용됨 차이의 제곱에 인해 실제 값과 거리가 먼 예측(특이값)은 큰 페널티를 받음 RMSE(Root Mean Square Error) MSE 결과에 루트를 씌운 것 MSE는 오차의 제곱을 사용하기에 실제 오류 평균보다 커지는 특성이 있어 루트를 씌운 RMSE는 값의 왜곡을 줄여줌 MAE(Mean Absolute Error) 예측값과 실제값 간의 절대 차이 합계의 평균 이상값에 대해 더 강력함 RMSLE(..

신경망에서 노드에 들어오는 입력은 가중치와 편향을 사용하여 선형 변환이 수행되고, 변환된 결과가 바로 다음으로 전달되는 것이 아닌 활성화함수를 적용하여 전달됨 활성화함수는 입력 신호를 출력 신호로 변환해주며, 입력 받은 신호의 출력 정도를 결정하고 딥러닝에서 층을 쌓아 비선형성을 표현할 수 있게 함 Sigmoid 시그모이드 활성화 함수의 출력은 0