Stochastic Gradient Descent는 Batch Gradient Descent에 비해 최적값에 수렴할 가능성이 적으나, 적은 데이터를 사용하여 손실을 계산하고 모델을 업데이트 하므로 계산 속도가 빠르며 여러 번 반복할 경우 일반적인 batch 결과와 유사하게 수렴 가능하고 Batch Gradient Descent에서 빠질 지역 최소값에 빠지지 않고 더 좋은 방향으로 수렴할 가능성도 있음 ※ Batch Gradient Descent가 최소값에 수렴함을 보장한다고 하였으나 그 값이 지역 최솟값일지 전역 최솟값일지 모름 일반적으로 Neural Network를 학습시킬 때는 SGD를 사용함 단순히 SGD 방식만 사용할 경우 노이즈가 많고 안장점에서 방향을 잘 못잡거나 학습 속도에 문제가 있는 경우..

경사 하강법으로 손실 값을 최적화(optimization)하기 위한 최적화 알고리즘(optimizer)은 다양하며 대표적으로 세 가지 정도의 변형이 있으며, 목적 함수의 기울기 계산에 사용하는 데이터의 양이 다름 데이터의 양에 따라 최적인 최솟값을 찾는 정확성과 최솟값을 찾는 데 걸리는 시간 간의 균형을 맞추기 위해 다른 방법들을 적용할 수 있음 배치 경사 하강법 (Batch Gradient Descent, Vanilla Gradient Descent) 경사 하강법을 위한 기울기를 계산할 때, 모든 학습 데이터셋을 사용하여 손실(loss)을 계산한 뒤 손실이 최소가 되도록 모델의 가중치(기울기)를 업데이트 하는 방법 해당 방법에서 배치(batch)란 일부 데이터가 아닌 학습에 사용되는 전체 데이터를 의미..

경사하강법은 주어진 수학 함수의 최소값/최대값을 찾는 데 사용되는 반복적인 1차 최적화 방법 ※ 수학에서 최적화(optimization)의 의미 : 특정 집합 위에서 정의된 실수값, 함수, 정수에 대해 그 값이 최대나 최소가 되는 상태를 해석하는 문제 머신러닝 및 딥러닝에서는 일반적으로 손실 함수를 최소화하기 위해 사용됨 요구사항 일반적으로 경사하강법 적용을 위해서는 크게 두 가지 요구사항이 있음 미분 가능한 함수 함수에 불연속인 지점, 뾰족한(좌미분계수, 우미분계수가 다른 점) 지점에서는 미분 불가능 볼록한(Convex) 함수 하나의 변수를 갖는 일변량 함수의 경우 함수 내 임의의 두 점을 연결하는 선이 함수 곡선을 교차하지 않으며, 그 선이 곡선보다 위에 있는 함수 일변량함수가 볼록한지 아닌지 수학적..

활성화 함수(Activation Function) 인공신경망에서 노드의 입력은 가중치(w)와 편향(b)을 사용하여 선형 변환이 수행된 이후, 활성화 함수가 적용되어 다음 층으로 전달되거나 예측하는 출력값이 됨 이러한 정보의 흐름을 순방향 전파라고 함 손실 함수(Cost Function, 비용 함수, Loss Function) 모델에서 순방향 전파에 의해 출력된 예측값과 실제값 사이의 오차 계산을 위해 사용되는 함수 모델의 예측 성능을 평가하는 척도 역전파(Backpropagation) 위에서 얘기한 순방향 전파와 반대로 손실정보를 기반으로 모델의 가중치, 편향과 같은 파라미터 벡터를 업데이트하기 위해 모델에 전달하는 과정 경사하강법(Gradient Descent) 역전파는 단순히 가중치와 편향을 업데이트..

오차 함수는 머신 러닝 모델의 예측값과 실제값 간 차이나는 정도를 통해 현재 모델의 성능을 측정하는 지표로 사용됨 오차 함수는 크게 수치 예측 시와 분류 시로 나눌 수 있음 수치 예측 시 오차 함수 MSE(Mean Sqaure Error) 예측값과 실제값의 차이 제곱의 평균 회귀 모델의 주요 손실 함수로 사용됨 차이의 제곱에 인해 실제 값과 거리가 먼 예측(특이값)은 큰 페널티를 받음 RMSE(Root Mean Square Error) MSE 결과에 루트를 씌운 것 MSE는 오차의 제곱을 사용하기에 실제 오류 평균보다 커지는 특성이 있어 루트를 씌운 RMSE는 값의 왜곡을 줄여줌 MAE(Mean Absolute Error) 예측값과 실제값 간의 절대 차이 합계의 평균 이상값에 대해 더 강력함 RMSLE(..

신경망에서 노드에 들어오는 입력은 가중치와 편향을 사용하여 선형 변환이 수행되고, 변환된 결과가 바로 다음으로 전달되는 것이 아닌 활성화함수를 적용하여 전달됨 활성화함수는 입력 신호를 출력 신호로 변환해주며, 입력 받은 신호의 출력 정도를 결정하고 딥러닝에서 층을 쌓아 비선형성을 표현할 수 있게 함 Sigmoid 시그모이드 활성화 함수의 출력은 0

Windows 10, AMD CPU 환경에서 구성 테스트 완료 참고 자료 1. Flutter SDK 설치 flutter windows SDK 다운로드 후 압축 풀고 특정 위치에 배치 (C:\Program Files\ 처럼 권한 필요한 디렉토리에는 설치하지 않기를 권장) 나같은 경우 C:\flutter 에 위치하도록 구성하였음 2. 환경변수 편집 윈도우 키 + pause/break 키 고급 시스템 설정 환경 변수 사용자 변수 탭의 Path에 flutter 설치 경로 추가 추가 이후 명령 프롬프트 창 열어서 where flutter dart 입력 이후 flutter 설치 경로로 이동하여 flutter doctor 입력 나는 기존에 Android Studio가 설치되어 있지 않았고, VS Code를 개발환경으..

MultiThreading Concurrent execution I/O intensive tasks 프로그램이나 알고리즘이 동시에 수행 가능할 경우 Concurrent하다고 함 그렇다고 해서 물리적으로 병렬 수행이 될지는 어떤 하드웨어 위에서 돌아갈 지를 알아야 함 (멀티 프로세서 머신에서 돌아가야 병렬 실행된다고 말할 수 있음) 싱글 코어에서도 돌아감 컴퓨터의 자원을 Thread끼리 공유 컴퓨터의 놀고 있는 자원들을 최대한으로 사용하게 여러 작업을 수행하는 데 CPU를 많이 잡아먹지는 않지만 I/O 작업이 많을 때 MultiProcessing Parallel execution CPU intensive tasks 하나의 process는 여러 thread를 가질 수 있음 여러 process를 동시에 실행하..

설계 Data Ingestion 데이터 송신 고려사항 안정성 처리량 및 속도, 지연시간 확장성 고가용성 지원하는 데이터 소스 커넥터 관리 용이성 Message Queue 메세지 지향 미들웨어(MOM) 비동기 메세지를 사용하는 다른 응용 프로그램 사이 데이터 송수신을 의미 이 MOM을 구현한 시스템을 MQ(Message Queue)라 함 프로그래밍에서 MQ는 프로세스나 프로그램이 데이터를 서로 교환할 때 사용하는 방법 데이터 교환 시 시스템이 관리하는 메세지 큐를 이용하는 것이 특징 서로 다른 프로세스, 프로그램 사이 메세지 교환 시 AMQP(Advanced Message Queuing Protocol)을 이용 Producer가 메세지 큐에 전송하면 Consumer가 처리하는 방식, 그 사이에 messag..

Replication message 복제하여 클러스터 내 브로커들에 분산시키는 동작 하나의 브로커가 종료되어도 안정성 유지 가능 토픽 생성 시 replication factor 지정 가능 환경에 따른 factor 기준선정 (개발, 운영 등) Partition 하나의 Topic에 대한 처리량을 높이기위해 병렬 처리가 가능하게 만든것 Partition 수만큼 Consumer 연결 가능 늘리는건 가능하나 줄이는건 불가능 초기에 적게 설정 후 메세지 처리량, 컨슈머 LAG 모니터링하며 늘리는 것 권장 ※ 컨슈머 LAG Producer가보 낸 메세지 수 - Consumer가 가져간 메세지수 Segment Producer에 의해 Broker로 보내진 메세지는Partition에 저장됨 각 메세지는 Segment 라는..