Neural Networks(신경망,딥러닝) 주간 키워드 정리_Day61~64

DAY 61 신경망(Artificial Neural Networks) 기초

• 퍼셉트론 ( input , weight , bias , activation function , output )
• 인공신경망
• 뉴런(노드)
• activation function : step function(기본) , 시그모이드 , ReLU , softmax
• 순전파 (순방향 신경망 , feedforward NN)
• 신경망 층 구성 (Layer) : input layers , hidden layers , otuput layers
• optimizer : adam , ...
• loss : sparse_categorical_crossentropy, ...
• epoch
• verbose
• iteration
• 경사하강법 : 손실값에 대한 미분값을 사용하여 최저의 손실값을 가지는 매개변수(가중치)를 찾는 방법

---

DAY 62 역전파

• 경사하강법
• 신경망 구조의 원리 (신경망 학습 알고리즘 순서)
• 비용(cost) , 손실(loss) , 에러(error)
  : 한 데이터 포인트트에서의 손실을 loss (or error) , 전체 데이터 셋의 loss를 합한 개념 cost
• 역전파 알고리즘
• 가중치
• 확률적 경사하강법(SGD)
• 케라스 (파이썬 딥러닝 프레임워크)
• Sequential (학습 데이터 로드 -> 모델 정의 -> compile -> Fit -> Evaluate)
• optimizer 종류들
• 손실함수 종류들

---

DAY 63 케라스, 텐서플로우 프레임워크

• keras
• sequential
• dense
• random seed
• dropout
• 학습규제전략 (regularization strategies)
  
  - overfitting 극복을 위한 가장 중요한 방법은 가중치 규제 전략
  
  - (early stopping , weight decay , dropout , constant )
• wegith decay (L1 , L2)
• constraints ( 물리적으로 weight의 크기 제한하는 방법)
• dropout
• learning rate decay
• learning rate 스케줄링
• activation functions (Tanh , Leaky ReLU , softmax)

---

DAY 64 신경망과 학습에 관련된 파라미터 튜닝(HyperTune)

• 하이퍼 파라미터 튜닝
• K-fold cross validation
• keras cross validation
• 입력데이터 정규화
• keras의 모델자동검증기능 : validation_data  (train_test_split 대신)
• 하이퍼파라미터 튜닝방식
  
  Grid Search (오직 하나의 최적의 파라미터를 찾을때)
  
  Random Search
  
  Bayesian Methods (이전 탐색 결과를 반영하여 이후의 하이퍼 파라미터 튜닝 성능을 높이는 방법) _ keras-tuner
  
  
• 튜닝 가능한 파라미터 옵션들
  
  batch size ( 모델의 가중치를 업데이트할때 한번에 몇개의 관측치를 보게 되는지 결정하는 파라미터)
  
  - 너무크면 ? 한번에 모든 데이터 loss 계산해야하는 문제점 , 가중치를 충분히 업데이트할 만한 iteration 불가
  
  - 너무 작으면 ? 학습시간 오래걸리고 , 추정값에 노이즈즈가 많이 생겨서 또 문제
  
  training epochs
  
  optimizer 
  
  learning rate
  
  momentum
  
  activation functions
  
  dropout regularization
  
  hidden layer 의 뉴런수
  
  가중치 초기화 (network weight initialization) - Xavier (sigmoid 추천) , He (ReLU 추천)
  
  Keras Tuner
  
  hyperband
  
  
• callback
• 실험기록 프레임워크 - wandb / weights*bias