[CS224W] General Tips

8강 뒷부분에는 General Tips 와 Practical Demos 라는 페이지가 일부 더 있습니다. 이 중 General Tips 가 생각치도 못했던? 재밌는 부분이 있어서 번역해놓겠습니다. 

 

General Tips

1. 데이터 전처리는 중요하다.

• renormalization tricks을 사용해라 https://discuss.dgl.ai/t/how-to-implement-the-renormalization-trick/86
• Variance - scaled initialization : 분산 스케일링을 하는 초기화를 사용해라
• Network data를 whitening해라
  • whitening : data를 uncorrelated 하게 만들어주고 각각의 variance를 1로 만들어주는 작업 ucsd.tistory.com/39

2. ADAM optimizer 사용해라

adam optimizer가 learning rate decaying을 막아준다. (사용하라는 뜻인듯)

3. ReLU activation function(relu 활성화 함수)이 기본적으로 성능이 좋다 (사용해라)

4. No activation function at your output layer : 자주하는 실수다. 주의해라.

5. 모든 layer 마다 bias term을 포함시켜라

6.  GCN layer 사이즈는 64 or 128이면 충분하다.

 

Debugging Deep Networks

1. Debug?! : Loss/Accuracy not converging during training : 학습시키는데 loss 나 accuracy가 수렴하지 않는다면?!!

2. 모델 개발할 때 중요한점 (적어도 Deep network는 그렇다고 한다.)

• Overfit on training data
  • 정확도가 100%이거나 에러가 0에 가까워야한다.
  • 만약 neural network가 한 데이터 포인트에 대해서 오버핏,과적합이 안된다면 이건 문제 있는 것이다.
• Loss function 다시 자세히 봐라
• 시각화도 다시 자세히 봐라