DeepLearning (1) 썸네일형 리스트형 갈아먹는 딥러닝 기초 [2] weight initialization 목차 이 포스팅은 weights initialization 기법들의 수식, 특징, 사용처를 설명합니다. keras에서 기본적으로 제공하는 기법들을 위주로 정리하였습니다. · 들어가며 · 웨이트 초기화 기법 분류 - 상수 기반 초기화 - 선형 대수 기반 초기화 - 확률 분포 기반 초기화 - 분산 조정 기반 초기화 · fan in, fan out · Lecun Initialization · Xavier Glorot Initialization · He Initialization · 마치며 들어가며 이번 포스팅에서는 weight 값을 어떻게 초기화 시킬 수 있는지에 대해서 알아보겠습니다. 웨이트 값을 어떻게 초기화 시키는 지에 따라서 그라디언트를 얼마나 잘 전달할 수 있고, 레이어를 더 많이 쌓을 수 있는지를 .. 이전 1 다음
