2020/04 (14) 썸네일형 리스트형 갈아먹는 딥러닝 기초 [2] weight initialization 목차 이 포스팅은 weights initialization 기법들의 수식, 특징, 사용처를 설명합니다. keras에서 기본적으로 제공하는 기법들을 위주로 정리하였습니다. · 들어가며 · 웨이트 초기화 기법 분류 - 상수 기반 초기화 - 선형 대수 기반 초기화 - 확률 분포 기반 초기화 - 분산 조정 기반 초기화 · fan in, fan out · Lecun Initialization · Xavier Glorot Initialization · He Initialization · 마치며 들어가며 이번 포스팅에서는 weight 값을 어떻게 초기화 시킬 수 있는지에 대해서 알아보겠습니다. 웨이트 값을 어떻게 초기화 시키는 지에 따라서 그라디언트를 얼마나 잘 전달할 수 있고, 레이어를 더 많이 쌓을 수 있는지를 .. 갈아먹는 딥러닝 기초 [1] Activation Function(활성화 함수) 종류 들어가며 딥 러닝 기초 개념들을 복습하면서 관련 내용들을 정리해보려 합니다. 가장 먼저 각 활성화 함수별로 간단한 특징과 사용처 정도를 짚고 넘어가겠습니다. 자세한 개념들은 직접 검색해보시거나 레퍼런스를 참고해주시면 감사하겠습니다. 활성화 함수는 붉은 색 그래프, 활성화 함수의 미분값은 푸른색 그래프로 표현하였습니다. Sigmoid 특징: 입력 값을 0과 1 사이의 값으로 변환하여 출력합니다. 사용처: 로지스틱 리그레션, 바이너리 클래시피케이션 등에 사용됩니다. 한계점: 미분 함수의 최대 값이 0.5가 됩니다. 때문에 레이어가 깊어질 수록 그라이언트가 전달되지 않는 vanishing gradient 문제가 발생할 가능성이 있습니다. 이후 ReLU에 의해 많이 대체됩니다. Hard Sigmoid 특징: 시.. 갈아먹는 BigData[2] HDFS(하둡 분산 파일 시스템) 지난 글 갈아먹는 BigData [1] MapReduce 이해하기 들어가며 지난 포스팅에서 빅 데이터의 분산 저장 및 분산 처리의 시작을 연 MapReduce에 대해서 자세히 살펴보았습니다. 하둡은 이를 구현하여 오픈 소스화 시킨 프로젝트입니다. 하둡을 기반으로 이를 더 잘 활용하기 위한 각종 오픈 소스들이 등장하기 시작했으며 이를 hadoop ecosystem이라고 부릅니다. 이를 간단히 다이어그램으로 표현하면 아래와 같습니다. 보기만 해도 살짝 현기증이 나죠?ㅎㅎ 수많은 에코 시스템들이 하둡 클러스터 위에 얹혀지지만 가장 아래에 기반을 이루는 것은 HDFS, 하둡 파일 시스템입니다. 이는 대용량의 파일을 수천대의 컴퓨터를 묶어 구성한 클러스터에 안정적으로 저장해주는 storage 역할을 수행하며 하둡.. 갈아먹는 통계 기초[4] 가설, 검정, p-value 지난 글 갈아먹는 통계 기초[1] 확률 분포 정리 갈아먹는 통계 기초[2] 공분산과 피어슨 상관계수 갈아먹는 통계 기초[3] 표본 추출 들어가며 우리는 지금까지 데이터를 특정한 확률 분포를 가진 확률 변수로 모형화 하였습니다. 그리고 모집단의 표본에서 얻은 통계량을 통해 모집단의 통계적 특성을 추측해보았습니다. 이러한 과정을 논리적으로 전개하기 위해서 필요한 것이 가설과 검정입니다. 가설(hypothesis)란 확률 분포에 대한 어떠한 주장이며 이를 증명하는 행위를 검정(testing)이라 합니다. 특히 확률 분포의 모수 값에 대한 가설을 검정하는 것을 모수 검정(parameter testing)이라 부릅니다. 귀무 가설과 대립가설 귀무 가설(null hypothesis, 영 가설)은 처음부터 버릴 것을.. 갈아먹는 통계 기초[3] 표본 추출 지난 글 갈아먹는 통계 기초[1] 확률 분포 정리 갈아먹는 통계 기초[2] 공분산과 피어슨 상관계수 들어가며 TV 드라마의 시청률을 조사하는 상황을 생각해보겠습니다. 먼저 모든 가구들의 TV에 어느 체널을 보는지 측정할 수 있는 장비를 설치하고 시청률을 측정하는 방법을 생각해 볼 수 있습니다. 이를 전수 조사라고 합니다. 하지만 이는 너무 많은 비용과 시간이 소요됩니다. 그렇기 때문에 전체 가구들 중 일부 가구의 시청 체널을 조사하는 방법을 택할 수 있습니다. 이를 표본 조사라고 합니다. 하지만 여기서 고민이 생깁니다. 표본을 얼만큼, 어떻게 뽑아야만 신뢰할 만한 시청률을 측정할 수 있을까요? 이번 시간에는 이러한 표본 집계에 대해서 알아보도록 하겠습니다. 표본 조사 전국민 조사에서 국민과 같이 원래 통.. 갈아먹는 통계 기초[2] 공분산과 피어슨 상관 계수 지난 글 갈아먹는 통계 기초[1] 확률 분포 정리 들어가며 캐글 컴페티션 같은 데이터 사이언스 테스크를 풀 때 주어진 데이터의 특성을 분석하는 작업을 EDA라고 합니다. EDA를 수행할 때 필수적으로 분석하는 것이 자료들 간의 상관관계입니다. 가령 직원들의 근무 성과 데이터가 주어졌다고 하면 직원들의 거주 지역과 성과 사이의 상관관계를 분석하고 싶을 수 있습니다. 만일 상관관계가 높다면 직원들의 성과를 예측하는데 적절한 데이터로 활용이 가능하겠죠? 이렇듯 데이터 간의 상관관계를 분석하고 싶을 때 사용되는 것이 공분산입니다. 이번 포스팅에서는 공분산의 기초 개념과 실질적으로 많이 사용되는 피어슨 상관 계수에 대해서 알아보겠습니다. 공분산(covariance) 공분산은 두 측정값 사이에 연관성을 분석하기 위.. 갈아먹는 통계 기초 [1] 확률 분포 정리 들어가며 머신러닝에서 통계학은 뗄레야 뗄 수 없는 관계에 있습니다. 데이터가 어떠한 특성을 가지고 있고, 어떠한 분포를 띄는 지에 따라서 수행해야하는 전처리나 알고리즘이 달라지기도 합니다. 그런 의미에서 통계학의 기초 개념들을 쭉 복습하며 핵심적인 내용들을 정리해보려 합니다. 확률 변수 확률 변수(random variable)은 확률 실험의 결과에 대한 숫자적 표현입니다. 가령 동전을 던진다고 했을 때 앞면을 1, 뒷면을 0이라고 표현한다고 하면 이는 실험 결과의 숫자적 표현이고 확률 변수입니다.[1] 확률 변수는 그것이 취할 수 있는 값들이 한 개, 두개와 같이 셀 수 있으면 이산형 확률 변수(discrete random variable), 셀 수 없을 경우 연속형 확률 변수(continuous ran.. 갈아먹는 추천 알고리즘[6] 추천 엔진 성능 지표 지난 글 갈아먹는 추천 알고리즘 [1] 추천 알고리즘의 종류 갈아먹는 추천 알고리즘 [2] Collaborative Filtering 갈아먹는 추천 알고리즘 [3] Matrix Factorization 갈아먹는 추천 알고리즘 [4] Alternating Least Squares 갈아먹는 추천 알고리즘 [5] ALS 구현하기 들어가며 오랜만에 추천 알고리즘에 관련된 내용을 포스팅 해봅니다. 바로 추천 엔진의 성능은 어떻게 평가할 것인가 입니다. 클래시피케이션 모델의 경우에는 accuracy, precision, recall, f1-score 등의 지표가 있고 object detection의 경우에는 mAP, 리그레션 모델 같은 경우에는 r2-score 등의 지표들이 있습니다. 이러한 성능 평가 지표들을 우.. 이전 1 2 다음
