![]()
데이터를 처음부터 학습 시킬 필요가 없고, Caffe Model Zoo에서 가중치를 가져와 학습시킨다.Mini-batch SGDLoop: 1. Sample a batch of data 2. Forward prop it through the graph, get loss 3. Backprop to calculate the gradients 4. Update the parameters using the gradient Activation Functionf 함수가 activation functionSigmoid function현재는 잘 사용되지 않는다.0과 1 사이에 나타낸다.문제:1. 뉴런이 포화되서(0또는 1 가까이 나타냄 -> 기울기가 거의 0으로 나타냄) gradient를 없앰2. ..
![]()
다음과 같이 식이 주어졌을 때, gradient를 구하는 방법.이때, 왼쪽에서 오른쪽으로 이동하면, forward pass라고 한다.만약 q = x + y라 하고, f = qz라고 하면다음과 같이 도출이 된다. 이를 이용해 구할려면 Backward Pass 즉, Backpropagation을 진행해야 한다. local gradient는 forward pass시 구해서 메모리에 저장해 놓는다.backward pass시 global gradient를 구한다. add gate : gradient를 각각 노드에 그대로 전달한다.max gate : 큰 값에 gradient를 전달하고 작은 값에는 0을 전달한다.mul gate : gradient를 값에 곱한다음 서로 바꿔준다.만약 다음과 같이 backward시 ..
![]()
3개의 training 예시와, 3개의 클래스가 존재하고, f(x, W) = Wx를 만족한다.Loss functionSVM loss(x_i, y_i) 가 있을 때, x_i가 image이고, y_i가 label일 때s_ j : 잘못된 label의 scores_y_i : 제대로 된 label의 score1 : safety margin 1) 고양이 사진일 때 SVM loss max(0, 5.1-3.2+1) + max(0, -1.7-3.2+1) = max(0, 2.9) + max(0, -3.9) = 2.9 + 0 = 2.92) 자동차 사진일 때 SVM loss max(0, 1.3-4.9+1) + max(0, 2.0-4.9+1) = max(0, -2.6) + max(0, -1.9) = 0 + 0 = 0..
![]()
Image ClassificationImage Classification을 진행할 때 시스템이 input image를 받으면 이것이 dog인지 cat인지 구분하여 고정된 category 라벨을 할당한다.컴퓨터는 이미지를 gigantic한 grid로 나타낸다.ex. (800 x 600 x 3) -> 이때 3이 들어가는 이유는 red, green, blue를 할당하기 때문 문제Viewpoint variation카메라의 방향이 바뀌면 모든 픽셀의 값이 변화된다.-> 우리의 알고리즘은 이것에 단호해야 한다. Illumination 밝기에 따라 알고리즘은 이것에 단호해야 한다. Deformation같은 객체의 position이 변화할 때 알고리즘은 이것에 단호해야 한다. Occlusion고양이의 얼굴만 나와 있거..
