킹남지 컴퍼니

Keras에서 사용 가능한 loss function 중 "categorical_crossentropy"와 "sparse_categorical_crossentropy" 의 차이가 궁금해서 찾아봤다. (처음에는 후자의 경우, function 자체가 sparse한 데이터에 초점이 맞춰져 있나 궁금했다...) 찾아보니, 차이는 다음과 같다. (성능에는 영향을 끼치지 않는다고 한다.) "categorical_crossentropy"는 데이터의 라벨이 원-핫 인코딩 된 형태의 경우 사용, "sparse_categorical_crossentropy"는 데이터의 라벨이 Int형 일 때 사용한다. 예로 클래스가 5개인 데이터가 있다고 하자, 라벨의 형태가 [[0, 0, 1, 0, 0], [0, 0, 0, 0, 1], [..

신경망과 활성화 함수에 이어 이번에는 신경망 학습, 수치 미분, 손실 함수, 배치(미니 배치)에 대해 정리하겠습니다. 추후에 좀 더 깊게 볼 필요가 있다고 판단되는 내용은 따로 포스팅을 해보겠습니다. 구현과 함께 보고싶으시면 아래 제 깃허브 링크를 참고해주시기 바랍니다. https://github.com/Kingnamji/BigAI/blob/main/%EB%B0%91%EC%8B%9C%EB%94%A51_re/04_NNTrain.ipynb 학습 신경망에서 말하는 학습은 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 갱신(update)하는 것을 말합니다. 학습을 위한 지표로는 손실 함수(loss function)을 사용합니다. 손실 함수의 값을 작게 만드는 가중치 매개변수를 찾는 것이 학습의 목표입니다..