posts/dipingdeeplearning/

[utterances-bot]

MNIST dataset으로 딥러닝 찍어 먹어보기 | Barami

작품개요

https://hyu-barami.github.io/posts/dipingdeeplearning/

[YiruJeon]

MINST 데이터셋이군요. 아마....다 공부하셨을거 같은데, 관련해서 더 궁금하시다면 신경망 첫걸음(http://www.yes24.com/Product/Goods/37883845)과 동영상 강의 https://www.3blue1brown.com/lessons/neural-networks 추천합니다. 참고로 동영상 강의는 유튜브에서 한글 자막도 달려있어요. AI/ML 계열 깊게 파면 미분기하학(Differential Geometry)분야까지 가더라구요. ㄷㄷㄷ

[kim135797531]

잘 봤습니다~ 역시 뉴럴넷 처음 공부할 땐 TensorFlow나 PyTorch로 뿅 때려서 구현하는 것 보다는, 이렇게 NumPy로 한번 처음부터 써 보는 게 도움이 되지요.

물론 이 방법을 통해 추론한 가중치 값이 손실함수를 최소화하였는지, 단순히 극솟값을 구한 것인지는 알기 어렵습니다. (이 문제의 해결 방법은 아직 공부하지 않아 잘 모르겠습니다. 더 공부해오겠습니다..ㅎ)

단순히 극솟값을 구한 것입니다. 이를 해결하기는 쉽지 않지만, 전통적으로 처음에 학습률을 크게 하다가 점점 학습률을 줄이는 방법이 쓰여 왔습니다. 담금질이라고 하는데, 생각보다 효과적이고 구현하기도 아주 간단하죠.

최근에는 2014년에 나온 Adam 최적화기가 많이 쓰입니다. 사실 그냥 이거 때려 박으면 됩니다 (...)