본문 바로가기

분류 전체보기

(28)
Collaborative Metric Learning 안녕하세요. 이번 시간엔 Collaborative Metric Learning 논문에 대해 리뷰하겠습니다. 참고자료는 다음과 같습니다. Hsieh, Cheng-Kang, et al. "Collaborative metric learning." Proceedings of the 26th international conference on world wide web. 2017. vision.cornell.edu/se3/wp-content/uploads/2017/03/WWW-fp0554-hsiehA.pdf Intro to WARP Loss, automatic differentiation and PyTorch medium.com/@gabrieltseng/intro-to-warp-loss-automatic-diffe..
LMNN(Large Margin Nearest Neighbors) 안녕하세요. 오랜만에 글을 쓰게 되었습니다. 이번 글은 LMNN이라는 알고리즘으로 기존의 K-Nearest Neighbors를 보완한 모델입니다. 참고한 자료는 다음과 같습니다. Distance Metric Learning for Large Margin Nearest Neighbor Classification (2009) (저자 : Weinberger, Kilian Q., and Lawrence K. Saul.) www.jmlr.org/papers/volume10/weinberger09a/weinberger09a.pdf Online and Batch Learning of Pseudo-Metrics (2004) (저자 : Shalev-Shwartz 외) citeseerx.ist.psu.edu/viewdoc..
CS231n - Lecture4 안녕하세요. 이번 시간엔 CS231n의 Lecture4에 대해 보도록 하겠습니다. 참고 자료는 다음과 같습니다. 강의 비디오 www.youtube.com/watch?v=d14TUNcbn1k&list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv 강의자료 cs231n.stanford.edu/slides/2017/cs231n_2017_lecture4.pdf 이번 시간에는 주로 미분에 대해 공부합니다. ※ 글에서 '가중치'는 'Weight'라고 쓰기도 합니다. 위의 슬라이드는 Neural Network에서 Loss를 구하는 과정이며 이를 Computational graphs로 나타낸 것입니다. x는 input이며 W는 가중치입니다. f라는 함수에 넣어서 score를 만들며(그래프에서 파란색 동..
CS231n - Lecture3 안녕하세요. 이번 시간에는 CS231n Lecture3를 보도록 하겠습니다. * 지난 번에 올린 자료를 보니 영상은 2017년인데 강의 slide는 2020년으로 되어 있어 이번 글부터 2017년으로 바꾸었습니다. 참고 자료는 다음과 같습니다. 강의 동영상 www.youtube.com/watch?v=h7iBpEHGVNc 강의 노트 (Lecture 3) cs231n.stanford.edu/slides/2017/cs231n_2017_lecture3.pdf 이번 강의에서는 Linear Classification과 Optimization에 대해 배웁니다. 우선 Linear Classifcation은 KNN과 달리 Linear Classification은 Parametric Approach로 가중치 값 W가 있습..
CS231n - Lecture2 안녕하세요. 오랜만에 글을 씁니다! 1월 한달 동안 일이 있어서 마무리 짓고 다시 돌아왔습니다. 이번에는 CS231n의 강의를 정리하게 되었습니다. 추천시스템 쪽으로 논문을 읽다보니 딥러닝 지식이 많이 요구되네요. 지난번에 AutoEncoder를 한 번 정리하긴 했는데 기초적인 부분이 좀 부족한 것 같아서 CS231n을 보면서 다시 한 번 딥러닝 기초를 정리하려 합니다. 일단 계획은 AutoEncoder전까지를 들으려 하며 이후는 상황에 따라 더 들을지 말지 결정할 것 같습니다. 이번에 정리하는 글은 강의 위주로 하되 저한테 필요하다 싶은 것을 위주로 정리합니다. 그렇기 때문에 강의 전체 내용을 원하시는 분은 이 글을 읽는 것을 추천드리지 않습니다. 참고 자료는 다음과 같습니다. CS231n Lectur..
LSTM 안녕하세요. 이번에는 RNN 계열의 LSTM 모델에 대해 보도록 하겠습니다. 참고자료는 다음과 같습니다. 아래 그림들과 전체적인 LSTM 구조 www.coursera.org/lecture/nlp-sequence-models/long-short-term-memory-lstm-KXoay Long Short Term Memory (LSTM) - Recurrent Neural Networks | Coursera Video created by deeplearning.ai for the course "Sequence Models". Learn about recurrent neural networks. This type of model has been proven to perform extremely well on ..
Recurrent Neural Network 안녕하세요. 이번 시간엔 딥러닝 모델 중 Recurrent Neural Network에 대해 알아보겠습니다. 참고자료는 다음과 같습니다. Coursera : 전반적인 글 구조는 여기 사이트의 'Recurrent Neural Networks' 파트를 참조했습니다. www.coursera.org/learn/nlp-sequence-models Sequence Models Offered by deeplearning.ai. This course will teach you how to build models for natural language, audio, and other sequence data. Thanks to deep learning, sequence algorithms are working far be..
Variational AutoEncoder(VAE) 안녕하세요. 이번 시간엔 Variational AutoEncoder에 대해 보겠습니다. (현재 모델을 실험할 수 없는 환경이라 이론만 계속 공부하고 있습니다) 현재 Variational Autoencoder를 활용한 추천시스템 논문을 읽다보니 이 알고리즘을 공부하게 되었습니다. 참고 자료는 다음과 같습니다. Variational AutoEncoder 기초, Reparametrizing trick jaejunyoo.blogspot.com/2017/05/auto-encoding-variational-bayes-vae-3.html 초짜 대학원생의 입장에서 이해하는 Auto-Encoding Variational Bayes (VAE) (3) Machine learning and research topics exp..