티스토리

Hwani

검색하기

블로그 홈

Hwani

hwa-a-nui.tistory.com/m

화아늬 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

Collaborative Metric Learning 안녕하세요. 이번 시간엔 Collaborative Metric Learning 논문에 대해 리뷰하겠습니다. 참고자료는 다음과 같습니다. Hsieh, Cheng-Kang, et al. "Collaborative metric learning." Proceedings of the 26th international conference on world wide web. 2017. vision.cornell.edu/se3/wp-content/uploads/2017/03/WWW-fp0554-hsiehA.pdf Intro to WARP Loss, automatic differentiation and PyTorch medium.com/@gabrieltseng/intro-to-warp-loss-automatic-diffe.. 공감수 1 댓글수 0 2021. 4. 15.
LMNN(Large Margin Nearest Neighbors) 안녕하세요. 오랜만에 글을 쓰게 되었습니다. 이번 글은 LMNN이라는 알고리즘으로 기존의 K-Nearest Neighbors를 보완한 모델입니다. 참고한 자료는 다음과 같습니다. Distance Metric Learning for Large Margin Nearest Neighbor Classification (2009) (저자 : Weinberger, Kilian Q., and Lawrence K. Saul.) www.jmlr.org/papers/volume10/weinberger09a/weinberger09a.pdf Online and Batch Learning of Pseudo-Metrics (2004) (저자 : Shalev-Shwartz 외) citeseerx.ist.psu.edu/viewdoc.. 공감수 0 댓글수 0 2021. 4. 8.
CS231n - Lecture4 안녕하세요. 이번 시간엔 CS231n의 Lecture4에 대해 보도록 하겠습니다. 참고 자료는 다음과 같습니다. 강의 비디오 www.youtube.com/watch?v=d14TUNcbn1k&list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv 강의자료 cs231n.stanford.edu/slides/2017/cs231n_2017_lecture4.pdf 이번 시간에는 주로 미분에 대해 공부합니다. ※ 글에서 '가중치'는 'Weight'라고 쓰기도 합니다. 위의 슬라이드는 Neural Network에서 Loss를 구하는 과정이며 이를 Computational graphs로 나타낸 것입니다. x는 input이며 W는 가중치입니다. f라는 함수에 넣어서 score를 만들며(그래프에서 파란색 동.. 공감수 0 댓글수 0 2021. 2. 21.
CS231n - Lecture3 안녕하세요. 이번 시간에는 CS231n Lecture3를 보도록 하겠습니다. * 지난 번에 올린 자료를 보니 영상은 2017년인데 강의 slide는 2020년으로 되어 있어 이번 글부터 2017년으로 바꾸었습니다. 참고 자료는 다음과 같습니다. 강의 동영상 www.youtube.com/watch?v=h7iBpEHGVNc 강의 노트 (Lecture 3) cs231n.stanford.edu/slides/2017/cs231n_2017_lecture3.pdf 이번 강의에서는 Linear Classification과 Optimization에 대해 배웁니다. 우선 Linear Classifcation은 KNN과 달리 Linear Classification은 Parametric Approach로 가중치 값 W가 있습.. 공감수 0 댓글수 0 2021. 2. 20.
CS231n - Lecture2 안녕하세요. 오랜만에 글을 씁니다! 1월 한달 동안 일이 있어서 마무리 짓고 다시 돌아왔습니다. 이번에는 CS231n의 강의를 정리하게 되었습니다. 추천시스템 쪽으로 논문을 읽다보니 딥러닝 지식이 많이 요구되네요. 지난번에 AutoEncoder를 한 번 정리하긴 했는데 기초적인 부분이 좀 부족한 것 같아서 CS231n을 보면서 다시 한 번 딥러닝 기초를 정리하려 합니다. 일단 계획은 AutoEncoder전까지를 들으려 하며 이후는 상황에 따라 더 들을지 말지 결정할 것 같습니다. 이번에 정리하는 글은 강의 위주로 하되 저한테 필요하다 싶은 것을 위주로 정리합니다. 그렇기 때문에 강의 전체 내용을 원하시는 분은 이 글을 읽는 것을 추천드리지 않습니다. 참고 자료는 다음과 같습니다. CS231n Lectur.. 공감수 0 댓글수 0 2021. 2. 11.
LSTM 안녕하세요. 이번에는 RNN 계열의 LSTM 모델에 대해 보도록 하겠습니다. 참고자료는 다음과 같습니다. 아래 그림들과 전체적인 LSTM 구조 www.coursera.org/lecture/nlp-sequence-models/long-short-term-memory-lstm-KXoay Long Short Term Memory (LSTM) - Recurrent Neural Networks | Coursera Video created by deeplearning.ai for the course "Sequence Models". Learn about recurrent neural networks. This type of model has been proven to perform extremely well on .. 공감수 0 댓글수 0 2020. 12. 28.
Recurrent Neural Network 안녕하세요. 이번 시간엔 딥러닝 모델 중 Recurrent Neural Network에 대해 알아보겠습니다. 참고자료는 다음과 같습니다. Coursera : 전반적인 글 구조는 여기 사이트의 'Recurrent Neural Networks' 파트를 참조했습니다. www.coursera.org/learn/nlp-sequence-models Sequence Models Offered by deeplearning.ai. This course will teach you how to build models for natural language, audio, and other sequence data. Thanks to deep learning, sequence algorithms are working far be.. 공감수 0 댓글수 0 2020. 12. 27.
Variational AutoEncoder(VAE) 안녕하세요. 이번 시간엔 Variational AutoEncoder에 대해 보겠습니다. (현재 모델을 실험할 수 없는 환경이라 이론만 계속 공부하고 있습니다) 현재 Variational Autoencoder를 활용한 추천시스템 논문을 읽다보니 이 알고리즘을 공부하게 되었습니다. 참고 자료는 다음과 같습니다. Variational AutoEncoder 기초, Reparametrizing trick jaejunyoo.blogspot.com/2017/05/auto-encoding-variational-bayes-vae-3.html 초짜 대학원생의 입장에서 이해하는 Auto-Encoding Variational Bayes (VAE) (3) Machine learning and research topics exp.. 공감수 0 댓글수 0 2020. 12. 18.
Probabilistic Matrix Factorization (알고리즘) 안녕하세요. 이번 시간엔 추천시스템에서 Matrix Factorization의 일종인 Probabilistic Matrix Factorization(PMF)에 대해 보도록 하겠습니다. 참고한 자료는 다음과 같습니다. Mnih, A., & Salakhutdinov, R. R. (2008). Probabilistic matrix factorization. In Advances in neural information processing systems (pp. 1257-1264). papers.nips.cc/paper/2007/file/d7322ed717dedf1eb4e6e52a37ea7bcd-Paper.pdf Probabilistic Matrix Factorization 코드 github.com/fuhaili.. 공감수 5 댓글수 1 2020. 12. 8.
Item-Based Collaborative Filtering Recommendation Algorithms (구현) 안녕하세요. 이번 시간엔 해당 논문을 직접 구현해보겠습니다. 블로그에 나온 설명은 요약해서 올린 설명입니다. 전체 코드는 아래 홈페이지에서 자세히 보실 수 있습니다. (함수 부분은 너무 길어서 여기에 올리지 않았습니다) github.com/Hwan-I/Study/blob/master/Recommend/Item-Based%20Collaborative%20Filtering%20Recommendation%20Algorithms/main.ipynb Hwan-I/Study Contribute to Hwan-I/Study development by creating an account on GitHub. github.com 코드 구현할 때 참고한 곳은 다음과 같습니다. https://github.com/jsongca.. 공감수 0 댓글수 2 2020. 12. 2.
Item-Based Collaborative Filtering Recommendation Algorithms (1) (급하신 분들은 여기 단락은 안 읽으셔도 됩니다!) 안녕하세요. 한동안 또 글을 못쓰다가 오랜만에 쓰게 됐습니다. 원래대로라면 Neural Collaborative Filtering 코드를 올리려했으나 아직 완성되지 않아서 우선은 다른 논문을 먼저 올리게 되었습니다. 추천 시스템 입문하시는 분이시라면 이 논문을 먼저 보시는 것도 좋을 것이라 생각이 듭니다. 서론 이번 시간에는 Item-Based Collaborative Filtering 모델입니다. 추천시스템에서 흔히 나오는 Collaborative Filtering 중에서 top-K개를 활용할 때 User-Based로 하느냐, Item-Based로 하느냐로 갈리기도 하는데 여기서는 Item-Based입니다. 간단하게 Collaborative Filte.. 공감수 0 댓글수 0 2020. 12. 1.
Text Classification Algorithms: A Survey (알고리즘 파트) 안녕하세요. 이번 시간엔 'Text Classification Algorithms: A Survey'라는 논문에 대한 리뷰를 하겠습니다. 2019년에 나온 아주 핫한 논문으로 자연어 처리의 기초를 공부하신다면 이 논문을 한 번 보셔도 좋을 것 같습니다. 저도 자연어 처리 기초를 공부하기 위해 이 논문을 봤는데 개괄적인 프로세스를 이해할 수 있어서 유용했습니다. * 참고로 이번 리뷰에서는 자연어 처리의 개괄적인 부분을 공부하는 것이 목표라 알고리즘에 대한 자세한 설명은 쓰지 않습니다. 참고 자료는 다음과 같습니다. ○ 논문 : Kowsari, Kamran, et al. "Text classification algorithms: A survey." Information 10.4 (2019): 150. ○ L.. 공감수 1 댓글수 4 2020. 11. 16.
Neural Collaborative Filtering(2) - 알고리즘 및 결과 안녕하세요. 이번 시간에는 Neural collaborative Filtering 논문의 알고리즘과 실험결과에 대한 글을 쓰게 되었습니다. 참고한 자료는 다음과 같습니다. dl.acm.org/doi/pdf/10.1145/3038912.3052569?casa_token=VM4gR4Yo_pAAAAAA:mwNCtCHyn5zvaRRSF888iwqbPp4kZ3-eDARlEpLU2ErUa75eiVjtjNXg0eWITlNda0BOLHGeCrZV6o4 Neural Collaborative Filtering | Proceedings of the 26th International Conference on World Wide Web WWW '17 Paper Acceptance Rate 164 of 966 submission.. 공감수 1 댓글수 0 2020. 11. 15.
Neural Collaborative Filtering(1) - 도입부 안녕하세요. 이번 시간에는 Neural collaborative Filtering 논문의 도입부에 대한 글을 쓰게 되었습니다. 2017년에 나온 논문으로 2020년 11월 10일 기준, 인용수 1699회를 기록하고 있는 엄청난 논문입니다. dl.acm.org/doi/pdf/10.1145/3038912.3052569?casa_token=8qbBc5hXbz0AAAAA:1RhLPKE1yd1QwcHmgVtxt9kigsnNmZxQ81R0Zxxdcl0_KxuNLYc-X90K65HYXofCk8v0UwqEEMQHgJg Neural Collaborative Filtering | Proceedings of the 26th International Conference on World Wide Web WWW '17 Paper.. 공감수 0 댓글수 0 2020. 11. 10.
트리 순회 참고 자료는 다음과 같습니다. - 파이썬 자료구조와 알고리즘 (한빛미디어, 2019) 트리 순회 ○ 순회 : 트리, 그래프 같은 연결된 구조에서 노드에 접근할 때 사용되는 알고리즘 ● 모든 노드에 접근하는 방법 또는 특정 노드만 접근하는 방법을 찾는 것임 깊이 우선 탐색 ○ 깊이 우선 탐색 : 그래프 또는 트리에서 깊이를 우선하여 탐색하는 알고리즘 ○ 시간 복잡도 : O(도달할 수 있는 노드 수 + 도달한 노드에서 나가는 간서너 수) ○ 후입선출 구조의 스택 사용해 구현함 전위 순회 ○ 루트 노드 -> 왼쪽 노드 -> 오른쪽 노드 순으로 접근 ex) * 노드 위의 숫자가 접근 순서임 후위 순회 ○ 왼쪽 노드 - 오른쪽 노드 -> 루트 노드 순으로 접근 중위 순회 ○ 왼쪽 노드 -> 루트 노드 -> 오른쪽.. 공감수 0 댓글수 0 2020. 10. 27.
트리 참고 자료는 다음과 같습니다. - 파이썬 자료구조와 알고리즘 (한빛미디어, 2019) - AVL 트리 m.blog.naver.com/PostView.nhn?blogId=isaac7263&logNo=221571700949&proxyReferer=https:%2F%2Fwww.google.com%2F [자료구조] 균형 잡힌 이진 탐색 트리 : AVL 트리 [자료구조] 균형 잡힌 이진 탐색 트리 : AVL 트리균형 잡힌 이진 탐색 트리, AVL 트리는 이진 탐색... blog.naver.com - AVL 트리 lipcoder.tistory.com/entry/AVL-%ED%8A%B8%EB%A6%AC AVL 트리 (AVL tree) 이진 트리의 문제점 이진 트리의 문제점은 한쪽으로 치우친 형태로 트리 구조가 만들.. 공감수 0 댓글수 0 2020. 10. 27.
그래프 참고 자료는 다음과 같습니다. - 파이썬 자료구조와 알고리즘 (한빛미디어, 2019) - 그래프 ko.wikipedia.org/wiki/%EA%B7%B8%EB%9E%98%ED%94%84_%EC%9D%B4%EB%A1%A0_%EC%9A%A9%EC%96%B4 그래프 이론 용어 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. 그래프 이론에서 사용하는 많은 용어들에 대해서 정리한다. 그래프 이론은 오랫동안 연구되어 왔고 지금도 활발하게 연구되고 있기 때문에 그래프 이론에서 ko.wikipedia.org - 평면 그래프 miretia.tistory.com/388 입체도형을 꾹꾹 눌러보자-평면그래프 오랜만에 글을 쓰는군요. 그 중에서도 수학을 주제로 잡은 것이 너무너무 오랜만인 것 같아요. 오늘.. 공감수 0 댓글수 0 2020. 10. 26.
검색, 동적 계획법 참고 자료는 다음과 같습니다. - 파이썬 자료구조와 알고리즘 (한빛미디어, 2019) 검색 검색 알고리즘 : 순차 검색, 이진 검색이 있음 ○ 순차 검색 : 배열이 정렬되어 있지 않거나, 연결 리스트 같이 입력이 동적으로 할당되는 경우 사용 ● 시간복잡도 : O(1)로 최악의 경우 O(n)임 ○ 이진 검색 ● 정렬된 배열 내에서 지정된 입력값의 위치(키)를 찾음 ● 각 단계에서 입력값과 배열 중간 요소 비교하여 일치 안할 때 값의 크기에 따라 왼쪽 또는 오른쪽 하위 배열에서 검색과정 반복. ● 시간 복잡도 : O(log n) 동적 계획법 동적 계획법 ○ 복잡한 문제를 재귀를 통해 간단한 하위 문제로 분류해 단순화하여 해결하는 방법 ○ 어떤 문제가 최적 부분 구조와 중복되는 부분 문제 가지면 동적 계획법으.. 공감수 0 댓글수 0 2020. 10. 26.
추상 데이터 타입 참고 자료는 다음과 같습니다. - 파이썬 자료구조와 알고리즘 (한빛미디어, 2019) - duwjdtn11.tistory.com/241 __str__ 과 __repr__ 0.__str__과 __repr__ 1. 개요 파이썬에서 매우 자주 쓰이고 은근히 햇갈린느 두 메소드에 대해 다뤄본다. __str_ 과 __repr__로써 이 둘은 객체를 사용자가 이해할 수 있는 문자열로 반환하는 함수다. 2. �� duwjdtn11.tistory.com - mattlee.tistory.com/48 기본 개념과 삽입 삭제 알고리즘 정리 # 히프의 개념 히프(heap)는 "더미"라는 뜻이다. 히프는 여러 개의 값들 중에서 가장 큰 값이나 가장 작은 값을 빠르게 찾아내도록 만들어진 자료구조이다. 히프는 간단히 말하면 부모 .. 공감수 0 댓글수 0 2020. 10. 20.
파이썬 기초 정리(2) 안녕하세요. 이번에는 Python 기초 정리 2번째를 해보도록 하겠습니다. 참고한 자료는 다음과 같습니다. - 파이썬 자료구조와 알고리즘 (한빛미디어, 2019) - 점프 투 파이썬 wikidocs.net/book/1 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net - 파이썬 코딩 도장 dojang.io/course/view.php?id=7 강좌: 파이썬 코딩 도장 모두 펼치기모두 접기 dojang.io asfirstalways.tistory.com/335 [DP] 1. 싱글턴 패턴(Singleton pattern) #1. 싱글턴 패턴(Singleton Pattern) 싱글턴 패턴이란 인스턴스를 하나만 만들어 사용하기 위한 패턴이다. 커넥션 풀, 스레드 풀, 디바이스 설정 객체 .. 공감수 0 댓글수 0 2020. 10. 16.
파이썬 기초 정리(1) 안녕하세요. 여기 글은 제가 Python을 하면서 필요한 개념과 기초들을 정리한 곳입니다. 참고 자료는 다음과 같습니다. - 파이썬 자료구조와 알고리즘 (한빛미디어, 2019) - 점프 투 파이썬 wikidocs.net/book/1 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net - 핵심만 간단히, Hello World! 파이썬 3 wikidocs.net/book/1657 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net - 파이썬 - 기본을 갈고 닦자! wikidocs.net/book/1553 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 1. 부동소수점 ○ 실수를 컴퓨터상에서 근사하여 표현할 때 소수점의 위치를 고정하지 않고 .. 공감수 0 댓글수 0 2020. 10. 15.
추천시스템 - Incremental Singular Value Decomposition Algorithms(2) 안녕하세요. 이번 시간엔 Incremental Singular Value Decomposition Algorithms을 구현해보겠습니다. 참고한 자료는 다음과 같습니다(지난 번과 유사합니다). Incremental Singular Value Decomposition Algorithms for Highly Scalable Recommender Systems (B Sarwar외, 2002) : 알고리즘 논문 Evaluation of standard SVD-based techniques for Collaborative Filtering (M Vozalis외, 2009) : matrix factorization을 할 때 평가하는 방법에 대한 논문 https://drive.google.com/file/d/0Byl.. 공감수 0 댓글수 0 2020. 10. 14.
추천시스템 - Incremental Singular Value Decomposition Algorithms(1) 안녕하세요! 이번 시간엔 추천시스템에서 model-based의 matrix factorization 방법인 SVD 관련 알고리즘을 보도록 하겠습니다. 참고한 자료는 다음과 같습니다. Incremental Singular Value Decomposition Algorithms for Highly Scalable Recommender Systems (B Sarwar외, 2002) : 오늘 설명할 알고리즘의 논문 Application of Dimensionality Reduction in Recommender System (B Sarwar외, 2000) : folding-in 방법에 대한 논문 Evaluation of standard SVD-based techniques for Collaborative Fil.. 공감수 0 댓글수 0 2020. 10. 12.
추천시스템 - 기초2 안녕하세요. 이번 시간에는 추천시스템 기초 2편에 대해 글을 쓰게 되었습니다. 사실 2편까지는 쓰지 않을 줄 알았는데 기초를 정리하다보니 2편까지 필요하게 되어 추가하게 되었습니다. 참고한 자료는 다음과 같습니다. Bobadilla, Jesús, et al. "Recommender systems survey." Knowledge-based systems 46 (2013): 109-132. www.sciencedirect.com/science/article/pii/S0950705113001044?casa_token=WGZyluifqRgAAAAA:rlG4XfjonXkw53iu8cBOQSe0BHhAHl3O8WAWUfHGbQo_mwL05dzkpMw9ezz9Q0lBkGj64cFDu9Fv Recommender sy.. 공감수 0 댓글수 0 2020. 10. 8.
추천시스템 - 기초 안녕하세요! 오랜만에 글을 올립니다!! 이것저것 하다보니 글을 자꾸 못쓰다가 이제야 쓰게 되었습니다.. * 글에서 잘못된 부분이 있어 수정해서 다시 올립니다. 이번에는 추천시스템에 대해 살펴보겠습니다. 사실 제가 지금 주로 공부하려는 쪽이 추천시스템이기도 해서 아마 이쪽으로 글이 주로 올라올거에요. 자연어의 경우 필요할 때마다 공부하는 쪽으로 방향을 바꿔서 아마 제가 필요할 때는 추가적으로 글을 올릴 것 같아요(조만간 Word2vec 활용부분에 대해 짤막하게 한번 올릴거고요!) 이번에 참고한 글들은 다음과 같습니다. en.wikipedia.org/wiki/Collaborative_filtering Collaborative filtering - Wikipedia From Wikipedia, the free.. 공감수 0 댓글수 0 2020. 10. 8.
word2vec (2) 안녕하세요! 이번 시간에는 지난번에 올린 word2vec(1)에 이어 2편을 정리해서 올리게 되었습니다! 지난 시간에는 word2vec의 기초로 1개의 word를 input으로 넣고 1개의 word를 output으로 하는 모델을 알아보았습니다. 이번에는 CBOW, Skip-gram 모델에 대해 알아보겠습니다. 이번에 참고한 자료는 다음과 같습니다. https://arxiv.org/pdf/1411.2738.pdf&xid=25657,15700021,15700124,15700149,15700168,15700186,15700191,15700201,15700208&usg=ALkJrhhNCZKc2CO7hRoTrGd6aH2nBc-ZVQ (논문) https://papers.nips.cc/paper/5021-distri.. 공감수 0 댓글수 0 2020. 8. 13.
word2vec (1) 안녕하세요! 이번 시간에는 자연어 처리의 기본적인 word2vec에 대해 글을 쓰겠습니다! 아마 한동안은 제가 자연어 모델들을 공부할 목적을 가져서 자연어 위주로 글이 올라올 것 같아요!(물론 다른 작업도 하다보니 그쪽 관련 글도 올라올 수 있습니다!) 이번 시간에 참고한 글은 다음과 같습니다. ○ word2vec 관련 논문 : 저자가 원래 쓴 설명 형식으로 쓴 글인데 저는 여기 설명이 더 와닿아서 이 글을 참조했습니다. https://arxiv.org/pdf/1411.2738.pdf&xid=25657,15700021,15700124,15700149,15700168,15700186,15700191,15700201,15700208&usg=ALkJrhhNCZKc2CO7hRoTrGd6aH2nBc-ZVQ wor.. 공감수 0 댓글수 2 2020. 8. 7.
DTW(Dynamic Time Warping) 안녕하세요! 이번 시간에는 DTW에 대해 포스팅 했습니다. 아마 시계열 데이터를 전처리하다보면 한번쯤 들어봤을만한 알고리즘입니다. 제가 참고한 사이트는 다음과 같습니다. https://towardsdatascience.com/dynamic-time-warping-3933f25fcdd Dynamic Time Warping Explanation and Code Implementation towardsdatascience.com https://en.wikipedia.org/wiki/Dynamic_time_warping Dynamic time warping - Wikipedia From Wikipedia, the free encyclopedia Jump to navigation Jump to search Not.. 공감수 2 댓글수 0 2020. 8. 2.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.