Abstract tranformer구조는 nlp분야에서 높은 성능을 보이며 표준으로 자리잡았지만 computer vision 분야에서는 제한적이다. computer vision분야에서 attention은 cnn에 결합해서 쓰거나 cnn의 구성 요소를 대체하는 식으로 간접적으로만 사용된다. cnn에 대한 의존을 끊고 transformer를 직접적으로...
attention은 기존 인코더 디코더의 성능을 강화시키며 주목받고 있던 메커니즘이다. 이 논문에서 attention을 발표현 것이 아닌 RNN을 사용하지 않고 attention만으로도 입력 데이터에서 중요한 정보를 찾아 단어를 인코딩 할 수 있다는 것을 발표한 것이다. Transformer 개요 RNN은 LSTM고 기존 자연어 처리 task에서 ...
정리 목차 서론 문제인식 문제정의 아이디어도출및평가 프로토타입제작및테스트 참고문헌 서론 ‘하모니아’는노래에어울리는화음을찾아주는서비스를개발하여사용자들에게음악적 영감을제공하고화음을쌓는것에도움을주고자한다.이서비스는원하는노래에 어울리는화음을찾아주는기능을제공한다. 문제인식 2.1. 주제 선정과정 01...
Sequence Models (Course 5 of the Deep Learning Specialization) Basic Models 어떻게 새로운 network를 학습해서 시퀀스 x를 입력으로 하고 시퀀스 y를 출력할 수 있을까? 인코더 네트워크와 디코더 네트워크로 구성된다. 이와 비슷한 구조로 이미지 캡션도 수행할 수 있다. pr...
vision transformer에 대해서 알아보았습니다. 원래 Transformer는 주로 자연어 처리(NLP)에서 텍스트를 분석하고 이해하는 데 사용되던 기술입니다. 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망입니다. 이 방식을 이미지 분석에 적용한 것이 Vision Transformer(ViT)입니다. ...
Sequence Models (Course 5 of the Deep Learning Specialization) Why sequence model 시퀀트 모델 사용 예시 음성인식: 입력과 출력 모두 시퀀스 데이터인데 x는 시간에 따라 재생되는 음성이며 y는 단어 시퀀스이다. 음악 생성: 아웃풋만 시퀀스 데이터이고 입력은 빈 집합이거나 단일...
Convolutional Neural Networks (Course 4 of the Deep Learning Specialization) Object Localization Object Detection 객체 탐지를 위해 먼저 Object Localization을 알아보자. with localization은 자동차라는 것과 더불어 boundin...
Convolutional Neural Networks (Course 4 of the Deep Learning Specialization) Computer Vision 이미지 분류, 물체 감지, 신경망 스타일 변형 컴퓨터 비전 문제 인풋의 크기가 클 수 있다.->합성곱 Edge Learning Specializetion 이미지 세로...
오옹 주성분 분석! 저번에 이미 정리해둔 것이 있다. 행렬 분해와 차원 축소 - 주성분 분석 이것도 같이 참고해보도록! 차원과 차원 축소 데이터가 가진 속성을 특성이라고 한다. 머신러닝에서는 특성을 차원이라고도 부른다. 이 차원을 줄이면 저장 공간을 절약할 수 있게 된다 다차원 배열에서 차원은 축의 개수이지만 1차원 배열에서는 원소의 개수...
k-평균 알고리즘의 작동 방식을 이해하고 과일 사진을 자동으로 모으는 비지도 학습 모델을 만들어보자 타깃값을 모르는 비지도 학습에서 어떻게 평균값을 구할까? k-평균 군집 알고리즘이 평균값을 찾아준다. 이 평균 값이 클러스터의 중심에 위치하기 때문에 클러스터 중심, 센트로이드라고 부른다. 클러스터의 사전적 정의는 집합, 군집을 말한다. 비슷한 공...