전체 글 (20) 썸네일형 리스트형 Transformer - Structure, Posititonal Encoding Transformer에 앞서, Attention 매커니즘 이란? 어텐션 메커니즘(Attention Mechanism)은 인공 신경망 모델이 입력 데이터의 특정 부분에 더 집중하도록 하는 기술로, 인간이 정보를 처리할 때 중요한 부분에 집중하는 것과 유사하게, 모델이 입력 시퀀스의 모든 부분을 동일하게 처리하는 대신, 특정 부분에 더 많은 가중치를 부여하여 중요한 정보를 효과적으로 추출하고 처리하는 방법입니다. 1) Attention 매커니즘의 등장 배경 RNN 기반의 기존 Seq2Seq 기반의 번역, 요약 방식은 3가지 문제점이 있었습니다.학습시간(🐢 느림) : RNN은 순차적으로 입력을 처리해야하기에 병렬화가 불가능했고, 대규모의 데이터셋의 경우 학습 시간이 지나치게 길어졌습니다.정보소실(🕳️ 까.. 텐서플로우 주요 연산 함수 TensorFlow의 주요 연산 함수TensorFlow는 다양한 수학 연산 및 텐서 조작 함수를 제공한다.다음은 자주 사용되는 주요 연산 함수 목록이다. tf.constant() : 상수텐서생성 기본 수학 연산:tf.add(x, y): 덧셈tf.subtract(x, y): 뺄셈tf.multiply(x, y): 요소별 곱셈tf.divide(x, y): 나눗셈tf.matmul(x, y): 행렬 곱셈tf.pow(x, y): 거듭제곱tf.exp(x): 지수 함수tf.sqrt(x): 제곱근행렬 연산:tf.transpose(x): 전치tf.linalg.inv(x): 역행렬tf.linalg.det(x): 행렬식tf.linalg.solve(A, b): 선형 방정식 Ax = b 해tf.tensordot(a, b, axe.. LSTM의 Cell State와 Gate별 특징 LSTM NetworkRNN와 LSTM의 차이를 그림을 통해 살펴보면, RNN과 다르게 LSTM은 셀의 값을 얼마나 기억할지 결정하는 것이 가능한 게이트를 가지고 있어서 필요한 정보만 기억할 수 있도록 제어하는 특징을 가지고 있다. 입력 게이트(Input Gate), 망각 게이트 (Forget Gate), 출력 게이트 (Output Gate) 세 가지 게이트로 cell state정보를 변경할 수 있다.1. cell stateLSTM의 핵심 아이디어로, 모듈 그림에서 수평으로 그어진 윗 선에 해당한다. 이전 상태에서 현재 상태까지 유지되는 정보의 흐름이며, 이를 통해 LSTM은 오래된 정보를 기억하고 새로운 정보를 적절하게 갱신할 수 있다. Cell state는 자기 자신에게 피드백을 하게 되는데, Ce.. RNN(Recurrent Neural Networks) 유튜브 신박 AI 님의 RNN 영상을 정리해서 작성하였습니다.RNN(Recurrent Neural Networks)RNN은 순차 데이터나 시계열 데이터를 이용하는 인공 신경망의 유형으로, 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내면서, 다시 은닉층 노드의 다음 계산의 입력으로 보내는 특징을 갖고있다. 그림을 보면, 뉴럴넷 덩어리 A 가 있고, Xt 는 입력값, ht의 결과값 이다. A의 결과는 다시 A로 들어가서 루프를 만들어 주는 원리인데, 이렇기 때문에 현재의 상태(state)가 그 다음 상태(state)에 영향을 미치게 된다. 입력 X 가 있으면 RNN을 연산을 통해 상태(state)를 계산하고 그 상태(state)가 자기 입력이 되게 되고, 각 상태(state.. 시퀀스-투-시퀀스(Sequence-to-Sequence) 시퀀스-투-시퀀스(Sequence-to-Sequence, seq2seq)?1. Seq2Seq Architecture 2개의 모듈, Encoder와 Decoder로 구성되어 있어서 Encoder-Decoder 모델이라고도 부른다. 시퀀스-투-시퀀스(Sequence-to-Sequence)는 입력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 다양한 분야에서 사용되는 모델로 예를 들어 챗봇(Chatbot)과 기계 번역(Machine Translation)가 대표적인 사용 예이다. 아키텍쳐의 내부를 살펴보면 두 개의 RNN 아키텍처로, 입력 문장을 받는 RNN 셀을 인코더라고 하고, 출력 문장을 출력하는 RNN 셀을 디코더라고 한다. 또한 인코더와 디코더 내부는 LSTM 셀 또는 GRU 셀들로 구성된다. 인.. 케라스 하이퍼파라미터 튜닝(Keras hyperparameter Tuning) feat. 케창딥 13장 AIFFEL을 진행하며 케창딥 13장 케라스 하이퍼 파라미터 튜닝을 학습하고 실습하였다. 하이퍼 파라미터 튜닝 Flow케라스 창시자에게 배우는 딥러닝에서 소개하는 하이퍼 파라미터 튜닝을 포함한 모델 훈련의 Flow는 아래와 같다. hp 인수를 포함한 모델 구축 함수 정의Tuner 정의(RandomSearch, Bayesian Optimization, hyperband)데이터 준비(training, validation, testing)최상의 하이퍼파라미터 설정 확인하기 (call back 함수 설정) 최적의 epoch 찾기최종 모델 훈련 및 평가 1. 모델 구축 함수 정의케라스 창시자에게 배우는 딥러닝에서 소개하는 모델 구축방법은 2가지로 함수형 접근 방식, HyperModel 클래스 접근 방식이 있다... Semantic Segmentation 기반 아웃포커싱: Depth Estimation, Instance Segmentation을 통한 정확도 향상에 관하여 Aiffel 리서치 과정을 하면서 Semantic Segmentation을 위해 학습된 DeepLab mode을 가져와 Outfocusing을 실습하였음.학습 과정 중 DeepLab을 활용한 Semantic Segmentation의 단점(1. 연산량이 많아 시간이 많이 걸림 2. 경계(디테일) 부분에서의 보케가 아쉬움)을 알게 되었고 다른 Out focusing 기법을 찾아보다가, depth Estimation 기법을 알게 되어서 두 개념을 비교해 보고 정리해보았음 들어가기 전 사전 지식, CV(컴퓨터비전)의 가장 중요한 문제들CV에서 다루는 주요 문제들을 소개하면 크게 Classification, Localization/Detection, Segmentation로 나뉨 1. Classificatio.. [Git] Fork Fork GitHub에서 fork는 다른 사용자의 저장소(repository)를 자신의 계정으로 복사하는 것. 이렇게 복사된 저장소는 원본 저장소와 완전히 독립적으로 관리되며, 원본 저장소에 영향을 주지 않고 자유롭게 변경할 수 있음.1. fork와 clone의 차이점fork: GitHub 서버에서 원격 저장소를 복사하여 자신의 계정에 새로운 저장소를 만듬clone: 원격 저장소를 자신의 컴퓨터로 복사하여 로컬 저장소를 만듬2. Pull requset다른 개발자가 만든 오픈소스 프로젝트에 자신의 변경사항을 제안하고, 원래 저장소의 소유자가 해당 변경사항을 검토하고 병합할 수 있도록 요청하는 것. 말 그대로 Pull(당기도록) Request(요청)하는 것.fork 후 pull-request 하기까지의 절.. 이전 1 2 3 다음
