티스토리

몽글몽글피어나

검색하기

블로그 홈

몽글몽글피어나

cheerplay.tistory.com/m

해서 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[OCR] [4] 인식기 - ParSeq 핵심 키워드 Permutation Language Modeling (PLM)Attention MaskVIT EncoderVisio-lingual DecoderContext-Postion AttentionImage-Posion Attention Scene Text Recognition(STR) - ParSeqhttps://arxiv.org/abs/2207.06966Unified STR ModelParSeq 모델 구조 Permutation Language Modeling (PLM) PLM: T가 context length를 의미할 때, T! 개의 Permutation 후보 중 K개를 선정한 뒤 임의의 방향에 대한 context를 학습할 수 있도록 하는 방법이다. 다시 말해, T! 개의 Permutati.. 공감수 2 댓글수 2 2024. 10. 29.
[OCR] [3] 인식기 개요 및 TRBA 핵심키워드Scene Text Recognition (STR)TPS(Thin-Plate-Spline)Connectionist Temporal Classification (CTC)Attention Text Recognition - Data SetRegular: 가로로 배치되어 있으며 문자 사이 간격이 균일한 문자가 있는 텍스트 이미지를 지칭Irregular: 보통 휘어져 있거나 회전되어 있는 텍스트가 포함된 이미지를 지칭하며, Regular보다 글자를 인식하기 더 어려운 케이스가 포함됨인식하기 어려운 이미지들Transformation: Irregular 텍스트를 regular 텍스트처럼 보정 해주는 변환 작업 Labeled Dataset의 부족 Real Dataset 같은 경우 이미지에서 word box 찾.. 공감수 1 댓글수 1 2024. 10. 28.
[OCR] [2] 검출기 - DBNet++ 핵심키워드 Differential Binarization Standard BinarizationAdaptive Scale FusionShrink Dilate Text Detection - DBNet++ (Differentiable Binarization Network++) https://arxiv.org/pdf/1911.08947DBNet++ 모델의 구조 DBNet++ 의 개념 및 특징 idea: 일반적인 Segmentation 기반의 모델은 추론 결과를 이진화하여 Box, Polygon형태로 검출하는 후처리 과정이 필요하다. 이를 위해 Segmentation Map 전체에 대해 단일 기준의 Threshold를 적용하여 이진화를 진행한다. 하지만, Threshold를 할 때 pixel마다 같은 값을 .. 공감수 0 댓글수 0 2024. 10. 28.
[OCR] [1] 개요 및 검출기 - CRAFT 핵심 키워드Text DetectionText RecognitionCRAFTRegion ScoreAffinity ScoreWeakly-supervised learning OCR이란 광학 문자 인식 = Optical Character Recognition 텍스트 이미지를 기계가 읽을 수 있는 텍스트 포맷으로 변환하는 과정 이미지 데이터 -> 텍스트 데이터 OCR은 검출(Text Detection), 인식(Text Recognition) 2가지 모델을 학습시키는 것으로 이해할 수 있다.검출 - Text Detection쉽게 말해 이미지에서 텍스트를 감지하고 해당 영역을 추출하는 것이다. 사람은 이미지를 보고 이게 텍스트라는 것을 어떻게 알 수 있을까? 만약 한국인이 한국말이 아니라 이집트어가 이미지에 적혀 있.. 공감수 1 댓글수 1 2024. 10. 27.
[Transformer] Vision Transformer이해하기 핵심 키워드Patch embedding Positional encoding (interpolation)Drop PathMulti Head Self-Attention Vision Transformer ideaCV와 NLP에서 공통적으로 나타나는 문제 중 하나는 Long-range dependency 문제이다. CNN의 convolution filter는 local 정보에 집중한다. 이는 작은 receptive field 내에서만 정보를 처리하고 깊은 층을 쌓을수록 정보를 통합하는 방식이다. 이는 필터 크기를 늘린다고 해도, 근본적인 global 정보를 처리하는데 한계가 있다.-> CNN 대신 Transformer 구조를 사용할 수 없을까?image의 픽셀을 token으로 사용하자. -> (256, 256).. 공감수 0 댓글수 0 2024. 10. 24.
[NLP Project] Dialogue Summarization | 일상 대화 요약 1. 프로젝트 개요A. 개요주어진 데이터를 활용하여 일상 대화를 바탕으로 요약문을 생성하는 모델 구축. B. 데이터최소 2턴, 최대 60턴으로 대화가 구성되어 있다. 대화(dialogue)를 보고 이에 대한 요약(summary)을 예측하는 것이 최종 목표이다.dialouge: 최소 2명에서 최대 7명이 등장하여 나누는 대화 내용, 각각의 발화자를 구분하기 위해#Person”N”#: 을 사용하며, 발화자의 대화가 끝나면 \n 으로 구분summary: 해당 대화를 바탕으로 작성된 요약문 특이사항: 원본 데이터가 영어인 Dialogsum dataset를 한국어로 번역한 Dataset -> 주어진 데이터셋은 번역체 C. 평가지표 ROUGE-1-F1, ROUGE-2-F1, ROUGE-L-F1, 총 3가지 종류.. 공감수 4 댓글수 9 2024. 9. 27.
[LLM]Large Language Model 근간 이론 핵심 키워드Foundation models In-Context LearningN-Shot Learing (Zero-Shot, One-Shot, Few-Shot)Instruction tuning SFT(Supervised Fine-Tuning)RLHF(Reinforcement Learning from Human Feedback) Large Language Model (LLM) 방대한 파라미터 수를 가진 언어모델단일 모델로 여러 Task를 처리 -> Foundation models LLM의 등장 배경 Scaling Law컴퓨팅 리소스, 데이터 사이즈, 파라미터 수를 늘리면 모델의 성능이 좋아진다 -> 법칙 -> 과감한 투자 가능 In-Context LearningFine Tuning vs In-Cont.. 공감수 7 댓글수 7 2024. 9. 24.
Encoder-Decoder Model - BART 핵심 키워드BARTText Infilling Auto-regressiveSequence Generation TasksEncoder-DecoderSequence-to-Sequence task 수행에 특화된 모델 구조Encoder-Decoder는 source문장과 target 문장의 속성이 다르고 이를 변환하는 task에서 좋은 성능을 가진다. (e.g. 요약, 변역)BARTpaper - BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and ComprehensionEncoder-Decoder 구조의 효과적인 사용을 위해 새로운 학습 방법을 제안Transformer와 같은 구조를 사용 .. 공감수 0 댓글수 0 2024. 9. 24.
Decoder Model (GPT 1,2,3) 핵심 키워드Causal Language ModelingMasked Multi-head Self-AttentionIn-Context learning Decoder Model (GPT-1)paper - Improving Language Understanding by Generative Pre-Training Language Understanding: Text Entailment, QA, Classification 등 다양한 task 포함 Generative Pre-training: BERT의 MLM과 다르게, 다음 단어를 생성하는 방식으로 Pre-training 진행(Causal Language Modeling)Transformer Decoder 구조를 활용하여 생성에 강점을 가지는 모델 문장의 흐름대로, .. 공감수 1 댓글수 0 2024. 9. 24.
Encoder Model BERT 핵심 키워드 Encoder-only Masked Language Modeling (MLM)Next Sentence Prediction(NSP)BERT (Bidirectional Encoder Representations from Transformers) Transformer의 Encoder만으로 구성된 언어 모델 문장에서 무작위로 단어를 마스킹하여 양방향 단어 정보를 동시에 학습한 문맥 정보를 습득 위키피디아(25억 단어)와 BooksCorpus (8억 단어)와 같은 레이블이 없는 텍스트 데이터로 pre-training사전 학습된 언어 모델을 downstream task에 적용하기 위해 fine-tuning 수행 Bart-Base (1.1억 개의 파라미터에 해당하는 12개의 Encoder layer)Ba.. 공감수 0 댓글수 0 2024. 9. 24.
Transformer 이해하기 핵심 키워드 Self Attention (Multi-Head Attention)Causal Attention (Masked Multi-Head Attention)Cross Attention (Encoder - Decoder Attention) Teacher forcingTransformer 흐름 Encoder: inputs을 Embedding과 Positional Encoding 더한 값을 받는다. 이후 들어온 sequence를 이해하기 위해 Self Attention (Multi Head Attention)을 수행, Encoder output은 Key, Value의 역할 Decoder: 문장을 생성하기위해, Causal Attention (Masked Multi - Head Attention) 수행 후.. 공감수 0 댓글수 0 2024. 9. 23.
Attention 이해하기 Attention 탄생 배경 Long-term Dependency: sequence to sequence 구조에서 encoder가 입력 sequence를 고정길이 context vector로 압축하는 과정에서 정보가 손실되어서 이전의 정보를 잊는다. -> attention의 등장 배경Attention은 문맥에 따라 집중할 단어를 결정하는 방식으로 문맥을 최대한 고려할 수 있는 방식이다.Attention 이해하기- 한글을 영어로 번역하는 task에서 Decoder의 현재 time step을 밑에 그림에서 다음인 I 라고 가정해 보자.- 기존의 방식 (Attention 없음): 디코더가 인코더로부터 전달받은 압축된 context 벡터를 기반으로 번역을 수행한다. 디코더는 타임스텝 I에서 어떤 한국어 단어와.. 공감수 1 댓글수 1 2024. 9. 17.
[Generation] Diffusion Model의 이해 (DDIM, with GAN) https://cheerplay.tistory.com/27 [Generation] Diffusion Model의 이해 (DPM, DDPM)0. 확산 확률 모델 (Diffusion Probabilistic Model, DPM, 2015)목표: 확산 모델은 노이즈가 추가된 상태에서 역방향으로 진행하여 노이즈를 제거하면서 원본 데이터 x_0을 복원하는 것이다. 이 과정은 X_T부cheerplay.tistory.com 0. DDPM 한계점 느린 생성 과정 : 5만 개의 32 x 32 크기 이미지 생성을 위해 20시간이 필요조건부 생성 불가 : DDPM은 Unconditional 모델이다.품질-다양성 조절 불가1. DDIM (Denoising Diffusion Implicit Model, 2021) DDPM의.. 공감수 0 댓글수 0 2024. 8. 26.
[Generation] Diffusion Model의 이해 (DPM, DDPM) 0. 확산 확률 모델 (Diffusion Probabilistic Model, DPM, 2015)목표: 확산 모델은 노이즈가 추가된 상태에서 역방향으로 진행하여 노이즈를 제거하면서 원본 데이터 x_0을 복원하는 것이다. 이 과정은 X_T부터 시작해 X_T-1, X_t-2, ... , x_1을 거쳐 x_0로 점진적으로 돌아오는 과정이다.DPM - 확산 (물질(픽셀 값)이 섞이고 번져가다가 마지막에는 균일한 농도(노이즈) 가 되는 현상)- 정방향 확산 (Forward Diffusion Process): 데이터 -> 노이즈 - 역방향 확산 (Reverse Diffusion Process): 데이터 원본 이미지에 노이즈 스케줄에 맞게 noise를 더하고 nosie를 빼주는 과정을 학습한다.1. DPM - .. 공감수 2 댓글수 2 2024. 8. 25.
[Generation] Generative Adversarial Network (GAN) 0. 적대적 생성 신경망(Generative Adversarial Network, GAN) Generative(생성) , Adversarial(적대적), Network(신경망)적대적으로 학습하는 신경망들로 구성되며, 생성 모델로써 활용한다.- 생성모델 관점에서 VAE와 GAN의 차이VAE의 생성 방식: 데이터의 latent space를 가우시안 분포로 학습해 그 분포에서 샘플링하여 데이터를 생성하는 모델GAN의 생성 방식: 생성된 데이터와 실제 데이터를 판별하고 속이는 과정을 거치며 성성 모델을 개선 1. GAN의 구조데이터를 생성하는 생성 모델 (Generator)와 데이터의 진위를 구별하는 판별 모델(Discriminator)로 구성된다.생성 모델(Generator) : 랜덤 한 노이즈 벡터를 입력받.. 공감수 1 댓글수 1 2024. 8. 20.
[Generation] Variational Autoencoder (VAE) 0. 생성 모델이란? 주어진 데이터를 통해 데이터 분포를 학습하여 새로운 데이터를 생성할 수 있는 모델데이터 x와 특성 y의 결합(joint) 분포 p(x, y) or y가 주어질 때 x의 조건부 분포 p(x|y)를 추정하는 모델주어진 y가 없는 경우, 데이터의 주변(marginal) 분포 p(x)를 추정하는 모델 1. 가능도 (Likelihood) 특정 분포를 따르는 관측들을 토대로 이현상을 설명하는 모델이 얼마나 잘 설명하고 있느냐를 알려주는 지표 모델 파라미터 θ에 의존하는 분포 p(x;θ)를 따르는 n개의 데이터 x_1, x_2,..., x_n 관찰데이터로부터 모델 파라미터θ를 추정- 최대 가능도 추정은 주어진 데이터를 설명하기에 가장 그럴듯한 모델 파라미터를 찾는 과정이다.p(x_i;θ) -> .. 공감수 0 댓글수 0 2024. 8. 18.
[Boosting] Light GBM 목표: 대표적으로 많이 사용하는 Boosting 계열 Light Gradient Boosting Machine에 대해 공부한다.- Light GBM이 나오기전 배경 Boosting 계열로 성능이 약한 모델의 예측값에 대한 오차를 이용해 모델을 더욱 최적값으로 보완하며 성능을 높이는 방법이다.- AdaBoost (Adaptive Boosting)Adaboost는 여러 개의 약한 학습기(weak learner)를 결합하여 강한 학습기(strong learner)를 만드는 알고리즘이다.다시 설명하면 이전 모델(weak learner)이 틀리게 예측한 값에 가중치를 부여하여 다음 모델이 틀린 부분에 대해 잘 맞추도록 한다. step마다 오차가 큰 데이터에 대해서는 큰 가중치를, 오차가 작은 데이터에 대해서는 작.. 공감수 0 댓글수 0 2024. 7. 24.
랜덤 포레스트(Random Forest) 사전학습: Decision Tree, 앙상블 https://cheerplay.tistory.com/11 의사 결정 나무 (Decision Tree)- 의사 결정 나무 (Decision Tree) 의사 결정 나무는 의사결정 규칙(Decision rule)을 나무구조로 도표화하여 관심대상이 되는 집단을 몇 개의 소집단으로 분류(Classification)하거나 예측(Prediction)을 수행cheerplay.tistory.comhttps://cheerplay.tistory.com/14 [머신러닝] 앙상블(Ensemble)- 앙상블(Ensemble) 어떤 데이터를 학습할 때, 여러 개의 모델을 조화롭게 학습 시켜 그 모델들의 에측 결과들을 이용하여 더 정확한 예측 값을 구할 수 있다.- 앙상블(Ensembl.. 공감수 1 댓글수 0 2024. 6. 18.
[머신러닝] 앙상블(Ensemble) - 앙상블(Ensemble) 어떤 데이터를 학습할 때, 여러 개의 모델을 조화롭게 학습 시켜 그 모델들의 에측 결과들을 이용하여 더 정확한 예측 값을 구할 수 있다.- 앙상블(Ensemble) 종류Bagging(Bootstrap Aggregating) : Reduce the VarianceStacking: Use another prediction modelBoosting : Reduce the Bias - 이제 종류별로 하나하나 자세히 살펴보자! - Bagging (Bootstrap Aggregating)배깅(Bagging, Bootstrap Aggregating)은 머신러닝 앙상블 기법 중 하나로, 여러 개의 모델을 병렬로 학습시키고 이 모델들의 예측을 결합하여 성능을 향상시키는 방법이다.배깅의 주요.. 공감수 1 댓글수 1 2024. 6. 1.
로지스틱 회귀 (Logistic Regression) - 들어가기- 앞서 선형회귀에서 종속변수가 특정, 두 가지 값만 갖는 경우(범주형인 경우)에 선형회귀분석이 가능할까? - ex) 대학합격여부, 암 재발여부, 상품구매여부 등 - 종속변수가 0과 1값만 갖는 경우에 선형회귀분석을 적합시키는 경우,독립변수 X : 일일흡연량 범주형 종속변수 Y: 폐암 발병 여부 (폐암환자 1, 정상 0)- 어떠한 문제가 발생?잘 적합하지 않는 선형회귀 추정식Y 추정값이 0보다 작거나 1보다 큰 값을 가질 수 있음 - 선형회귀 모델의 보안 -> 로지스틱 회귀 - 로지스틱 회귀 (Logistic Regression)독립 변수 집합을 사용하여 종속 변수가 특정 범주에 속할 확률을 예측하는 모델로 출력이 0과 1사이의 값을 가지도록 하는 모델다시말해, 선형회귀 모형을 S자.. 공감수 0 댓글수 0 2024. 6. 1.
의사 결정 나무 (Decision Tree) - 의사 결정 나무 (Decision Tree) 의사 결정 나무는 의사결정 규칙(Decision rule)을 나무구조로 도표화하여 관심대상이 되는 집단을 몇 개의 소집단으로 분류(Classification)하거나 예측(Prediction)을 수행하는 분석 방법이다.최고의 장점은 해석력이다. 앞으로 나올 고도화된 모델들은 블랙박스 모델로 해석이 어렵다. 하지만 이 의사 결정 트리는 각각의 결정 규칙이 명확하게 이해되기 때문에 모델의 작동 방식을 이해하고 설명하기 쉽다. - 의사 결정 나무의 노드 분할 방법 (불순도 측정)- Gini index와 Entropy 두가지 방법이 있다.- Gini index P_k : 범위 A내에서 클래스 K에 속하는 관측치의 비율 지니 지수는 0~0.5 사이의 값을 가지며 0.. 공감수 1 댓글수 1 2024. 5. 30.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.