Transformer Positional Encoding 이해하기
이 글은 Transformer의 구조 중 Positional Encoding에 대한 설명과 이에 대한 참고자료를 정리하였습니다. Poisional Encoding은 문장 내 단어의 위치 정보를 벡터로 표현한 한 것입니다. 이러한 벡터 값이 왜 필요로 하는지, 어째서 Transformer 모델에 중요한지는 Transformer가 탄생한 배경을 이해한다면 충분히 유추할 수 있습니다. 기본적으로 Transfoermer의 기본 골격인 Encoder와 Decoder는 Transformer 모델에서 새롭게 소개된 구조가 아닙니다. 단지 Transformer는 RNN 기반의 seq2seq모델을 Attention을 활용해 구현한 모델일 뿐입니다.
![Cover Image for [Kubeflow] 모델 학습부터 서빙까지 파이프라인 구축하기](/assets/blog/mlops/kubeflow/thumbnail.png)
[Kubeflow] 모델 학습부터 서빙까지 파이프라인 구축하기
이 글은 kuebeflow Pipeline(kfp)를 활용해 pytorch 모델 학습부터 서빙까지 전 과정을 자동화하는 방법에 대해 설명합니다. 모델 학습에는 huggingface의 Transformers를 활용하며 모델 서빙에는 Torch serve, kserve를 활용합니다. 해당 툴에 익숙하지 않은 경우 아래의 링크를 먼저 읽은 다음 이 글을 읽는 것을 권장합니다.
[Kubeflow] Kserve로 pytorch 모델 서빙하기
이 글은 pytorch model을 kserve로 배포하는 방법을 설명합니다.Transformers를 활용해 Torchserve 배포하기에 기반해 작성한 글이므로 링크에 연결된 글을 읽고 이 글을 읽는 것을 권장합니다.
[Kubeflow] 인증 문제 해결하기
이 글은 kubeflow 관련 대표적인 인증 에러인 (60) SSL certificate problem: unable to get local issuer certificate와 /dex/auth?client_id=의 원인과 해결 방안에 대해 다루고 있습니다.
🤗 Transformers를 활용해 Torchserve 배포하기
이 글은 🤗 Transformers로 모델을 Fine-tuning한 뒤 Torchserve로 배포하는 방법에 대해 소개합니다. 이 글은 yelp 데이터 셋을 활용해 Distil-bert를 Text Classification 모델로 Fine-tuning하는 방법을 다룹니다. 모델 Fine-tuning은 Huggingfae Fine-tuning turorial 예제를 활용했습니다. 이 글외에도 추가적인 이해가 필요하다면 해당 튜토리얼도 읽어보는 것을 추천합니다. 이 글은 yelp 데이터 셋을 활용해 Distil-bert를 Text Classification 모델로 Fine-tuning하는 방법을 다룹니다. TorchServe는 Serving Huggingface Transformers using TorchServe의 예제를 참고했습니다. 해당 예제에는 SequenceClassification 외에도 token_classification, question_answering, text_generation에 대한 예제도 포함하고 있으니 필요한 경우 참고바랍니다.
[Kubeflow] Apple silicon 환경에서 Kubeflow 설치하기
Apple silicon 환경에서 minikube를 활용해 로컬로 kubeflow 구축하는 방법을 설명합니다. Apple silicon 기반에서 설치 가이드를 따라하기 힘든 이유는 주로 가상환경을 지원하는 프로그램이 Arm64를 호환하지 않거나 kubeflow 일부 컴포넌트가 Arm64를 호환하지 않기 때문입니다. 다양한 시도를 통해 알아낸 바로는 Apple slilcon 기반의 로컬에서 kubeflow를 설치하기 위해선 Docker를 통해 kubernetes를 실행하고, kubeflow 1.6 버전을 설치 해야합니다.
Sentence Bert 구조 소개 및 코드 구현
Sentence Bert는 Word Embedding 모델인 Bert를 Sentence Embedding 모델로 Fine-tuning 하는 방법입니다. Sentence embedding은 문장을 벡터 공간에 배치하는 방법을 의미합니다. 문장을 벡터 공간 내 배치함으로서 문장간 비교, 클러스터링, 문장 간 유사성 시각화 등 다양한 방법을 적용할 수 있습니다. Sbert 논문은 일대일 방식과의 성능 비교를 위해 Sentence embedding을 기반으로 문장 간 유사도 비교를 수행합니다. 논문에서는 일대일로 문장을 비교하는 구조를 Cross-Encoder라는 용어로 사용하고, Sentence embedding을 기반으로 문장을 비교하는 구조를 Bi enccoder라는 용어로 사용합니다.
ELECTRA 학습 구조 소개 및 Domain Adaptation 수행하기
pytorch를 활용해 ELECTRA 논문을 코드로 구현하며 Generator와 Descriminator 간 연결 방법 및 Replace Token Detection(RTD)에 대해 설명합니다. Huggingface의 trainer를 활용하여 모델을 학습하는 방법을 소개하고, 이에 대한 튜토리얼을 제작해 ELECTRA 뿐만 아니라 Huggingface 사용법을 손쉽게 익힐 수 있도록 하였습니다. 직접 Domain Adapatation을 경험하며 ELECTRA 학습 방법 및 데이터 흐름에 대해 이해할 수 있습니다.
Domain Adaptation과 Fine-tuning 개념 정리
Pre-trained 모델을 특정 분야(Domain)에 적합한 모델로 개선하기 위한 과정을 Domain Adaptation이라 합니다. Domain Adaptation의 학습이 Pre-trained 모델을 학습시키는 방법과 동일하므로 Further pre-training이라는 용어를 사용하기도 합니다. Domain Adaptation과 finetuning의 목적과 방법에 차이가 있음에도 Domain Adaptation을 finetuning의 범주로 이해하는 경향이 있습니다. Domain Adaptation의 경우 같은 개념임에도 다양한 용어로 활용되고 있습니다. 이러한 경향은 머신러닝에 익숙하지 않은 사람에게는 이해에 혼란을 갖게합니다. 이 글은 Domain Adaptation과 Finetuning에 대한 설명을 담고 있으며 용어가 주는 혼란을 방지하기 위해 Domain adaptation과 finetuning에 대한 동의어와 유의어를 포함했습니다.
도식화로 논문 이해하기 : Transformer
pytorch를 활용해 Transformer 논문을 코드로 구현하며 모델의 상세 작동원리를 설명하였다. 구현한 Transformer 모델을 활용해 학습과 평가하는 과정을 경험할 수 있도록 튜토리얼을 제작했으며, 튜토리얼을 통해 모델 내부에서 어떻게 데이터가 흐르는지, 어떠한 과정을 거쳐 입력 데이터에 대한 결과물을 산출하는지를 이해할 수 있다. 논문에 포함된 Transformer의 도식화 그림을 활용해 Transformer 구조 전반에 대한 이해에 도움을 준다.
Word2Vec로 word embedding 이해하기
Word2Vec은 Word embedding에 대한 개념을 이해하기 적합한 논문입니다. Word2Vec의 단순한 구조 덕분에 단어가 어떻게 vector space에 표현될 수 있는지에 대해 직관적으로 이해할 수 있습니다. 이러한 이해는 Word embedding에 기반한 여러 모델을 이해하는데 도움이 됩니다. 현재 널리쓰고 있는 Transformer 기반의 Bert, Electra, GPT 같은 모델은 결국 단어들을 vector 공간에 효과적으로 배치하는 방법에 대한 기술 축적의 결과물이기 때문입니다. 고도화 된 기술을 걷어내면 본질에는 Word2Vec이 있습니다.
Bert From Scratch
Bert From Scratch
Bert 전처리 수행 절차 소개
참고자료 입니다.