전체 글

이번 리뷰할 논문은 QLoRA입니다. QLoRA는 간단히 말해 Fine-Tuning을 효율적으로 할 수 있는 기술입니다. Full Fine-Tuning과 비율로 비교하자면 거의 1% 정도만 조정합니다. 본 논문은 싱글 GPU로 24시간만에 학습을 완료했고 ChatGPT에 준하는 성능을 도출했다고 말합니다. 언제나 그렇듯 주관적인 생각을 눌러 담은 글이니 잘못 작성한 내용이 있을 시 댓글 부탁드립니다! 1. AbstractQLoRA는 PEFT(Parameter Efficient Fine-Tuning) 기법 중 하나입니다. 말 그대로 효율적인 미세 조정 기법입니다. 본 논문에서 이 기법을 사용하여 65B 모델을 단일 48GB GPU로 학습을 하였고, 메모리 사용량을 획기적으로 줄이면서 원래의 성능을 유지할 ..

이번 리뷰할 논문은 GPT-3 입니다. 배경지식기존 GPT와의 차이점을 간단하게 살펴보면 GPT3는 기존의 GPT1, GPT2 모델에 비해 크기를 엄청나게 키웠습니다. GPT-1: 1.17B 파라미터GPT-2: 1.5B 파라미터GPT-3: 175B 파라미터 (무려 1759억개...)파라미터 개수를 보면 GPT-2 대비 100배 이상 증가했습니다. 또한 기존 GPT1, GPT2는 주로 Fine-Tuning을 필요로 했고 특정 도메인에 맞게 모델을 추가 학습하는 방식이었습니다. 하지만 GPT-3는 Pre-Trained된 상태에서 추가적인 학습 없이 Zero-Shot, One-Shot, Few-Shot 세팅으로도 충분한 결과를 도출할 수 있다는 것을 보여주었습니다.(Fine-Tuning은 Gradient Up..

3편에서 이어집니다. 이전 포스팅은 아래 카테고리에서 확인할 수 있습니다. '인공지능(AI)대학원준비과정' 카테고리의 글 목록 chlduswns99.tistory.com 가장 중요한 자기소개서와 연구계획서입니다. 실제 대학원 지원 시에 제출해도 될 만큼의 퀄리티를 준비하는게 가장 좋다고 생각합니다. 여러 대학 연구실에 컨택한다면 해당 학교의 지원 양식을 참고하고 디테일을 조금씩 다듬으며 학교마다 강조하는 부분을 달리하는게 시간적으로 유리합니다. 양식컨택할 대학의 전년도 계획서 양식을 참고합니다. 학교마다 항목이 조금씩 다릅니다. 좀 더 맞춤 형식의 계획서를 작성한다면 여러 대학을 지원하기 위한 계획서가 아닌 해당 연구실만을 위한 계획서로 보여 차별성을 둘 수 있습니다. 가장 보편적인 항목은 진학동기(..

2편에서 이어집니다. 이전 포스팅은 아래 카테고리에서 확인할 수 있습니다.  '인공지능(AI)대학원준비과정' 카테고리의 글 목록 chlduswns99.tistory.com  제가 컨택을 위해 준비한 자료는 CV, 자기소개서, 연구계획서, 포트폴리오, 성적증명서, 토익증명서 입니다.  이번 포스팅은 CV에 작성에 대한 글입니다. CV (이력서)미리 작성해두었던 CV가 없다면 쓰기 굉장히 까다로울 수 있습니다. 제가 그랬습니다.  여러 포맷을 참고하며 작성하려 했는데 양식도 참고하는 자료마다 달라 어떤 항목이 필수적인지 어떤 항목이 부가적인지 알기가 너무 어려웠습니다. 저는 컨택하는 연구실의 교수님이나 랩 멤버 분들의 CV를 참고하여 작성했습니다. 연구실에 관심도 있어 보이고 최소한 그냥 주제가 비슷해 대충..