이번 리뷰할 논문은 QLoRA입니다. QLoRA는 간단히 말해 Fine-Tuning을 효율적으로 할 수 있는 기술입니다. Full Fine-Tuning과 비율로 비교하자면 거의 1% 정도만 조정합니다. 본 논문은 싱글 GPU로 24시간만에 학습을 완료했고 ChatGPT에 준하는 성능을 도출했다고 말합니다. 언제나 그렇듯 주관적인 생각을 눌러 담은 글이니 잘못 작성한 내용이 있을 시 댓글 부탁드립니다! 1. AbstractQLoRA는 PEFT(Parameter Efficient Fine-Tuning) 기법 중 하나입니다. 말 그대로 효율적인 미세 조정 기법입니다. 본 논문에서 이 기법을 사용하여 65B 모델을 단일 48GB GPU로 학습을 하였고, 메모리 사용량을 획기적으로 줄이면서 원래의 성능을 유지할 ..
이번 리뷰할 논문은 GPT-3 입니다. 배경지식기존 GPT와의 차이점을 간단하게 살펴보면 GPT3는 기존의 GPT1, GPT2 모델에 비해 크기를 엄청나게 키웠습니다. GPT-1: 1.17B 파라미터GPT-2: 1.5B 파라미터GPT-3: 175B 파라미터 (무려 1759억개...)파라미터 개수를 보면 GPT-2 대비 100배 이상 증가했습니다. 또한 기존 GPT1, GPT2는 주로 Fine-Tuning을 필요로 했고 특정 도메인에 맞게 모델을 추가 학습하는 방식이었습니다. 하지만 GPT-3는 Pre-Trained된 상태에서 추가적인 학습 없이 Zero-Shot, One-Shot, Few-Shot 세팅으로도 충분한 결과를 도출할 수 있다는 것을 보여주었습니다.(Fine-Tuning은 Gradient Up..
2편에서 이어집니다. 이전 포스팅은 아래 카테고리에서 확인할 수 있습니다. '인공지능(AI)대학원준비과정' 카테고리의 글 목록 chlduswns99.tistory.com 제가 컨택을 위해 준비한 자료는 CV, 자기소개서, 연구계획서, 포트폴리오, 성적증명서, 토익증명서 입니다. 이번 포스팅은 CV에 작성에 대한 글입니다. CV (이력서)미리 작성해두었던 CV가 없다면 쓰기 굉장히 까다로울 수 있습니다. 제가 그랬습니다. 여러 포맷을 참고하며 작성하려 했는데 양식도 참고하는 자료마다 달라 어떤 항목이 필수적인지 어떤 항목이 부가적인지 알기가 너무 어려웠습니다. 저는 컨택하는 연구실의 교수님이나 랩 멤버 분들의 CV를 참고하여 작성했습니다. 연구실에 관심도 있어 보이고 최소한 그냥 주제가 비슷해 대충..
1편에서 이어집니다. 이전 포스팅은 아래 카테고리에서 확인할 수 있습니다. '인공지능(AI)대학원준비과정' 카테고리의 글 목록 chlduswns99.tistory.com 이번에는 컨택을 하기 위해 연구실을 열심히 탐색한 과정을 공유하려 합니다. 1. 연구 분야 정하기연구실을 찾기 위해서 본인의 연구 분야를 확실히 해야 합니다. 너무 세세한 분야는 아니더라도 큰 틀은 잡고 가야 합니다. 저같은 경우 자연어처리 중에서도 Chatbot 및 Dialog System 연구를 주력으로 하는 연구실을 찾았습니다. 2. 지원할 대학 리스트 나열하기 본인이 지원하고 싶은 대학의 기준을 먼저 정하는게 연구실을 탐색하며 찾기 쉽습니다. 저같은 경우 "인공지능국책대학원 안에서만 지원하자" 라는 기준을 세웠습니다. 인공지..
