전체 글

이번에 대학원 면접을 준비하면서 기본기 복습을 위해 작성했습니다. 리스트(List)x = [a, b, c, d]리스트는 순서가 있고 인덱스를 이용하여 접근할 수 있습니다.중복이 가능합니다.요소를 추가하거나 삭제할 수 있습니다. 튜플(tuple)x = (a, b, c, d)튜플은 순서가 있고 인덱스를 이용하여 접근할 수 있습니다.중복이 가능합니다.요소를 추가하거나 삭제할 수 없습니다.리스트와 비슷하지만 가장 큰 차이점은 수정이 불가능하다는 점입니다. 세트(set)x = {a, b, c, d}세트는 순서가 존재하지 않습니다. 인덱스를 이용한 접근이 불가합니다.중복이 불가능합니다.요소를 추가하거나 삭제할 수 없습니다. 딕셔너리(dictionary)딕셔너리는 키(key)와 값(value)로 이루어져 있습니다.순..

https://www.pnas.org/doi/pdf/10.1073/pnas.1611835114  본 논문은 Catastrophic forgetting(파괴적 망각)에 대한 해결 방안을 제시하고 있습니다. 파괴적 망각에 대한 글은 아래의 제 이전 포스팅을 먼저 읽어주시면 이해에 도움이 될 것 같습니다. https://chlduswns99.tistory.com/51 Catastrophic forgetting(파괴적 망각)이란?Catastrophic forgetting (파괴적 망각)파괴적 망각이란 사전 학습을 마친 모델이 추가 학습을 진행할 때 이전의 지식을 잃어버리는 현상을 말합니다.즉, Task A를 학습한 모델이 Task B를 학습하면 Task A에chlduswns99.tistory.com  Googl..

Catastrophic forgetting (파괴적 망각)파괴적 망각이란 사전 학습을 마친 모델이 추가 학습을 진행할 때 이전의 지식을 잃어버리는 현상을 말합니다.즉, Task A를 학습한 모델이 Task B를 학습하면 Task A에 대한 해결 능력이 저하하는 것입니다.모델을 fine-tuning(미세조정)하는 과정에서 자주 일어나는 문제점이며 수많은 방안이 나와있지만 현재도 논문은 지속적으로 제시되고 있습니다.Task A를 학습시키고 Task B를 학습시키면 본래 우리가 원하던 결말은 Task A, Task B에 대한 지식을 모두 가지고 있는 것입니다. 하지만 Task B 학습 시 이전의 가중치가 과도하게 Task B에 집중되어 Task A에 대한 상당 부분의 지식을 잃게 될 수 있습니다. 이를 해결하..

전편은 아래 링크를 참고 부탁드립니다https://chlduswns99.tistory.com/42 2024 ICT 한이음 멘토링[3] - STT,TTS 기능 구현 (온디바이스 보이스챗봇)[1]https://chlduswns99.tistory.com/40 2024 ICT 한이음 멘토링[1] - 프로젝트 선정 및 지원 (온디바이스 보이스챗봇)ICT 한이음 멘토링 프로젝트란?멘토와 멘티가 팀을 이루어 선정한 프로젝트를 약 10개월간chlduswns99.tistory.com 이번에는 한국어 사전 학습이 되어있는 Llama3를 추가 학습시켜 목적에 맞게 사용할 것입니다. 무인 상점에서 키오스크와 같이 이용이 가능한 형태로 파인튜닝을 진행합니다. hk code 유튜브의 김효관 교수님 영상을 참고하여 작성했습니다. ..