2024 ICT 한이음 멘토링[2] - 한이음 장비 신청, Ollama 설치 (온디바이스 보이스챗봇)

 

https://chlduswns99.tistory.com/40

2024 ICT 한이음 멘토링 후기 - 온디바이스 보이스챗봇 [1]

프로젝트 선정 및 지원 과정은 위를 참고 하시면 됩니다!

 

---

 

 

 

한이음 프로젝트 승인

프로젝트 승인

• 운이 좋게도 2가지의 프로젝트를 지원했는데 모두 승인이 났다.
• 해당 포스트는 "무인상점을 위한 온디바이스형 로컷 보이스챗봇" 프로젝트이다.

 

실습 장비 신청

• 첫 번째로 할 일은 실습 장비를 신청하는 과정을 거쳐야 한다.
• 하드웨어 장비에 대한 지식이 많이 없어 어떤 스펙의 장비를 무엇을 구매해야 하는지 잘 몰랐는데, 좋은 멘토님을 만나 밥 떠먹여 주듯 지도 해주셨다...

실습 장비 신청 기간

• 4~7월 중 8번에 걸쳐 실습 장비 신청 기간을 갖는다.

 

실습 장비 품목

• 총 3가지 필수적인 장비를 신청했다.
• 라즈베리파이에 SSD를 장착할 수 있다는 것도 처음 알았는데 아직 갈 길이 멀다 ..
• 신청한 장비는 프로젝트에 필요한 물건인지 심의 기간을 거치고 배송이 되는데 약 2주 정도 걸린다고 한다.

 

Ollama 사전 실습

• 언어 모델은 라마를 라즈베리파이에 얹어 목적에 맞게 파인 튜닝을 행할 예정이다.
• 장비가 오기 전 Ollama를 이용하여 Llama를 기초적으로나마 경험해보자.

 

https://ollama.com/download/windows

Download Ollama on Windows

• 위는 Ollama 설치 페이지이다. 본인의 OS에 맞게 설치를 진행한다.
• 다운로드를 기다리며 오른쪽 위 Models 아이콘을 클릭한다.

 

Ollama models

• Ollama에서 지원하는 여러 모델들을 볼 수 있는데 대표적인 Llama2를 불러올 것이다.

 

llama2 memory requirements

• 본인 RAM에 맞게 다운을 받으면 되는데 램 16GB라고 13b 모델 다운 받으면 컴퓨터 멈춘다는 글을 보고 본인은 주제 맞게 7b 모델을 설치하겠다...
• 사이트 상단에 Tags 아이콘을 누르면 아래 화면을 볼 수 있다.

 

Tags

• llama2의 여러 버전들이 나오는데, 본인은 7b-text 모델을 다운받을 것이다.
• 클릭해서 들어가게 되면 아래 화면을 볼 수 있다.

 

7b-text

• 상단 오른쪽 보면 코드를 복사할 수 있는데 미리 복사해놓고 Ollama 설치가 완료되면 해당 코드를 입력하여 llama2 설치를 간단하게 진행할 수 있다.

 

• Ollama 설치가 완료되었다면 터미널을 실행한다.

ollama 명령어

• ollama 명령어를 입력하게 되면 이용 가능한 커맨드들이 나오게 됩니다. 일단 천천히 알아보는걸로 하고 아까 복사해둔 명령어를 입력한 llama2 설치를 진행할 수 있다.

 

llama2 설치

• 복사한 코드를 입력하면 3.8 GB 용량의 llama2를 설치한다. (사양 딸리면 꽤 오래 걸려요...)

 

Llama2 이용

• 설치가 완료되고 미천한 영어 실력으로 간단한 질문을 몇개 해보았다.
• 엄청 장난꾸러기 같은 말투를 쓰며 이모티콘도 사용하는데 꽤나 귀엽다...

 

• 한국어 사용이 가능한지 물어봤다.
• 간단한 번역은 하는 것 같은데 기대 안하는게 좋다..