안녕하세요 저번 시간에 Llama3.1 70B가 알아본 바에 따르면 챗GPT4와 거의 성능이 동일하고 일부 부분에서는 더 뛰어난 성능을 보여주었는데요!! 알아볼수록 궁금해져 무려 40GB에 달하는 라마3.1 70B를 다운로드 해보려 합니다! 과연 챗GPT보다 우수한 답 혹은 유사한 수준의 답을 줄 수 있을까요??
1. Llama3.1 70B 다운로드 방법
Ollama를 다운로드 하셨다는 가정하에서 진행해 보겠습니다.
Ollama를 다운로드 하지 못하신 분들은 여기를 참고해 주세요!
Ollama 다운로드 후 터미널을 열어 3.1 8B를 다운로드 한 방법과 유사합니다!
터미널을 열어 ollama run llama3.1:70b를 입력하시면 됩니다!
ollama run llama3.1:70b
참고로 저는 다운로드 1시간 30분 정도 소요 되었습니다.
90% 이후 부터는… 다운로드 속도가 kb/s로 줄더니 매우 오래 걸렸습니다!
2. 실행해보니…
llama runner process has terminated: signal: killed
오류를 검색해보니
- 시작할때 등록해야 gpu메로리까지 이용할 수 있기 때문이라는 이유
- 메모리 부족 이라는 이유
이렇게 두가지가 주된 이유입니다.
8B 모델 정도는 메모리 16GB면 충분한 것 같지만 70B는 메모리가 적어도 32GB는 되어야 돌릴 수 있다고 힙니다…
제 맥이 M1pro 16GB 모델인데 메모리 부족으로 실행할 수가 없네요…
그러면 설치나 되지 말던지… 다운로드도 오래 걸려서 정말 기대에 차 있었는데 실망이 너무 크네요…
3. 결론
일반인은 그냥 챗GPT에 만족하고 부족하면 챗GPT 결제해서 사용하자! 입니다.
같이 보면 좋은 글
- 파파고보다 좋은 번역기 추천
- 알리익스프레스 제습기 살만할까?
- 성시경의 막걸리 경탁주라고??
- 알리소형제습기리뷰
- ISA 계좌가 뭔데???
- 서치 GPT 등장!!
- 영어 문법 검사기 추천
- 공유폴더 접속 안됨
- Llama 3.1 다운로드 및 사용법