[LLM] gpt-oss (Chat GPT 오픈소스) 써보자. (with Ollama)

대박,  Chat GPT 에서도 LLM 오픈소스가 나왔다. 

당장 설치하고 사용해보자.

무료다.

 

그래픽카드만 있는 내컴에서 나만의 무료 LLM 을 돌려볼 수 있다. 

 

 

https://openai.com/ko-KR/index/introducing-gpt-oss/

 

 

 

기존 Chat gpt 연결 문법을 그대로 사용해서 동작시켜 볼 수 있다.

 

 

Window 환경이든지 Mac 환경이든지 Ollama 를 설치하고 바로 이용하면 된다.

 

 

https://ollama.com/

Ollama

 

 

https://ollama.com/download

Download Ollama on macOS

 

 

 

 

할께 없다. 쉽다. 

 

 

 

 

 

최초 모델 실행하면 그 모델 파일을 다운로드 받고 실행해준다.

해당 모델파일은 용량이 엄청나므로, 충분한 여유 공간을 감안하고 진행해야한다.

 

계속해서 다른 Ollama  모델도 아래와 같이 설치하면 된다.

 

Meta의 Llama 시리즈: Llama 3.1 vs Llama 3.2

• Llama 3.1 은 Meta의 최신 state-of-the-art 모델로, 파라미터 규모는 8B, 70B, 405B, 최대 128K 토큰 문맥창을 지원하며, 고성능 추론, 다국어, 도구 호출 등에 뛰어남.
• Llama 3.2 는 경량화된 버전으로 1B와 3B 모델이 있으며, 128K 문맥창, 다국어 대화와 요약 최적화된 instruction-tuned 모델임
• Llama 3.2‑Vision 은 이미지 + 텍스트 입력을 지원하는 멀티모달 11B / 90B 모델로, 이미지 캡셔닝, 시각 추론에 특화됨

 

# llama3.1 중에 8b 설치하고 실행

ollama pull llama3.1:8b
ollama run llama3.1:8b

 

# llama3.2 중에 3b 설치하고 실행

ollama pull llama3.2:3b
ollama run llama3.2:3b

 

# llama3.2-vision 설치하고 파이썬으로 실행해보기

ollama pull llama3.2-vision

# Python 예시
import ollama
resp = ollama.chat(
    model='llama3.2-vision',
    messages=[{'role':'user','content':'이 이미지에 무엇이 있나요?','images':['image.jpg']}]
)
print(resp)

 

 

 

 

 

추가로  갓대희 님의 더 좋은 포스팅 글을 참고하면 좋을것 같다.

 

 

https://goddaehee.tistory.com/381

Ollama 설치 및 기초 사용방법 (feat 로컬 LLM 환경 구축해보기)

 

 

 

참고 : https://apidog.com/kr/blog/how-to-use-ollama-kr/