AI & 코딩

로컬 AI 입문자를 위한 Ollama & Gemma 4 설치 총정리

디지털가드너 (Digital Gardener) 2026. 4. 8. 19:22

안녕하세요! 구글의 최신 오픈 소스 AI 모델인 Gemma 4가 드디어 공개되었습니다. 이번 모델은 이전 세대보다 훨씬 강력해진 추론 능력과 다국어 지원, 그리고 가벼운 최적화로 많은 관심을 받고 있습니다.

하지만 인공지능을 내 컴퓨터에 직접 설치해서 사용한다는 것이 초보자분들에게는 다소 어렵게 느껴질 수 있습니다. 그래서 오늘은 코딩을 전혀 모르시는 분들도 클릭 몇 번과 간단한 명령어 한 줄로 Gemma 4를 내 PC에 설치하고 실행하는 방법을 아주 상세하게 안내해 드리겠습니다.

1. 들어가며: 왜 Gemma 4와 Ollama인가?

최근 AI 기술은 클라우드(ChatGPT 등)를 넘어 '로컬 AI' 시대로 접어들고 있습니다. 내 컴퓨터에서 직접 AI를 실행하면 다음과 같은 엄청난 장점이 있습니다.

  • 개인정보 보호: 내가 입력한 대화 내용이 외부 서버로 전송되지 않습니다.
  • 비용 제로: 한 번 설치하면 인터넷 연결 없이도 무료로 무제한 사용이 가능합니다.
  • 빠른 속도: 서버 혼잡도와 상관없이 내 컴퓨터의 자원을 활용해 즉각적인 답변을 얻습니다.

그중에서도 **Ollama(올라마)**는 복잡한 설치 과정을 혁신적으로 줄여준 도구이며, Gemma 4는 구글의 최첨단 기술(Gemini 3 기반)이 집약된 모델로, 한국어를 포함한 140개 이상의 언어에서 뛰어난 성능을 발휘합니다.


2. 설치 전 준비물 (사양 체크)

Gemma 4는 효율적인 모델이지만, 원활한 구동을 위해 최소한의 하드웨어 사양이 필요합니다.

구분 최소 사양 권장 사양
운영체제 Windows 10 이상 / macOS / Linux 최신 버전 업데이트 권장
메모리(RAM) 8GB 이상 16GB 이상
그래픽카드(GPU) 내장 그래픽 가능 NVIDIA RTX 시리즈 또는 Apple Silicon(M1/M2/M3)
저장공간 약 10GB 이상의 여유 공간 SSD 권장

팁: Apple Silicon이 탑재된 Mac 사용자라면 Ollama가 MLX 프레임워크를 통해 최적화된 성능을 제공하므로 더욱 쾌적하게 사용할 수 있습니다.


3. 1단계: Ollama 설치하기

Ollama는 AI 모델을 실행하기 위한 '플랫폼' 역할을 합니다. 먼저 이 프로그램을 설치해야 합니다.

Windows 사용자

  1. Ollama 공식 홈페이지에 접속합니다.
  2. 메인 화면의 [Download] 버튼을 클릭합니다.
  3. OllamaSetup.exe 파일을 내려받아 실행합니다.
  4. 설치 창에서 **[Install]**을 누르면 자동으로 설치가 진행됩니다.
  5. 설치가 완료되면 작업표시줄 오른쪽 하단 트레이 아이콘에 '라마 모양'의 아이콘이 생깁니다.

macOS 사용자

  1. 동일하게 홈페이지에서 macOS용 파일을 다운로드합니다.
  2. 다운로드된 .zip 파일의 압축을 풀고 Ollama.app을 응용 프로그램(Applications) 폴더로 드래그합니다.
  3. 앱을 실행하면 권한 요청 팝업이 뜨는데, 모두 허용해 줍니다.

4. 2단계: 터미널(명령 프롬프트) 실행하기

이제 AI 모델을 내려받을 차례입니다. 겁먹지 마세요! 아주 간단한 명령어 하나만 입력하면 됩니다.

  1. Windows: 키보드의 Win + R을 누르고 cmd를 입력 후 엔터를 칩니다. (또는 검색창에 '명령 프롬프트' 검색)
  2. macOS: Command + Space를 누르고 Terminal을 입력 후 엔터를 칩니다.

검은색 창이 나타나면 준비 완료입니다.


5. 3단계: Gemma 4 모델 설치 및 실행

이제 드디어 Gemma 4를 불러올 시간입니다. 터미널 창에 아래 명령어를 입력하고 엔터를 누르세요.

Bash
 
ollama run gemma4

무슨 일이 일어나나요?

  • Downloading: Ollama가 구글 서버에서 Gemma 4 모델 데이터를 자동으로 내려받습니다. (약 5~10GB 내외)
  • Verifying: 파일이 손상되지 않았는지 확인합니다.
  • Success: 모든 과정이 끝나면 >>> Send a message라는 문구가 나타납니다.

이제 설치가 끝났습니다! 바로 질문을 던져보세요.

예: "안녕? 너는 누구니? 한국어로 자기소개해줘."


6. Gemma 4 제대로 활용하는 꿀팁

Gemma 4는 단순히 채팅만 하는 도구가 아닙니다. 다음과 같은 작업에 활용해 보세요.

① 코딩 보조 도구

Gemma 4는 파이썬(Python), 자바스크립트 등 다양한 프로그래밍 언어에 능숙합니다.

"파이썬으로 엑셀 파일을 읽어서 그래프를 그려주는 코드를 작성해줘."

② 문서 요약 및 번역

긴 영어 기사나 논문을 복사해서 붙여넣은 뒤 요약을 부탁해 보세요. 140개 이상의 언어를 지원하므로 번역 품질도 매우 훌륭합니다.

③ 창의적 글쓰기

블로그 포스팅 초안 작성, 이메일 답장 구성, 시 쓰기 등 창의적인 작업에 영감을 얻을 수 있습니다.


7. 자주 묻는 질문 (FAQ)

Q: 모델을 삭제하고 싶으면 어떻게 하나요?

터미널에 ollama rm gemma4라고 입력하면 저장 공간을 확보할 수 있습니다.

Q: 속도가 너무 느려요.

모델의 크기가 내 컴퓨터의 RAM 용량보다 크거나, 그래픽카드(GPU)를 제대로 활용하지 못하는 경우일 수 있습니다. 이럴 때는 상대적으로 가벼운 버전인 gemma4:2b 등을 설치해 보세요.

Q: 인터넷이 안 되어도 사용할 수 있나요?

네! 처음에 ollama run 명령어로 모델을 내려받을 때만 인터넷이 필요합니다. 한 번 다운로드가 완료되면 비행기 안에서도 AI와 대화할 수 있습니다.


8. 마치며: 당신의 첫 번째 로컬 AI

지금까지 Ollama를 활용해 구글의 최신 AI, Gemma 4를 설치하는 방법을 알아보았습니다. 이제 여러분의 컴퓨터는 단순한 계산기를 넘어, 언제든 도움을 줄 수 있는 똑똑한 개인 비서를 품게 되었습니다.

명령어 한 줄이 주는 이 놀라운 변화를 직접 경험해 보세요. 인공지능 기술은 더 이상 전문가들만의 전유물이 아닙니다. 오늘 설치한 Gemma 4와 함께 창의적인 프로젝트를 시작해 보시기 바랍니다!