블100프로젝트 - Part6. 현실 - 무료 LLM api 도전 - 실패

💻 챗GPT는 성공했지만… 비용 때문에 ‘로컬 AI’로 방향을 튼 이유

🔥 블100프로젝트, 지금까지의 여정

 

728x90

반응형

 

‘블100프로젝트’는
내가 운영 중인 자동 블로그 시스템의 이름이다.
한국어 뉴스를 수집해서 →
영어로 자연스럽게 재가공된 콘텐츠로 변환 →
Blogger에 자동 포스팅까지 이루어지는 구조.

지금까지는 ChatGPT API로 이 흐름을 완성했고,
실제로 운영도 성공적으로 하고 있다.
매일 정제된 영어 콘텐츠가 자동으로 업로드되고 있다.

---

💸 하지만 문제는 '비용'이었다

하루 몇 개만 올려도 1달러씩 나가는 토큰 요금.
gpt-4o-mini 기준이 이 정도니,
이 프로젝트가 100개 블로그로 확장된다면?

“GPT API만으로는 유지비용이 감당이 안 된다.”

---

🧪 그래서 찾아본 무료 AI API들

성능이 조금 떨어져도 괜찮다고 생각했다.
그래서 HuggingFace, Groq 등 무료 inference API를 시도했다.

HuggingFace Inference API

• 여러 모델을 써봤다 (flan-t5-xl, zephyr, mistral, gemma)
• 하지만 결과는 기대 이하
  • 토큰 길이 제한 (2048 이하)
  • HTML 구조 무시
  • 글 자체가 너무 단순하거나, 프롬프트를 그대로 따라 쓰기도…

Groq API

• 속도는 빠르지만
• 여전히 요약, 구조화된 글쓰기엔 부적합

---

🎯 그래서 나온 결론: 이제 직접 모델을 돌릴 때다

마침 집 구석에 GTX 1650 달린 데스크탑이 있었고
서멀구리스만 바르면 바로 부활 가능!

그래서 내가 선택한 건:

Ollama — 내 로컬 컴퓨터에서 LLM 모델을 직접 돌리는 도구

---

💡 앞으로의 계획

• 블로그 주제는 점점 다양해진다
  • 단순 뉴스 요약이 아니라
  • 내가 고른 주제, 내가 제공한 자료로 맞춤형 글쓰기
• ChatGPT API는 중요한 핵심 역할을 맡기되
  부하 분산용으로 로컬 LLM을 섞어서 구성할 예정이다
• 목표는 그대로다:
  100개의 블로그를 자동화된 시스템으로 운영하는 것

---

✍️ 마무리하며

AI 글쓰기 시대다.
하지만 문제는 단순한 기술이 아니라, 지속 가능한 구조다.
나는 이제

“단순히 GPT를 호출하는 사용자”를 넘어,
“내 방에서 AI를 직접 돌리는 운영자”가 되려 한다.

블100프로젝트는 이제 다음 챕터로 넘어간다.
🔥 불백처럼 뜨겁게, 그리고 지속 가능하게.