OpenAI, GPT-6 Sol·Luna 출시하고 일부 API 입력·출력 단가를 절반 이하로 인하
발행 2026-09-23
OpenAI 공식 로고
OpenAI가 GPT-6 계열의 Sol과 Luna를 출시했다. Sol은 어려운 업무와 코딩에, Luna는 비교적 가벼운 작업에 맞춘 저가형 모델이며, 일부 API 단가는 GPT-5.6 판촉 가격의 절반 이하로 낮아졌다.
배경부터 이해하기
GPT-6 Sol과 Luna는 글 작성, 코딩, 도구 조작 같은 작업을 처리하는 인공지능 모델이다. OpenAI는 두 모델이 상위 모델인 GPT-6 Astra와 비슷한 훈련 방식을 사용하면서 더 낮은 비용대를 겨냥한다고 설명했다.
개발자는 API라는 연결 방식을 통해 모델을 자사 앱에 넣을 수 있다. 사용료는 모델이 읽거나 생성한 토큰 수로 계산된다. 토큰은 문장을 잘게 나눈 처리 단위이며, 한 단어가 하나 이상의 토큰으로 나뉠 수 있다.
무엇이 바뀌었나
Sol의 API 가격은 입력 100만 토큰당 4달러에서 2달러로, 출력 100만 토큰당 20달러에서 10달러로 낮아졌다. Luna는 입력이 0.20달러에서 0.10달러로 절반이 됐고, 출력은 1.20달러에서 0.50달러로 약 58.3% 낮아졌다. 비교 기준은 정가가 아니라 GPT-5.6의 판촉 가격이다.
OpenAI는 Sol을 복잡한 전문 업무용으로, Luna를 가벼운 작업용으로 구분했다. 회사는 자동화, 에이전트의 문제 해결, 코딩, 소프트웨어 수정, 컴퓨터 조작을 평가하는 여러 시험에서 개선됐다고 밝혔다. 에이전트는 목표를 받고 여러 단계의 작업과 도구 사용을 이어가는 프로그램을 뜻한다. 코딩 작업을 했다고 사실과 다르게 주장하는 비율도 GPT-5.6보다 낮아졌다는 설명이다.
왜 중요한가
반복 호출이 많은 서비스에서는 모델의 단가가 전체 운영비에 직접 영향을 준다. 개발팀은 어려운 요청만 Sol로 보내고, 분류나 짧은 답변처럼 가벼운 요청은 Luna로 처리하는 식으로 비용과 성능을 나눌 수 있다. 코딩 에이전트처럼 한 작업에서 모델을 여러 번 부르는 프로그램도 이전 판촉 단가 기준으로 호출 비용을 줄일 여지가 생긴다.
실제로 어떤 의미인가
활용 예시: 고객 문의를 자동 처리하는 회사가 환불 규정 검색과 문의 분류는 Luna에 맡기고, 여러 계약 조건을 함께 검토해야 하는 복잡한 문의만 Sol로 보낼 수 있다. 이전에는 모든 요청에 같은 고가 모델을 연결했다면, 이후에는 작업 난도에 따라 모델을 나눠 API 비용을 관리하는 흐름이다. 이는 이해를 돕기 위한 예시이며 실제 검증 사례는 아니다.
사용·공개 범위
Sol과 Luna는 Plus, Pro, Business, Enterprise, Edu 이용자의 ChatGPT Work와 Codex에서 즉시 사용할 수 있다고 발표됐다. Free와 Go 이용자는 데스크톱 앱에서 Luna를 사용할 수 있다. API에서는 각각 'gpt-6-sol'과 'gpt-6-luna'라는 이름으로 제공된다. 다만 출처는 두 모델이 아직 'Chat'에서는 제공되지 않는다고 별도로 적었으며, 그 표현이 가리키는 정확한 제품 범위는 제공된 자료만으로 확인되지 않는다.
확인할 점
성능 수치는 OpenAI가 자체 연구 환경이나 API에서 수행한 평가 결과다. 경쟁 모델 수치는 공개 보고서에서 가져왔으므로 독립 기관이 같은 조건에서 감사한 비교가 아니다. 각 평가의 구체적인 점수와 실제 사용 환경의 속도·정확도는 제공된 자료에 없어 확인할 수 없다. 가격 비교 기준도 GPT-5.6의 판촉 가격이므로 일반 정가와의 비교로 해석하면 안 된다.
용어 풀이
API: 다른 앱이나 서비스가 인공지능 모델에 요청을 보내고 결과를 받는 연결 규칙이다. 토큰: 모델이 글을 읽고 만들 때 사용하는 작은 문장 조각이며, 요금 계산 단위로도 쓰인다. 벤치마크: 정해진 문제로 모델의 코딩, 도구 사용, 문제 해결 능력 등을 비교하는 평가다.
Hugging Face, Transformers에서 노트북용 GGUF 모델을 직접 실행하도록 지원
발행 2026-09-22
Hugging Face Blog · 출처 이미지
Hugging Face가 Transformers에서 GGUF 형식의 용량 축소 모델을 직접 불러와 실행하는 기능을 추가했다. 초기 지원은 Apple Silicon Mac과 Qwen3.5 텍스트 모델에 집중되며, 개발자는 익숙한 Python 작업 흐름을 유지하면서 로컬 모델을 시험할 수 있다.
배경부터 이해하기
Transformers는 개발자가 Python과 PyTorch로 다양한 인공지능 모델을 불러오고 실행하는 도구다. llama.cpp는 모델을 개인용 컴퓨터에서 효율적으로 실행하는 데 특화된 별도 프로그램이며, Ollama와 LM Studio 같은 로컬 AI 도구의 기반으로 쓰인다.
GGUF는 모델의 학습 결과와 단어 처리 정보 등을 한 파일에 담는 형식이다. 양자화라는 방법으로 숫자의 정밀도를 낮추면 품질이 일부 달라질 수 있지만 파일 크기와 필요한 메모리를 줄일 수 있다. 이전에도 GGUF 모델을 로컬에서 실행할 수 있었지만, 이번 변화는 이를 Transformers의 일반적인 불러오기·생성 절차 안에서 다루도록 하는 데 초점이 있다.
무엇이 바뀌었나
개발자는 Hugging Face Hub에서 모델 저장소와 GGUF 파일을 지정한 뒤 기존의 'from_pretrained' 방식으로 모델을 불러올 수 있다. 그다음 문장 생성, 평가, 내부 작동 확인, 생성 규칙 변경 같은 기존 Transformers 기능을 사용할 수 있다. 같은 모델을 OpenAI 방식과 호환되는 로컬 API로 열어 Jan이나 Pi 같은 대화 화면에 연결하는 기능도 제시됐다.
초기 대상은 Apple Silicon Mac과 Qwen3.5 구조의 텍스트 생성 모델이다. 예시 모델의 원본 BF16 파일은 8.42GB였고, Q6_K는 3.53GB, Q5_K_M은 3.14GB, Q4_K_M은 2.74GB였다. 이는 파일 크기를 각각 약 58%, 63%, 67% 줄인 결과지만, 정밀도가 낮아질수록 실제 작업 품질이 달라질 수 있다. 호환 커널이 없으면 압축된 가중치를 풀어 실행하므로 메모리 사용량이 늘어난다.
왜 중요한가
개발자는 같은 GGUF 파일을 로컬 대화 앱과 Python 기반 분석·평가 과정에서 함께 사용할 수 있다. 별도의 실행 환경으로 모델을 옮기는 단계를 줄이고, 압축 변환이 제대로 됐는지 확인하거나 모델 내부 값을 살펴보기도 쉬워진다. 노트북 메모리에 맞는 파일을 고를 수 있어 서버를 준비하기 전에 작은 규모로 기능과 품질을 점검하는 데 도움이 된다.
실제로 어떤 의미인가
활용 예시: 개발자가 인터넷 전송 없이 사내 문서를 요약하는 도구를 시험한다고 가정하자. 이전에는 llama.cpp용 GGUF 모델을 별도 실행 프로그램에서 돌리고 Python 평가 코드와 연결해야 했다. 이제는 메모리에 맞는 Q4_K_M 파일을 Transformers로 직접 불러와 요약 품질을 측정한 뒤, 같은 체크포인트를 로컬 API로 열어 대화 화면에 연결할 수 있다. 이는 설명을 위한 가정이며 실제 도입 사례는 아니다.
사용·공개 범위
현재는 정식 배포판이 아니라 Transformers의 최신 개발용 메인 브랜치를 설치해야 한다. Apple Silicon Mac, 지원되는 PyTorch 버전, 호환되는 kernels 패키지가 필요하다. 다음 Transformers 릴리스에 포함될 예정이라고 밝혔지만 정확한 배포 날짜와 가격은 확인되지 않았다. 다른 운영체제와 하드웨어에 대한 지원 일정도 제공되지 않았다.
확인할 점
Hugging Face는 로컬 실행 효율이 가장 중요하면 여전히 llama.cpp를 권장한다. 속도 비교는 M2 Max와 32GB 메모리를 갖춘 MacBook Pro에서 128개 토큰을 생성하는 작업으로 진행됐다. Transformers 측 측정에는 처음 입력을 처리하는 시간이 포함됐지만 llama.cpp 측은 출력 생성 시간만 계산해 조건이 동일하지 않다. 따라서 두 방식의 속도가 가깝다는 회사 설명을 공정한 일대일 비교로 볼 수 없다. 양자화에 따른 품질 변화도 모델과 작업별로 직접 평가해야 한다.
용어 풀이
GGUF: 로컬 실행에 필요한 모델 데이터와 설정을 한 파일에 담을 수 있는 형식이다. 양자화: 모델이 쓰는 숫자의 정밀도를 낮춰 파일과 메모리 사용량을 줄이는 방법이다. 추론: 훈련을 마친 모델이 입력을 받아 답이나 예측 결과를 만드는 실행 과정이다.
OpenAI가 GPT-6 API에서 같은 지시와 자료를 반복 처리하지 않도록 하는 프롬프트 캐싱 기능을 개선했다. 재사용 가능한 입력을 30분간 보관하고 캐시 실패 원인을 보여줘, 장시간 작동하는 에이전트의 응답 지연과 입력 비용을 줄이는 것이 목적이다.
배경부터 이해하기
프롬프트 캐싱은 모델에 반복해서 보내는 앞부분을 임시 저장해 다시 처리하지 않는 기능이다. 예를 들어 앱의 공통 지침, 사용 가능한 도구 목록, 긴 참고 문서가 여러 요청에서 같다면 해당 부분을 재사용할 수 있다.
에이전트는 한 번 답하고 끝나는 대신 목표를 이루기 위해 모델을 여러 번 호출하고 도구를 사용하는 프로그램이다. 호출마다 같은 지침과 자료를 처음부터 처리하면 시간이 걸리고 입력 토큰 비용도 반복해서 발생한다. 다만 요청 내용이나 구조가 달라 캐시가 일치하지 않으면 새로 처리해야 한다.
무엇이 바뀌었나
GPT-6에서는 조건을 충족하는 공통 입력 앞부분을 기본 30분 동안 재사용할 수 있다. 캐시에서 읽은 입력 토큰에는 최대 90%의 할인이 적용된다고 OpenAI는 밝혔다. 이는 전체 API 요금이 항상 90% 감소한다는 뜻이 아니라, 재사용에 성공한 입력 부분의 읽기 단가에만 적용되는 최대 할인이다.
새 대시보드는 캐시 적중률과 입력 구성을 보여준다. 진단 도구는 최근 응답과 새 요청을 비교해 재사용에 실패한 이유를 설명한다. 명시적인 구분 지점과 공통 문맥을 미리 처리하는 워밍 기능도 소개됐다. 개발자는 응답 사이에 추론 강도를 바꿔도 캐시를 유지할 수 있으며, 도구 정의를 삭제하는 대신 허용 도구나 도구 선택 설정을 바꾸고 새 지시는 뒤에 추가하는 방식이 권장된다.
왜 중요한가
반복되는 입력을 캐시에서 읽으면 모델이 같은 내용을 매번 새로 계산하지 않아도 된다. 따라서 긴 규칙과 여러 도구 설명을 계속 보내는 코딩·업무 자동화 프로그램에서 첫 출력까지의 대기 시간과 입력 요금을 함께 낮출 수 있다. 실패 원인을 확인할 수 있어 개발자가 단순히 적중률이 낮다는 결과만 보는 대신, 지시 순서나 도구 목록 변경처럼 재사용을 깨뜨린 부분을 찾아 수정할 수 있다.
실제로 어떤 의미인가
활용 예시: 코딩 에이전트가 회사의 개발 규칙, 저장소 설명, 사용 가능한 도구 목록을 포함해 20차례 연속으로 모델을 호출한다고 가정하자. 이전 흐름에서는 요청 구조가 조금만 바뀌어도 공통 내용을 새로 처리하면서 원인을 찾기 어려울 수 있었다. 개선 후에는 공통 앞부분을 30분 안에 재사용하고, 실패하면 진단 화면에서 달라진 구간을 확인한 뒤 새 작업 지시만 뒤에 붙일 수 있다. 이는 이해를 돕기 위한 가정이며 실제 측정 사례는 아니다.
사용·공개 범위
GPT-6용 프롬프트 캐싱 개선으로 발표됐으며 API를 사용하는 개발자를 대상으로 한다. 30분 재사용, 대시보드, 진단, 워밍 기능의 구체적인 요금제별 제공 범위와 지역 제한은 제공된 자료에서 확인되지 않는다. 캐시 입력에는 최대 90% 할인이 적용된다고 발표됐지만 일반 입력·출력의 전체 가격은 이 자료에 제시되지 않았다.
확인할 점
OpenAI는 GitHub가 수개월 동안 수십억 건의 OpenAI 모델 요청에서 새로 처리해야 한 프롬프트 토큰의 비중을 50% 넘게 줄였다고 전했다. 이는 전체 토큰이나 총비용이 절반 이하가 됐다는 의미가 아니라, 입력 가운데 매번 새로 계산한 부분의 비중이 절반 넘게 감소했다는 뜻이다. GitHub 사례와 할인율은 회사가 전한 결과이며 독립적으로 감사된 수치가 아니다. 실제 절감 폭은 반복 입력의 양, 요청 간격, 캐시 적중 여부에 따라 달라진다.
용어 풀이
프롬프트 캐싱: 반복되는 입력 내용을 임시 저장해 다음 요청에서 다시 계산하지 않도록 하는 기능이다. 캐시 적중률: 재사용을 시도한 요청 가운데 저장된 내용을 실제로 찾아 쓴 비율이다. 토큰: 모델이 문장을 처리하기 위해 나눈 작은 글 조각이며 API 요금 계산에도 쓰인다.
OpenAI는 성능이 매우 높은 첨단 AI 모델을 외부 기관이 독립적으로 점검할 때 우선 확인해야 할 영역과 운영 원칙을 제시했다. 이는 새 제품이나 강제 규정이 아니라 권고 성격의 틀이지만, 향후 기업의 안전 감사와 정부의 규제 논의에서 참고 기준으로 쓰일 수 있다.
배경부터 이해하기
첨단 AI 모델의 안전평가는 모델이 위험한 능력이나 행동을 보이는지, 이를 막는 보호장치가 실제로 작동하는지 확인하는 절차다. 개발사가 자체 평가하면 내부 정보에 접근하기 쉽지만, 판단의 독립성을 의심받을 수 있어 외부 검증이 함께 논의돼 왔다.
OpenAI는 개별적인 ‘안전 주장’과 이를 뒷받침하는 ‘안전 논증’을 구분한다. 안전 주장은 특정 능력·행동·보호장치에 관한 판단이고, 안전 논증은 위험이 적절히 관리된다는 결론을 증거로 뒷받침한 체계다.
무엇이 바뀌었나
OpenAI는 외부 평가의 네 가지 우선 영역을 제안했다. 안전 논증의 독립 검토, 사내·외부 배포 환경의 핵심 보호장치 평가, 회사의 위험 대비 체계가 다루는 능력과 인간 의도에 맞는 행동에 대한 평가 검토, 중대한 오작동이나 의도 불일치 사고의 독립 조사가 포함된다.
평가 원칙으로는 검증할 주장을 미리 명확히 정하기, 평가 범위에 맞는 정보 접근권 제공, 방법과 기준 공개, 전문성과 독립성 확보, 보안·기밀 유지, 수정에 활용할 수 있는 결과와 개선 시간 제공 등 여섯 가지를 들었다. 평가자가 훈련·평가·배포 과정에 걸쳐 충분히 접근해야 한다는 방향도 밝혔다.
왜 중요한가
외부 평가자가 최종 모델만 시험하는 데 그치지 않고 훈련 기록, 내부 평가 방식, 실제 배포 환경의 보호장치까지 살펴보면 안전 주장의 근거를 더 구체적으로 확인할 수 있다. 기업은 감사 범위와 자료 제공 절차를 미리 설계해야 하며, 규제기관이나 고객사는 어떤 증거를 요구할지 판단하는 참고 틀을 얻을 수 있다.
실제로 어떤 의미인가
활용 예시: 한 기업이 첨단 AI를 공개하기 전 ‘위험한 요청을 차단한다’고 주장한다고 가정할 수 있다. 기존의 일반적인 결과 시험만 하는 대신, 외부 평가자는 차단 기준과 내부 시험 자료를 검토하고 사내 시험판과 실제 배포판에서 같은 보호장치가 작동하는지 확인한 뒤, 발견된 문제를 고칠 시간을 주는 절차를 적용할 수 있다.
사용·공개 범위
2026년 9월 22일 공개된 정책 성격의 제안이다. 제품 출시나 평가 서비스 제공 발표가 아니며, 주로 민간·비영리 기술 안전평가를 대상으로 한다. 정부 시험을 대체하는 기준은 아니고, 이용 대상이나 가격도 해당하지 않는다.
확인할 점
이 문서는 OpenAI가 권고하는 평가 틀이자 회사의 방향 발표다. 법률이나 외부 기관이 강제하는 표준은 아니다. 실제 평가자 선정 방식, 정보 접근 수준, 시행 일정과 결과 공개 범위는 확인되지 않았으며, 원문은 정부와의 별도 협력도 병행한다고 설명한다.
용어 풀이
보호장치: AI가 위험한 요청을 수행하거나 허용되지 않은 행동을 하지 못하도록 막는 기술·운영 절차다. 안전 논증: AI의 위험이 적절히 관리된다는 결론을 여러 증거와 평가 결과로 뒷받침한 설명 체계다. 의도 불일치: AI가 개발자나 사용자가 원한 목표와 다르게 행동하는 문제다.
BaseCompute는 같은 AI 모델도 파일 압축 방식, 칩, 실행 프로그램에 따라 얼마나 빠르게 작동하는지 비교하는 공개 순위표와 명령줄 도구 Compute:Arena를 소개했다. 모델과 실행 파일을 고유한 해시로 식별하고 동일한 작업을 반복 측정해, 개발자가 사양표 대신 실제 기기에서 얻은 결과로 조합을 선택하도록 돕는다.
배경부터 이해하기
로컬 추론은 인터넷의 외부 서버가 아니라 개인용 컴퓨터나 자체 장비에서 학습된 AI 모델로 답을 생성하는 과정이다. 같은 모델이라도 수치 정밀도를 낮춰 파일 크기와 메모리 사용을 줄이는 ‘양자화’ 방식, 칩의 메모리 처리 능력, 모델을 실행하는 런타임에 따라 속도가 달라질 수 있다.
Compute:Arena는 이러한 조합을 실제로 시험하는 벤치마크다. 벤치마크는 정해진 작업으로 성능을 재는 시험이며, 여기서는 모델이 입력을 읽는 속도와 답을 생성하는 속도를 측정한다.
무엇이 바뀌었나
공개 순위표의 각 결과에는 특정 모델 파일, 양자화 형식, 칩, 런타임이 기록된다. 모델 파일과 실행 파일에는 내용이 같으면 같은 값이 나오는 SHA-256 식별값을 붙여, 이름은 같지만 실제 파일이 다른 결과가 섞이는 일을 줄인다.
입력을 처리하는 속도는 128개부터 16,384개 토큰까지 길이를 바꿔 측정하고, 출력은 128개 토큰을 생성하는 동안 측정한다. 토큰은 AI가 글을 처리하는 작은 문자·단어 조각이다. 준비 실행 후 세 차례 결과를 기록하며, 온도, 전력 상태, 메모리 압박, 스왑과 그래픽처리장치 상태도 보고서에 담는다. 현재 BaseRT의 .base 묶음과 기본 llama.cpp의 .gguf 파일을 지원한다.
왜 중요한가
개발자는 모델 이름이나 칩 사양만 보고 속도를 추정하는 대신, 자신이 쓰려는 모델·파일 형식·기기·실행 프로그램과 가까운 측정값을 확인할 수 있다. 특히 긴 문서를 읽힐 때의 입력 처리 속도와 답변 생성 속도가 따로 기록되므로, 실제 용도에 맞는 조합을 고르는 데 도움이 된다.
실제로 어떤 의미인가
활용 예시: 개발자가 노트북에서 문서 요약 AI를 운영하려 한다고 가정하자. 이전에는 칩 사양과 모델 크기만 보고 양자화 형식을 골랐다면, 이제는 Compute:Arena에서 같은 칩과 모델 조합을 찾아 긴 입력 처리 속도와 출력 속도를 비교할 수 있다. 결과가 없다면 명령줄 도구로 몇 분간 시험하고, 공개될 JSON 보고서를 확인한 뒤 직접 제출할 수 있다.
사용·공개 범위
Compute:Arena 순위표는 공개돼 있으며, 명령줄 도구의 소스 코드는 Apache-2.0 라이선스로 제공된다고 게시물은 설명한다. 시험은 오프라인으로 실행·검증할 수 있고, 로그인해 공개될 내용을 확인한 후 제출할 때만 결과가 업로드된다. 가격은 확인되지 않았다.
확인할 점
보고서의 전자서명은 서명 후 결과가 바뀌지 않았음을 증명할 뿐, 측정한 컴퓨터가 정확한 정보를 제공했는지는 보장하지 않는다. llama.cpp와 BaseRT는 작업 순서와 준비 실행 방식이 달라 런타임 간 결과가 완전히 같은 조건이라고 볼 수 없다. 지원 런타임도 현재 두 종류로 제한된다.
용어 풀이
런타임: 학습된 AI 모델 파일을 불러와 실제 계산을 수행하는 실행 프로그램이다. 양자화: 모델의 숫자를 더 낮은 정밀도로 저장해 파일 크기와 메모리 사용을 줄이는 방식이다. SHA-256: 파일 내용으로 고유한 식별값을 만드는 방법으로, 파일이 달라졌는지 확인하는 데 쓰인다.
온라인 게시물에 따르면 AntLing은 Ming-Image-0.1-Design과 Layer 버전의 가중치, 화면 디자인과 이미지의 편집 가능한 발표자료 변환을 돕는 작업 도구를 공개했다. 다만 프로그램 전체가 공개된 오픈소스인지, 모델 가중치만 배포된 것인지를 두고 게시물과 댓글의 설명이 달라 라이선스를 확인한 뒤 사용해야 한다.
배경부터 이해하기
이미지 디자인 모델은 사용자의 지시나 입력 이미지를 바탕으로 화면 구성과 시각 자료를 만드는 AI다. 모델의 ‘가중치’는 학습 과정에서 정해진 수많은 숫자 값으로, 공개되면 이용자가 자신의 장비나 별도 서비스에서 모델을 실행할 수 있지만 소스 코드와 학습 자료까지 공개됐다는 뜻은 아니다.
이번 소식은 AntLing의 공식 자료를 직접 확인한 발표가 아니라 Reddit의 LocalLLaMA 게시판에 올라온 공유 글을 근거로 한다. 따라서 기능과 배포 조건은 원 배포 페이지 및 라이선스로 다시 확인할 필요가 있다.
무엇이 바뀌었나
게시물은 AntLing이 Ming-Image-0.1-Design과 Ming-Image-0.1-Design-Layer를 내놓았다고 전했다. 두 모델은 각각 매개변수 60억 개 규모로 기재됐다. 매개변수는 모델이 학습하면서 조정한 내부 숫자 값이며, 개수만으로 결과 품질이나 실행 속도가 결정되지는 않는다.
함께 소개된 도구는 Ling UI Design Skill과 Image-to-Editable-PPT Skill이다. 여기서 스킬은 AI 에이전트가 특정 작업을 수행하도록 만든 절차나 기능을 뜻하며, 에이전트는 사용자의 목표를 받아 여러 단계를 이어서 처리하는 AI 시스템이다. 전자는 사용자 화면 디자인, 후자는 이미지를 편집 가능한 발표자료로 바꾸는 작업을 겨냥한다.
왜 중요한가
가중치를 직접 사용할 수 있다면 디자이너와 개발자는 이미지 생성만 하는 데서 끝나지 않고, 화면 시안 제작이나 발표자료 편집 같은 후속 단계에 모델을 연결할 수 있다. 다만 상업적 이용과 수정·재배포 가능 여부는 라이선스에 따라 달라지므로, 공개됐다는 사실만으로 자유롭게 사용할 수 있다고 판단해서는 안 된다.
실제로 어떤 의미인가
가정한 예시: 디자이너가 앱 화면을 캡처한 이미지에서 편집 가능한 발표자료를 만들어야 한다고 하자. 기존에는 각 요소를 슬라이드에서 다시 그렸다면, 공개된 변환 스킬을 이용해 초안을 만든 뒤 글자, 색상과 배치를 사람이 수정하는 흐름을 시도할 수 있다. 실제 변환 정확도나 편집 가능 범위가 시험됐다는 의미는 아니다.
사용·공개 범위
Reddit 글은 2026년 9월 23일 공유됐으며, 모델 가중치와 두 가지 스킬이 공개됐다고 전한다. 그러나 제공 장소, 지원 기기, 실행 방법, 가격, 정확한 공개 시점은 supplied source에서 확인되지 않는다. 소스 코드 전체의 공개 여부와 이용 허용 범위도 불확실하다.
확인할 점
게시물은 이를 오픈소스 발표로 표현했지만, 주요 댓글은 소스 공개가 아니라 가중치 공개라고 정정했다. UI·UX 디자인 순위표에서 공개 가중치 모델 중 1위라는 주장도 게시물의 주장일 뿐 독립적으로 검증되지 않았으며, 어떤 UI·UX 디자인 과제와 평가 방식으로 순위를 정했는지 제공된 자료만으로는 알 수 없다.
용어 풀이
가중치: AI가 학습하며 조정한 내부 숫자 값이다. 가중치 공개가 곧 소스 코드 전체 공개를 뜻하지는 않는다. AI 에이전트: 목표를 받아 필요한 단계를 정하고 도구를 사용해 작업을 이어서 수행하는 AI 시스템이다. 매개변수: 모델이 학습으로 조정하는 숫자 값으로, 6B는 약 60억 개를 뜻한다.
Qwen이 이미지 생성·편집 모델 Qwen-Image 2.1을 공개하고, 사용자가 FP8 실행 속도를 공유했다
발행 2026-09-23
Reddit /r/LocalLLaMA · 출처 이미지
Qwen은 글로 이미지를 만들고 기존 이미지를 고치는 기능을 하나로 합친 Qwen-Image 2.1을 오픈소스로 공개했다. 별도로 한 Reddit 사용자는 수치 표현을 단순화한 FP8 버전을 10GB 미만의 파일로 실행해 좋은 품질과 빠른 생성 속도를 경험했다고 전했지만, 이는 공식 성능 시험이 아닌 개인 후기다.
배경부터 이해하기
Qwen-Image 2.1은 문장을 바탕으로 새 이미지를 만들거나 입력된 이미지를 수정하는 모델이다. 70억 개의 매개변수를 사용하는 이미지 생성 구성 요소를 갖췄다. 매개변수는 모델이 학습 과정에서 조정한 내부 숫자다.
FP8은 계산에 쓰는 숫자를 8비트 형식으로 단순화하는 방식이다. 모델 파일과 실행 시 필요한 메모리를 줄일 가능성이 있지만, 실제 속도와 결과 품질은 변환 방식, 그래픽카드, 실행 프로그램과 설정에 따라 달라진다.
무엇이 바뀌었나
Qwen은 2026년 9월 20일 Qwen-Image 2.1을 공개했다. 일반 이미지와 배경이 투명한 이미지를 생성할 수 있으며, 투명 레이어 편집과 사진에서 피사체를 분리하는 작업도 지원한다고 설명했다. 최대 10장의 참고 이미지를 이용한 편집, 특정 부분 수정, 글자·인물·사실적인 표현의 개선도 발표 내용에 포함됐다.
Reddit 게시자는 Unsloth Studio를 업데이트한 뒤 Fast FP8 선택지를 사용했다고 밝혔다. RTX 5090 환경에서 1024×1024 픽셀 이미지 한 장을 만드는 데 10~15초가 채 걸리지 않았으며, 10GB 미만의 모델 패키지에서 만족스러운 결과를 얻었다고 전했다. 이는 해당 사용자 환경의 체감 결과이며 Qwen의 공식 측정치는 아니다.
왜 중요한가
이미지 생성과 편집, 투명 배경 처리를 한 모델에서 수행하면 작업마다 별도 도구를 바꾸거나 결과물을 다시 잘라내는 단계를 줄일 수 있다. FP8 버전이 다양한 컴퓨터에서도 안정적으로 작동한다면 로컬 실행에 필요한 저장 공간과 메모리 부담도 낮아질 수 있다. 다만 이번 사용자 후기는 고성능 RTX 5090에서 나온 것이므로 일반 그래픽카드에서도 같은 속도가 나온다는 뜻은 아니다.
실제로 어떤 의미인가
활용 예시: 온라인 판매자가 상품 사진을 넣고 배경을 투명하게 만든 뒤, 같은 모델에 새로운 광고 배경과 문구를 추가하도록 요청할 수 있다. 이전에는 피사체 분리, 배경 생성, 문구 배치를 각각 다른 프로그램에서 처리했다면, 지원 기능 범위 안에서는 하나의 작업 흐름으로 묶을 수 있다. 이 예시는 기능 설명을 바탕으로 구성한 것이며 실제 시험 사례는 아니다.
사용·공개 범위
Qwen-Image 2.1은 2026년 9월 20일 오픈소스로 공개됐으며 Hugging Face 모델 페이지에서도 제공되는 것으로 확인됐다. Reddit의 FP8 실행 선택지는 게시자가 Unsloth Studio 업데이트 후 발견한 것이며, 모든 실행 도구에서 바로 지원되는지는 확인되지 않았다. 가격, 구체적인 사용 조건과 필요한 최소 하드웨어는 제공된 자료만으로 확인할 수 없다.
확인할 점
FP8 관련 품질과 속도는 사용자 한 명의 보고이며 동일 조건을 반복한 공식 벤치마크가 아니다. 벤치마크는 정해진 조건과 과제로 성능을 비교하는 시험이다. 게시자는 대부분 기본값이나 조금 수정한 문장을 사용했지만 정확한 모델 파일 출처를 기억하지 못했고, 메모리 사용량도 별도로 측정하지 않았다. Qwen이 밝힌 품질 개선 역시 제공된 자료에는 비교 과제와 수치가 없어 개선 폭을 판단할 수 없다.
용어 풀이
FP8: 계산에 쓰는 숫자를 8비트로 표현해 모델 크기와 계산 부담을 줄이려는 방식이다. 로컬 실행: 외부 서버에 요청하지 않고 사용자의 컴퓨터에서 모델을 직접 작동시키는 것이다. 매개변수: 학습을 통해 조정되며 모델의 출력 방식을 결정하는 내부 숫자다.
K2-Horizon 모델 제품군 가운데 MoVA-36B, 32B, 7B, 3.7B, 0.9B용 GGUF 양자화 파일이 Hugging Face에 게시됐다는 커뮤니티 공지가 나왔다. 여러 크기의 모델을 내려받아 로컬 추론을 시험하기 쉬워졌지만, 널리 쓰이는 llama.cpp의 정식 지원 작업은 아직 끝나지 않았다.
배경부터 이해하기
추론은 학습을 마친 AI 모델이 입력을 받아 답을 만드는 실행 과정이다. 큰 모델은 저장 공간과 메모리를 많이 요구하므로, 내부 숫자의 정밀도를 낮춰 파일과 실행 부담을 줄이는 양자화가 로컬 사용에 흔히 활용된다.
GGUF는 이렇게 변환한 모델과 관련 정보를 담는 파일 형식이다. llama.cpp 같은 실행 프로그램에서 많이 사용된다. 다만 GGUF 파일이 공개됐더라도 실행 프로그램이 해당 모델 구조를 이해하지 못하면 별도 수정판이나 추가 지원이 필요하다.
무엇이 바뀌었나
Reddit 공지는 Hugging Face에 IFM/K2-Horizon-MoVA-36B-A4B-GGUF와 32B, 7B, 3.7B, 0.9B 모델의 GGUF 파일이 올라왔다고 안내했다. 원래 모델의 가중치뿐 아니라 용량과 계산 부담을 낮춘 파일을 여러 크기에서 선택할 수 있게 됐다는 배포 소식이다.
공식 Hugging Face 컬렉션에서는 더 큰 375B-A23B를 포함한 K2-Horizon 제품군의 존재와 명칭을 확인할 수 있다. 그러나 Reddit에 따르면 llama.cpp 본류에 지원 코드를 합치는 작업은 진행 중이어서, 현재는 별도의 수정판에 의존해야 한다.
왜 중요한가
사용자는 컴퓨터 성능에 맞춰 0.9B 같은 작은 모델부터 32B나 MoVA-36B 같은 큰 모델까지 선택해 볼 수 있다. 양자화 파일은 원본 모델을 직접 변환하는 준비 과정을 줄여 로컬 배포 시험을 쉽게 만든다. 반면 실행 도구의 정식 지원이 끝나지 않았기 때문에 파일을 내려받는 것만으로 모든 환경에서 바로 작동한다고 볼 수는 없다.
실제로 어떤 의미인가
활용 예시: 개발자가 노트북에서는 0.9B 양자화 파일로 설치와 기본 동작을 먼저 확인하고, 메모리가 더 많은 데스크톱에서는 7B나 32B 파일로 결과 차이를 비교할 수 있다. 이전에는 원본 가중치를 직접 GGUF로 변환해야 했다면 공개 파일을 바로 내려받아 준비 단계를 줄일 수 있다. 이는 배포 범위를 설명하기 위한 가정한 예시이며 실제 성능 시험 결과는 아니다.
사용·공개 범위
공지에 언급된 GGUF 파일은 Hugging Face 저장소에서 내려받을 수 있는 상태로 소개됐다. 다만 llama.cpp의 정식 지원은 아직 진행 중이며 현재는 관련 수정판을 사용해야 한다. 각 파일의 정확한 용량, 필요한 메모리, 양자화 단계, 가격과 라이선스 조건은 제공된 자료에서 확인되지 않았다.
확인할 점
이번 소식은 모델의 답변 품질이 향상됐다는 발표가 아니라 변환 파일과 배포 도구에 관한 업데이트다. 공식 컬렉션은 K2-Horizon 제품군을 확인해 주지만, 개별 GGUF 저장소가 모두 공식적으로 관리되는지는 입증하지 않는다. 모델별 속도, 메모리 사용량, 답변 정확도를 측정한 비교 시험도 제시되지 않았다.
용어 풀이
양자화: 모델 내부 숫자를 더 단순한 형식으로 바꿔 파일 크기와 실행 부담을 줄이는 기법이다. GGUF: 로컬 AI 실행 프로그램에서 모델과 관련 정보를 읽을 수 있도록 묶은 파일 형식이다. llama.cpp: 여러 언어 모델을 개인 컴퓨터 등에서 실행하는 데 쓰이는 오픈소스 프로그램이다.
Hugging Face가 oMLX 창립자 Jun Kim을 영입해 애플 칩용 로컬 AI 도구를 상시 지원한다
발행 2026-09-22
Hugging Face Blog · 출처 이미지
Hugging Face는 oMLX의 창립자이자 유지보수자인 Jun Kim을 영입해 프로젝트를 유급으로 계속 관리하도록 지원한다고 발표했다. 개인의 부업에 가까웠던 유지보수를 장기적인 업무로 전환하고, 기존 AI 모델을 애플 칩용 MLX에서 더 빨리 실행할 수 있도록 연결 과정을 개선하는 것이 목표다.
배경부터 이해하기
MLX는 애플 실리콘을 사용하는 맥 등에서 AI 모델을 로컬로 실행하도록 최적화된 애플의 개발 틀이다. 로컬 AI는 입력을 외부 서비스로 보내는 대신 사용자의 기기에서 모델을 작동시키는 방식을 뜻한다.
oMLX는 Jun Kim이 만들고 관리해 온 MLX 생태계 프로젝트다. Hugging Face는 다양한 모델을 찾고 공유하는 모델 허브를 운영하며, Transformers라는 라이브러리에서 여러 모델의 구조를 공통된 방식으로 정의한다. 새로운 Transformers 모델을 MLX에서 실행하려면 그 구조에 맞는 구현과 실행 도구의 지원이 필요하다.
무엇이 바뀌었나
Hugging Face는 Jun Kim이 회사에 합류해 oMLX 개발을 계속 이끈다고 밝혔다. oMLX는 기존과 같이 Apache 2.0 오픈소스 라이선스를 유지한다. 회사는 개인이 여가 시간에 관리하던 프로젝트가 상시 유지보수와 자금 지원을 받게 돼 안정성과 개발 속도가 개선되기를 기대한다고 설명했다.
구체적인 중점 과제는 Transformers에 정의된 새 모델을 MLX용 기준 구현으로 빠르게 옮기는 절차를 간소화하는 것이다. 이렇게 만든 구현을 여러 실행 엔진이 함께 이용하도록 하는 방향이다. oMLX는 새로운 아이디어를 시험하는 공간으로 활용하며, 적절한 결과는 mlx-lm이나 mlx-vlm 같은 기반 프로젝트에 반영하는 방안도 제시했다.
왜 중요한가
새 모델이 공개돼도 MLX용 구현이 늦으면 맥 사용자는 해당 모델을 로컬에서 바로 시험하기 어렵다. 모델 정의를 MLX 구현으로 옮기는 과정이 정리되면 각 실행 프로그램 개발자가 같은 변환 작업을 반복하는 부담을 줄이고, 프로그램마다 고유 기능을 만드는 데 집중할 수 있다. 전담 유지보수는 오류 수정과 외부 기여 검토가 한 개인의 남는 시간에만 의존하는 위험도 낮출 수 있다.
실제로 어떤 의미인가
활용 예시: 새로운 언어 모델이 Transformers 형식으로 공개됐다고 가정하자. 이전에는 여러 MLX 실행 도구가 각각 모델 구조를 분석하고 호환 코드를 만들어야 했다면, 앞으로는 공통으로 쓸 수 있는 MLX 기준 구현을 먼저 만든 뒤 각 도구가 이를 받아들이는 흐름을 목표로 한다. 이는 발표된 개발 방향을 설명하기 위한 가정한 예시이며, 특정 모델에서 이미 완료됐다는 뜻은 아니다.
사용·공개 범위
이번 발표는 Jun Kim의 영입과 향후 개발 방향에 관한 것으로, 별도의 새 제품 출시가 아니다. oMLX는 Apache 2.0 라이선스를 유지하며 Jun Kim이 계속 이끈다. 개선된 변환 절차의 출시일, 지원 대상 모델, 배포 방식과 유료 기능 여부는 발표되지 않았다.
확인할 점
Hugging Face가 기대하는 안정성과 빠른 개발은 향후 목표이며, 속도 개선 수치나 완료 일정은 제시되지 않았다. Transformers 모델이 모두 자동으로 MLX에서 실행된다고 발표한 것도 아니다. 원문 댓글에는 당시 oMLX의 GitHub 저장소가 보이지 않는다는 사용자 보고가 있었지만, 제공된 자료만으로 원인과 복구 상태를 확인할 수 없다.
용어 풀이
MLX: 애플 실리콘 기기에서 AI 계산을 효율적으로 수행하도록 만든 애플의 개발 틀이다. Transformers: 여러 AI 모델의 구조를 공통된 방식으로 정의하고 불러오는 오픈소스 라이브러리다. 실행 엔진: 학습된 모델을 읽고 실제로 답이나 결과를 만들도록 작동시키는 소프트웨어다.
커뮤니티 실험자, MiMo-V2.6-Flash의 빈 응답 원인을 vLLM 서버 처리에서 찾아 수정
발행 2026-09-23
AI 뉴스 기본 이미지 · AI 생성 일러스트
한 커뮤니티 실험자는 MiMo-V2.6-Flash-RL을 vLLM으로 구동할 때 사고 과정과 외부 도구를 함께 사용하면 답이 비는 현상이 모델 자체가 아니라 서버의 대화 처리 방식 때문에 발생했다고 분석했다. 로컬 설정에서는 사고 과정까지 포함한 전체 응답이 2,048토큰으로 제한될 수 있어, 여러 단계의 작업을 운영하는 개발자는 모델 교체에 앞서 서빙 설정과 대화 형식을 확인할 필요가 있다.
배경부터 이해하기
MiMo-V2.6-Flash-RL은 샤오미가 공개한 언어 모델이다. 에이전트는 이 모델이 검색이나 코드 실행 같은 도구를 호출하면서 여러 단계를 수행하도록 만든 소프트웨어를 뜻한다. vLLM은 모델의 추론, 즉 학습을 마친 모델이 실제 답을 생성하는 과정을 서버에서 처리하는 도구다.
이런 시스템은 모델의 답과 내부 사고 과정, 도구 실행 결과를 대화 기록에 나눠 저장한다. 스트리밍 방식은 완성된 답을 한꺼번에 보내지 않고 생성되는 대로 전달한다. 이때 서버와 모델의 대화 형식이 맞지 않으면 모델이 답을 만들었더라도 빈 응답처럼 보이거나, 다음 도구 호출에서 앞선 맥락이 빠질 수 있다.
무엇이 바뀌었나
게시물 작성자는 세 가지 서버 측 원인을 제시했다. 첫째, 이전 답에 사고 종료 표시가 있으면 vLLM이 새 답의 사고도 이미 끝난 것으로 잘못 해석할 수 있었다. 둘째, 과거 사고 과정을 저장하는 필드 이름이 모델 템플릿의 `reasoning_content`와 vLLM의 `reasoning`으로 달라 도구 호출을 반복할 때 내용이 사라질 수 있었다. 작성자는 템플릿과 대화 처리 코드를 고친 뒤 여러 단계의 도구 작업 실패가 멈췄다고 보고했다.
셋째, 공개 체크포인트의 생성 설정에는 `max_new_tokens`가 2,048로 지정돼 있었다. 클라이언트가 별도의 최대 출력값을 보내지 않으면 사고 과정과 최종 답을 합쳐 최대 2,048토큰까지만 생성될 수 있다는 설명이다. 토큰은 모델이 글을 처리하는 작은 단위다. 반면 샤오미 문서상 호스팅 API의 기본 최대 출력은 131,072토큰이므로, 이 상한은 모델 전체의 공통 한계가 아니라 해당 로컬 설정에서 나타나는 차이다.
왜 중요한가
빈 답이나 중간 중단을 모델 능력의 문제로 오인하면 개발자는 불필요하게 모델을 바꾸거나 작업 흐름을 단순화할 수 있다. 서버가 사고 과정의 종료 표시와 필드 이름을 올바르게 전달하고 출력 상한을 명시하면, 긴 작업에서 맥락이 사라지는 원인을 더 빠르게 분리해 점검할 수 있다.
실제로 어떤 의미인가
활용 예시: 개발자가 문서를 검색한 뒤 계산 도구를 호출하고 최종 보고서를 쓰는 에이전트를 운영한다고 가정하자. 수정 전에는 첫 도구 실행 뒤 빈 답이 나오거나 2,048토큰 부근에서 보고서가 끊길 수 있다. 수정 후에는 서버가 이전 사고 기록을 맞는 필드로 넘기고 클라이언트가 필요한 출력 한도를 명시해, 검색 결과와 계산 결과를 이어 받아 최종 답을 작성하도록 구성할 수 있다.
사용·공개 범위
MiMo-V2.6의 Pro와 Flash 모델 가중치 및 기술 보고서는 샤오미가 공개했다고 밝혔다. 호스팅 API와 구독 접근도 제공된다고 안내했지만 구체적인 가격은 자료에 없다. 이번 빈 응답 수정은 공식 모델 업데이트가 아니라 Reddit 작성자가 DGX Spark 환경에서 적용한 로컬 템플릿·서버 패치이며, 배포 패키지나 공식 지원 여부는 확인되지 않았다.
확인할 점
원인과 수정 효과는 Reddit 작성자의 단일 환경 실험에 근거하며 샤오미나 vLLM의 공식 검증 결과가 아니다. 원문 자동 수집도 제한돼 세부 패치와 재현 조건을 독립적으로 확인하기 어렵다. 2,048토큰은 공개 체크포인트 설정의 기본값에 관한 정황이며, 샤오미 호스팅 API의 131,072토큰 기본 상한과 혼동해서는 안 된다.
용어 풀이
에이전트: AI가 외부 도구를 호출하며 여러 단계를 이어서 처리하도록 만든 소프트웨어 구성이다. vLLM: 언어 모델을 서버에서 실행하고 여러 요청에 답하도록 관리하는 오픈소스 서빙 도구다. 토큰: 모델이 입력과 출력을 나눠 처리하는 작은 글자·단어 조각 단위다.
