OpenAI 개발자 커뮤니티의 2026년 9월 18일 공지 목록에 GPT-Live-1을 API로 출시했다는 게시물이 올라왔다. 개발자가 이 모델을 자신의 서비스에 연결할 수 있다는 의미지만, 제공된 자료만으로는 음성 지원 여부와 구체적인 기능·가격을 확인할 수 없다.
배경부터 이해하기
API는 한 회사의 기능이나 모델을 다른 앱에서 호출할 수 있게 만든 연결 규칙이다. 개발자는 사용자의 요청을 API로 보내고, 돌아온 결과를 상담 서비스나 작업 도구 같은 자체 화면에 표시할 수 있다.
‘Live’라는 이름은 실시간 상호작용을 떠올리게 한다. 그러나 제공된 출처는 공지 목록과 게시물 제목뿐이다. 이전 모델과의 차이, 지원하는 입력과 출력, 응답 지연 시간은 설명하지 않는다.
무엇이 바뀌었나
OpenAI Developer Community의 공지 목록에 ‘Introducing GPT-Live-1 in the API’라는 제목의 글이 2026년 9월 18일자로 등록됐다. 목록에는 ‘gpt-live’라는 분류도 붙어 있다.
확인 가능한 변화는 GPT-Live-1이라는 모델이 API에 출시됐다는 점까지다. 제공된 본문 발췌에는 음성·영상·텍스트 중 무엇을 처리하는지, 대화를 얼마나 빠르게 주고받는지, 기존 실시간 모델을 대체하는지가 나와 있지 않다.
왜 중요한가
API 출시는 일반 이용자가 새 앱을 직접 받는 것과 다르다. 개발자가 GPT-Live-1을 자사 제품에 연결한 뒤에야 최종 사용자가 이를 접하게 된다. 지원 기능이 실제 실시간 대화에 적합하다면 상담이나 작업 보조 화면의 상호작용 방식을 바꿀 수 있다. 다만 현재 자료로는 그런 용도를 확정할 수 없으므로, 개발자는 모델 문서와 사용 조건을 확인한 뒤 설계해야 한다.
실제로 어떤 의미인가
가정한 활용 예시: 한 상담 앱 개발자가 고객의 질문을 받아 즉시 답하는 기능을 만들려 한다. 이전에는 별도의 대화 모델을 호출했다면, 앞으로는 GPT-Live-1 API가 요구하는 입력 형식과 응답 속도를 시험한 뒤 연결 후보로 검토할 수 있다. 음성 상담으로 구현할 수 있는지는 제공된 자료에서 확인되지 않았다.
사용·공개 범위
2026년 9월 18일 OpenAI 개발자 커뮤니티에 API 출시 공지가 등록됐다. 누가 접근할 수 있는지, 지원 국가와 이용 등급, 신청 필요 여부, 호출 한도와 가격은 제공된 자료에서 확인되지 않는다. ChatGPT 일반 이용자에게 별도 기능으로 출시됐는지도 확인되지 않았다.
확인할 점
근거가 공지 목록과 제목에 한정돼 있다. 상세 게시물 내용, 기술 문서, 가격표, 성능 측정 결과는 제공되지 않았다. 따라서 ‘Live’라는 이름만으로 음성 기능이나 낮은 지연 시간을 보장한다고 해석해서는 안 된다. 코딩 보조, 상담, 자동 실행 도구에 적합하다는 판단도 실제 사양 확인이 필요하다.
용어 풀이
API: 한 서비스의 기능을 다른 프로그램이 정해진 방식으로 호출하도록 만든 연결 규칙. 응답 지연 시간: 요청을 보낸 뒤 결과가 돌아올 때까지 걸리는 시간.
TypeSafe AI는 문장을 생성하는 대신 개발자가 미리 정한 결과별 확률을 반환하는 트랜스포머 기반 모델 Jev를 공개했다. 분류와 작업 분배 같은 좁은 자동화에서는 더 빠르고 저렴할 가능성이 있지만, 공개된 비교 결과는 제한된 개발자 사례이며 모델 구조도 상세히 공개되지 않았다.
배경부터 이해하기
대규모 언어 모델은 질문에 답하거나 글을 쓰는 데 주로 쓰인다. 자동화 프로그램에서는 때때로 긴 설명보다 ‘허용 또는 차단’, ‘영업 또는 고객지원’처럼 정해진 선택 하나가 필요하다. 언어 모델이 사실과 다른 내용을 그럴듯하게 만드는 현상은 흔히 환각이라고 부른다.
Jev는 같은 트랜스포머 계열이지만 대규모 언어 모델은 아니라고 회사가 설명한다. 텍스트를 생성하지 않고, 미리 정의된 선택지마다 가능성을 숫자로 돌려준다. 예를 들어 ‘안전 95%, 위험 5%’와 같은 결과를 코드가 받아 다음 동작을 정하는 방식이다.
무엇이 바뀌었나
OpenAI 연구자 출신 Diogo Almeida가 세운 TypeSafe AI가 Jev를 출시했다. 회사는 합성 데이터만으로 학습했으며, 결과가 얼마나 확실한지를 확률로 표현하는 결정을 목표로 했다고 설명한다. 입력 사용량은 백만 단위가 아니라 10억 단위로 계산하고 출력에는 요금을 매기지 않는다고 밝혔지만, 정확한 가격은 제시된 자료에 없다.
Vercel의 한 개발자는 명령어가 안전한지 분류하는 작업에서 기존 OpenAI 모델을 Jev로 바꾸자 결과가 5~18배 빨리 나왔고 정확도도 높았다고 말했다. 별도의 사업용 이메일 분류 시험에서는 Gemini가 조금 더 정확했지만 비용은 Jev보다 10~20배 높았다고 다른 개발자가 전했다. 두 비교 모두 시험 규모, 데이터 구성, 정확도 수치가 공개되지 않은 개별 사례다.
왜 중요한가
자동화 과정의 모든 단계에 글을 생성하는 모델을 쓰면 비용과 대기 시간이 누적될 수 있다. Jev처럼 제한된 선택지의 확률만 반환하는 모델은 이메일 분류, 요청 전달, 위험 명령 차단처럼 결과 형식이 분명한 단계에 맞을 수 있다. 확률이 낮으면 사람에게 넘기고 높으면 자동 처리하도록 기준도 세울 수 있다. 반면 선택지를 미리 설계해야 하므로 자유로운 대화나 긴 글 작성의 대체재는 아니다.
실제로 어떤 의미인가
가정한 활용 예시: 회사가 들어오는 이메일을 ‘환불’, ‘기술지원’, ‘영업’으로 나누려 한다. 이전에는 언어 모델이 분류명과 설명문을 만들게 한 뒤 다시 코드를 통해 결과를 해석했다. Jev를 적용한다면 세 항목의 확률을 바로 받아, 가장 높은 값이 90% 이상일 때만 자동 배정하고 그보다 낮으면 직원이 확인하게 설계할 수 있다. 이는 작동 방식을 설명한 예시이며 실제 시험 결과가 아니다.
사용·공개 범위
TechCrunch 보도에 따르면 TypeSafe AI는 Jev를 출시했고 개발자가 API로 이용했다. 초기 수요가 몰려 회사가 잠시 API 요청을 처리하지 못한 적도 있다고 보도됐다. 구체적인 지원 국가, 가입 조건, 무료 제공량, 전체 가격표와 안정적인 서비스 용량은 제공된 자료에서 확인되지 않는다.
확인할 점
‘빠르고 저렴하다’, ‘미리 정한 출력이라 환각할 수 없다’는 설명은 주로 회사 주장이다. 잘못된 분류나 부정확한 확률은 여전히 가능하며, 어떤 확률부터 자동 처리할지는 이용자가 정해야 한다. 외부에서는 공개 가중치 언어 모델을 토대로 만들었을 가능성을 추측하지만 회사는 구조를 자세히 밝히지 않았다. 개발자 비교도 표준화된 종합 성능시험이 아니므로 모든 작업에서 같은 속도·비용 차이가 난다고 볼 수 없다.
용어 풀이
트랜스포머: 입력 안의 여러 요소가 서로 어떤 관계인지 계산해 결과를 만드는 AI 모델 구조. 합성 데이터: 사람이 직접 수집한 기록이 아니라 프로그램이나 다른 모델로 만들어 학습에 쓰는 데이터. 확률 보정: 모델이 90%라고 답한 결과가 실제로도 그와 비슷한 비율로 맞도록 확률의 신뢰도를 조정하는 것.
Anthropic은 Accenture의 전문 AI 조직 Faculty가 자사 안에서 모델 개발 과정을 살피고 안전성을 평가하는 협력을 발표했다. 양사는 향후 5년 동안 이 분야의 역량 구축에 각각 최소 10억 달러를 투자할 계획이지만, 접근 범위와 결과 공개 방식에 관한 공통 기준은 아직 정해지지 않았다.
배경부터 이해하기
새 AI 모델은 공개 전후에 위험한 지시를 따르는지, 안전장치를 우회할 수 있는지 등을 평가받는다. 레드팀은 공격자처럼 모델의 약점을 찾아보는 시험이다. 정렬 평가는 모델의 행동이 개발사가 세운 원칙과 사람의 의도에 맞는지 확인하는 절차다.
기존 외부 평가자는 보통 회사 밖에서 제한된 정보와 완성된 모델을 대상으로 검사한다. Anthropic이 말하는 ‘내부 상주형 독립 평가’는 평가자가 직원과 비슷한 수준의 접근 권한을 받아 모델이 학습되고 출시 방침이 정해지는 과정을 가까이서 살피는 방식이다.
무엇이 바뀌었나
Anthropic과 Accenture는 프런티어 AI, 즉 가장 높은 수준의 성능을 목표로 개발되는 최신 AI를 독립적으로 평가하는 협력을 발표했다. Faculty가 모델 평가와 레드팀 시험, 정렬 상태 점검, 안전장치 검증을 맡는다. 실제 기업과 정부가 AI를 사용하는 방식에 관한 Accenture의 경험도 평가에 반영한다는 계획이다.
양사는 앞으로 5년간 관련 역량을 구축하는 데 각각 최소 10억 달러를 투자할 것으로 예상한다고 밝혔다. 협력은 독점 계약이 아니다. Anthropic은 다른 평가기관과도 일하고, Accenture 역시 다른 AI 개발사를 평가할 수 있다. 초기에는 Anthropic이 Accenture의 평가 비용을 직접 부담한다.
왜 중요한가
평가자가 완성된 모델만 보는 대신 개발 중 결정과 내부 절차까지 살피면, 출시 직전 검사로는 놓치기 쉬운 위험을 더 일찍 지적할 수 있다. 안전 약속이 실제 개발과 배포 과정에서 지켜지는지도 확인할 여지가 생긴다. 기업이나 정부는 모델 성능뿐 아니라 위험이 어떻게 점검됐는지 판단할 자료를 얻을 수 있다. 다만 평가 대상 회사가 비용을 내는 구조에서는 독립성을 어떻게 보장하고 결과를 어디까지 공개할지가 중요하다.
실제로 어떤 의미인가
가정한 활용 예시: Anthropic이 새 모델의 외부 시스템 접근 기능을 개발한다고 하자. 상주 평가자는 완성 뒤 한 번 시험하는 대신 학습 단계의 설계 결정과 안전장치 변경을 따라가며, 권한을 벗어나는 행동을 유도하는 시험을 반복할 수 있다. 문제가 발견되면 출시 전에 수정하도록 전달하고, 정해질 보고 절차에 따라 사고나 남은 위험을 알릴 수 있다. 이는 협력 방식의 운영상 의미를 설명한 예시다.
사용·공개 범위
이는 일반 이용자가 구매하거나 신청하는 제품 출시가 아니라 2026년 9월 18일 발표된 평가 협력 계획이다. 양측은 향후 5년간 투자를 예상했지만, 평가가 시작되는 정확한 시점과 첫 대상 모델, 보고서 공개 일정은 밝히지 않았다. Anthropic은 다른 평가기관도 수주 안에 발표할 예정이라고 했으나 구체적인 기관과 날짜는 확정되지 않았다.
확인할 점
Anthropic도 내부 상주형 평가가 새로운 방식이며 세부 운영안을 마련하는 중이라고 밝혔다. 평가자가 어떤 정보에 접근해야 하는지, 발견 내용을 어떤 형식으로 보고할지, 독립 평가 비용을 누가 부담할지에 관한 확립된 기준이 없다. 초기 비용을 피평가 회사인 Anthropic이 직접 낸다는 점도 독립성 판단에 고려해야 한다. 평가자가 참여하더라도 모델 안전에 대한 최종 책임은 Anthropic에 남는다.
용어 풀이
레드팀: 공격자나 악의적 이용자의 관점에서 시스템을 시험해 약점과 우회 방법을 찾는 평가 활동. 정렬 평가: AI의 행동이 사람이 정한 목표와 안전 원칙에 맞는지 확인하는 검사. 프런티어 AI: 현재 가능한 최고 수준의 성능을 목표로 개발되는 최신 AI 모델을 가리키는 표현.
ProgramAsWeights가 영어로 적은 기능을 오프라인 CPU용 함수로 변환하는 도구를 공개
발행 2026-09-19
Reddit r/LocalLLaMA · 출처 이미지
워털루대 프로젝트로 소개된 ProgramAsWeights는 원하는 기능을 영어로 설명하면 소형 추가 학습 파일인 LoRA 어댑터로 변환하고, 이를 파이썬 함수처럼 실행하게 한다. 변환된 함수와 공용 기반 모델을 내려받은 뒤에는 외부 서버를 호출하지 않고 로컬 CPU에서 반복 실행할 수 있어, 네트워크 의존성과 호출 비용을 줄일 가능성이 있다.
배경부터 이해하기
일반적인 생성형 AI 기능은 사용자가 요청문을 보낼 때마다 큰 모델이 내용을 해석하고 결과를 만든다. 외부 API, 즉 다른 회사의 AI 서버를 프로그램에서 호출하는 통로를 이용하면 요청마다 네트워크 연결과 서비스 비용이 발생할 수 있다.
ProgramAsWeights는 반복할 작업의 의미를 모델 가중치에 가까운 형태로 미리 변환하는 접근이다. LoRA는 기반 모델 전체를 다시 만들지 않고 특정 작업에 필요한 작은 추가 파일만 결합하는 학습 방식이다. 여러 함수는 같은 기반 모델을 공유하고 각자 별도 어댑터를 쓸 수 있다.
무엇이 바뀌었나
프로젝트는 영어로 작성한 함수 설명을 컴파일한 뒤 파이썬에서 호출할 수 있는 SDK와 컴파일러 가중치를 공개했다. 여기서 컴파일은 자연어 설명을 실행 가능한 신경망 프로그램으로 바꾸는 과정을 뜻한다. 변환에는 기본적으로 호스팅된 컴파일러를 쓸 수 있지만, 완성된 프로그램과 기반 모델을 받은 뒤의 추론, 즉 새 입력에 답을 계산하는 과정은 로컬에서 오프라인으로 작동한다고 설명한다.
표준형은 Qwen3 0.6B 기반으로, 기반 모델 용량은 594MB이고 함수 하나에 해당하는 프로그램은 약 22MB다. 브라우저 배포를 겨냥한 소형 버전은 GPT-2 124M 기반이며 각각 약 134MB와 5MB다. 저장소에는 파이썬 SDK가 제공되며, 소형 버전은 WebAssembly를 이용한 브라우저 실행 대상으로도 안내된다.
왜 중요한가
같은 분류나 변환 작업을 자주 수행한다면 매번 긴 지시문을 원격 모델에 보내는 대신, 한 번 만든 전용 함수를 기기 안에서 재사용할 수 있다. 인터넷이 불안정한 환경이나 입력을 외부 서버로 보내기 어려운 업무에도 유용할 수 있다. 다만 실제 비용과 속도 이점은 작업 종류, 컴파일 과정, 기기 성능에 따라 달라진다.
실제로 어떤 의미인가
가정한 활용 예시: 개발자가 고객 문의를 ‘배송·환불·기타’로 나누는 규칙을 영어로 작성한다. 이전에는 문의마다 원격 AI에 지시문과 원문을 보냈다면, ProgramAsWeights에서는 해당 설명을 한 번 함수로 변환해 내려받은 뒤 사내 CPU에서 각 문의를 분류할 수 있다.
사용·공개 범위
파이썬 SDK, 컴파일러 가중치, 모델 체크포인트, 논문과 브라우저 실험 도구가 공개된 것으로 안내됐다. 패키지의 정확한 이용 요금, 호스팅 컴파일러의 사용 한도, 지원 운영체제 범위는 제공된 자료에서 확인되지 않는다.
확인할 점
공개 자료는 프로젝트 작성자와 저장소의 설명이며, 독립적인 성능 검증 결과는 제시되지 않았다. 예시 함수가 복잡한 업무에서도 정확히 작동하는지, 기존 범용 모델 호출보다 얼마나 빠르고 저렴한지는 확인되지 않았다. 자연어 설명을 변환하는 단계에서는 기본 설정상 호스팅된 컴파일러를 이용하므로, 전체 과정이 처음부터 끝까지 항상 오프라인인 것은 아니다.
용어 풀이
LoRA 어댑터: 큰 모델 전체를 바꾸지 않고 특정 작업 능력을 덧붙이는 작은 학습 파일이다. 추론: 학습을 마친 모델이 새 입력을 받아 결과를 계산하는 과정이다. WebAssembly: 브라우저 안에서 비교적 빠르게 프로그램을 실행하도록 만든 기술 형식이다.
오픈소스 프로젝트 embedflow는 기존 검색 인덱스를 계속 사용하면서 새 임베딩 모델의 결과를 시험하고, 새 벡터를 점진적으로 저장하는 이전 절차를 확장했다. 여러 벡터 데이터베이스 지원과 사전 계획, 그림자 실행, 백그라운드 변환 기능이 추가돼 서비스 중단 없이 전환하기 쉬워졌지만 아직 초기 시험 단계다.
배경부터 이해하기
임베딩은 문장이나 이미지의 의미를 숫자 배열로 바꾸는 기술이다. 벡터 데이터베이스는 이 숫자 배열 사이의 거리를 비교해 의미가 비슷한 문서나 상품을 찾는다. 임베딩 모델을 바꾸면 기존 벡터와 새 벡터의 기준이 달라질 수 있어, 저장된 자료 전체를 다시 변환하고 검색 인덱스를 만드는 작업이 필요할 수 있다.
embedflow의 기본 방식은 기존 인덱스로 먼저 후보 문서 K개를 찾은 다음, 새 모델로 그 후보들의 순서를 다시 매기는 것이다. 실제 요청이 들어오는 동안 새 벡터를 캐시에 쌓아 한 번에 전부 교체하는 대신 점진적으로 전환한다.
무엇이 바뀌었나
업데이트는 FAISS, Qdrant, pgvector, Pinecone, Milvus, Weaviate를 지원 대상으로 명시했다. 이전 계획 도구는 시스템 상태를 미리 확인하고 후보 개수 K와 전환 절차를 권고한다. 다만 이 도구가 직접 요청 경로를 바꾸거나 원본 인덱스를 수정하지는 않는다.
그림자 모드는 실제 요청을 기존 검색과 새 검색에 함께 넣되, 사용자에게는 계속 기존 결과를 제공한다. 두 결과의 순위 차이, 지연 시간, 캐시와 변환 범위를 기록할 수 있다. 자주 검색되는 자료를 먼저 준비하는 기능, 영구 캐시, 백그라운드 벡터 생성과 보고서도 추가됐다.
왜 중요한가
전체 자료를 한꺼번에 다시 처리하면 계산 비용이 몰리고 전환 중 장애 위험이 커질 수 있다. embedflow 방식은 기존 검색을 유지한 채 새 경로를 관찰하고, 많이 쓰이는 자료부터 새 벡터를 채울 수 있게 한다. 운영자는 결과 차이가 큰 구간을 확인한 뒤 전환 여부를 판단할 수 있다.
실제로 어떤 의미인가
가정한 활용 예시: 쇼핑몰이 상품 1천만 건의 검색 모델을 교체하려 한다. 이전에는 모든 상품의 벡터를 다시 만든 뒤 새 인덱스로 한 번에 전환해야 했다면, embedflow를 이용할 때는 기존 검색으로 후보를 찾고 새 모델로 순서를 다시 계산한다. 동시에 자주 조회되는 상품부터 새 벡터를 저장하며 두 검색 결과의 차이를 보고 전환 계획을 조정할 수 있다.
사용·공개 범위
프로젝트는 PyPI에 공개돼 `pip install embedflow`로 설치할 수 있다고 안내한다. 저장소는 v0.8.0을 연구 및 초기 실사용 시험 단계로 표시한다. 각 데이터베이스 연동에는 별도 선택 패키지가 필요할 수 있으며, 유료 지원이나 정식 1.0 출시 일정은 확인되지 않는다.
확인할 점
‘서비스 중단 없음’은 프로젝트 작성자가 내세운 운영 목표이며 모든 환경에서 보장된 결과가 아니다. 그림자 모드는 진단 자료만 수집하며 새 검색을 실제 사용자에게 자동 배포하지 않는다. 정답이 표시된 평가 자료가 없다면 검색 품질이 이전과 같거나 더 좋아졌다고 판단할 수 없다. 계획 도구의 권고 역시 자동 결정이 아니라 운영자가 검토해야 하는 참고 정보다.
용어 풀이
임베딩: 문장이나 이미지의 의미와 특징을 컴퓨터가 비교할 수 있는 숫자 배열로 표현한 것이다. 재랭크: 먼저 찾은 후보들을 다른 기준이나 새 모델로 다시 평가해 순서를 바꾸는 작업이다. 그림자 모드: 새 시스템을 실제 요청에 함께 실행하되, 그 결과는 사용자에게 보내지 않고 비교 자료만 모으는 방식이다.
커뮤니티 개발자가 64GB 맥에서 Qwen3.8-Flash-Next를 SSD로 나눠 읽는 실행판 공개
발행 2026-09-19
AI 뉴스 기본 이미지 · AI 생성 일러스트
한 커뮤니티 개발자가 95.5GiB 크기의 Qwen3.8-Flash-Next를 64GB 애플 실리콘 맥에서 실행하도록 조정한 체크포인트와 llama.cpp 변형판을 공개했다. 사용 시 필요한 전문가 가중치만 SSD에서 읽는 특수 방식으로 메모리보다 큰 모델을 구동하지만, 공개 속도는 M5 Pro 한 대에서 작성자가 직접 측정한 결과다.
배경부터 이해하기
Qwen3.8-Flash-Next는 입력에 따라 일부 계산 경로만 선택하는 전문가 혼합형 모델로 소개됐다. 이런 구조에서는 여러 ‘전문가’ 부분 가운데 각 토큰에 필요한 일부만 사용한다. 토큰은 모델이 글을 처리하고 생성할 때 나누는 짧은 문자 또는 단어 조각이다.
공개된 모델 파일은 95.5GiB여서 64GB 통합 메모리에 전부 올릴 수 없다. 일반 llama.cpp는 전체 파일을 메모리에 적재하려 하므로 이 구성에서 실패한다고 모델 카드가 경고한다. 이번 변형판은 드물게 쓰이는 전문가 부분을 내부 SSD에 두고 필요할 때 읽는다.
무엇이 바뀌었나
작성자는 64GB 애플 실리콘 맥을 겨냥해 조정한 체크포인트와 `--moe-stream` 옵션을 지원하는 llama.cpp 포크를 공개했다. 모델은 세 파일로 나뉘며, 내부 SSD에 약 100GB의 빈 공간이 필요하다고 안내한다. 생성 중에도 SSD를 계속 읽기 때문에 외장 USB 저장장치는 훨씬 느릴 수 있다.
M5 Pro 64GB 환경에서 작성자가 측정한 수치는 입력문 처리 초당 약 367토큰, 초안 예측 기능을 켠 답변 생성 초당 약 27.6토큰이다. 이 기능을 끄면 생성 속도는 초당 약 18~18.6토큰이었다. 대화 기록이 약 2만9천 토큰인 실제 채팅에서는 초당 약 20.6토큰이었다고 주장한다. 각 수치는 각각 입력 읽기와 새 글 생성 처리량을 뜻한다.
왜 중요한가
메모리보다 큰 모델도 필요한 부분만 SSD에서 읽으면 소비자용 맥에서 실행할 수 있다는 구체적인 배포 방법을 보여준다. 코딩 내용이나 회사 자료를 원격 서버에 보내지 않고 로컬에서 처리하려는 개발자에게 선택지가 될 수 있다. 반면 속도가 SSD 성능과 전용 코드에 크게 의존하므로 일반적인 맥용 설치법으로 보기는 어렵다.
실제로 어떤 의미인가
가정한 활용 예시: 개발자가 인터넷 연결 없이 큰 코드 저장소에 관한 질문을 로컬 모델에 한다. 이전에는 95.5GiB 모델 전체를 메모리에 올리려다 실행하지 못했다면, 이 구성에서는 64GB 메모리에 공용 부분을 두고 요청마다 필요한 전문가 파일만 내부 SSD에서 읽어 답을 생성한다.
사용·공개 범위
체크포인트는 Hugging Face에, 필요한 llama.cpp 포크와 실행 설정은 작성자의 공개 자료에 제공된 것으로 안내됐다. 64GB 애플 실리콘 맥과 약 100GB의 내부 SSD 여유 공간을 전제로 한다. 일반 llama.cpp에서는 바로 실행되지 않으며, 가격이나 다른 맥·운영체제의 공식 지원 여부는 확인되지 않는다.
확인할 점
속도는 작성자가 M5 Pro 64GB 한 대에서 측정한 값으로 독립 재현 결과가 아니다. 모델의 코딩 정확도를 평가한 과제별 결과도 제공된 자료에 없다. SSD를 지속적으로 읽으므로 저장장치 속도와 수명, 발열, 대화 길이, 설정에 따라 성능이 달라질 수 있다. 여러 환경 변수와 전용 실행 옵션이 필요한 실험적 구성이다.
용어 풀이
전문가 혼합형 모델: 여러 계산 모듈 중 입력에 필요한 일부만 골라 사용하는 AI 모델 구조다. 토큰/초: 모델이 1초에 읽거나 새로 생성한 문자·단어 조각의 수다. 입력 처리와 답변 생성 속도는 별도로 봐야 한다. 체크포인트: 학습하거나 조정한 AI 모델의 가중치를 저장한 파일 묶음이다.
Vulsar AI가 475개의 창작 지시문으로 24개 대형 언어 모델과 인간 작가의 단편소설을 비교한 Creative Writing Bench V1을 공개했다. 자체 평가 방식에서는 일부 모델이 아마추어 작가 집단보다 높은 독자 선호 예측치를 기록했지만, 전문 작가만 따로 비교하면 인간과 큰 차이가 났다.
배경부터 이해하기
대형 언어 모델은 사용자가 입력한 지시문에 이어질 말을 예측해 글을 만드는 AI다. 창작물에는 하나의 정답이 없어서, 사실 확인이나 코딩처럼 답이 맞는지를 단순 채점하기 어렵다.
이 평가판은 같은 조건에서 생성한 단편소설 가운데 독자가 어느 쪽을 선호할지를 예측해 모델과 인간을 비교한다. 각 모델에는 475개의 서로 다른 지시문이 주어졌고, 지시문마다 단편소설 한 편을 작성하게 했다.
무엇이 바뀌었나
Vulsar AI는 2026년 9월 17일 Creative Writing Bench V1을 연구·평가 자료로 공개했다. 일반 종합, 전문 작가 비교, 아마추어 작가 비교가 서로 다른 지시문과 인간 비교 집단을 사용하므로 세 결과를 직접 같은 순위처럼 읽으면 안 된다.
종합 결과의 ‘예측 승률’은 다른 글과 비교했을 때 독자가 해당 글을 더 좋아할 것으로 평가 모델이 예상한 비율이다. GPT 6 Astra는 87.8%, 전체 인간 작가는 86.6%였다. 전문 작가 비교에서는 인간이 99.9%, GPT 6 Astra가 76.2%였다. 아마추어 비교에서는 GPT 6 Astra가 93.9%, 아마추어 작가가 79.7%였다. 이는 실제 독자 투표율이 아니라 Vulsar AI가 만든 선호 예측 모델의 결과다.
왜 중요한가
창작 AI를 고를 때 문법이나 지시 수행 여부뿐 아니라, 독자가 얼마나 매력적으로 느낄지를 비교하려는 기준이 생겼다는 의미가 있다. 동시에 종합 순위만 보면 AI가 인간 전체를 앞선 것처럼 보일 수 있지만, 전문 작가 집단과 분리한 결과는 숙련된 인간의 글과 여전히 차이가 있음을 보여준다.
실제로 어떤 의미인가
활용 예시: 출판사가 초고 작성용 AI를 검토한다면 종합 순위만 보지 않고 전문 작가 비교 결과를 함께 확인할 수 있다. 이전에는 모델별 창작물을 내부 직원이 처음부터 비교해야 했다면, 이제는 이 평가판을 1차 후보 선정 자료로 쓰고 최종 판단은 편집자와 실제 독자 평가로 보완할 수 있다.
사용·공개 범위
평가 결과는 Vulsar AI 웹사이트에 공개된 연구·벤치마크 1차 버전이다. 모델 자체를 제공하는 서비스가 아니며, 평가 데이터나 평가 모델 전체를 내려받을 수 있는지와 이용 가격은 제공된 자료에서 확인되지 않았다.
확인할 점
점수는 독창성이나 참신성을 직접 측정하지 않고 예상 독자 선호만 나타낸다. 평가에 사용한 자체 보상 모델이 신선하게 느껴지는 문장을 선호하고 상투적인 표현을 불리하게 처리할 가능성이 있다. 응답 거부와 빈 답변은 채점에서 제외됐다. 결과는 프로젝트 측 평가이며 독립적으로 검증됐다는 정보는 없다.
용어 풀이
대형 언어 모델(LLM): 많은 글을 학습한 뒤 사용자의 지시에 맞춰 문장을 생성하는 AI 모델. 벤치마크: 여러 모델의 성능을 같은 조건에서 비교하기 위해 만든 시험과 평가 기준. 예측 승률: 두 글을 비교할 때 독자가 해당 글을 더 선호할 것이라고 평가 모델이 예상한 비율.
tool-prune, AI에 도구 50개 이상을 모두 보여주지 않고 필요한 후보만 추리는 코드 공개
발행 2026-09-19
Reddit r/LocalLLaMA · 출처 이미지
오픈소스 프로젝트 tool-prune이 AI 호출 전에 많은 도구 설명을 걸러 필요한 후보만 남기는 자바스크립트·파이썬 라이브러리를 공개했다. 개발진은 네트워크를 쓰지 않는 기본 방식이 약 0.4밀리초에 작동하고 입력 분량을 최대 92% 줄일 수 있다고 주장하지만, 수치는 독립 검증 결과가 아니다.
배경부터 이해하기
AI 에이전트는 사용자의 목표를 처리하기 위해 검색, 일정 등록, 파일 읽기 같은 외부 도구를 선택해 실행하는 프로그램이다. AI가 도구를 고르려면 각 도구의 이름, 기능, 입력 형식을 적은 ‘도구 스키마’를 먼저 받아야 한다.
연결된 도구가 수십 개나 수백 개라면 모든 설명이 AI의 입력 공간을 차지한다. 토큰은 AI가 글을 처리하는 작은 단위다. 입력 토큰이 많아지면 처리 비용이 늘 수 있고, 관련 없는 도구를 잘못 선택할 여지도 생긴다.
무엇이 바뀌었나
tool-prune은 AI를 호출하기 전에 사용자의 요청과 관련성이 높은 도구만 추린다. 자동으로 후보 수를 정하거나 개발자가 상위 몇 개만 남기도록 설정할 수 있다. 확신이 높으면 AI의 선택 단계를 거치지 않고 정해진 도구를 바로 실행하는 경로도 제공한다.
프로젝트는 외부 네트워크 없이 작동하는 순수 자바스크립트·파이썬 방식이 약 0.4밀리초에 후보를 추리고, 도구 설명에 쓰는 입력 토큰을 최대 92% 줄인다고 밝혔다. 자체 다중 도구 선택 시험에서는 이 방식이 관련 없는 도구가 섞인 문제의 정답 도구를 첫 후보로 고른 비율 83.3%, 도구 100개 중 필요한 항목을 상위 5개 후보에 남긴 비율 82.5%를 기록했다고 보고했다.
왜 중요한가
개발자는 AI 모델을 바꾸지 않고도 호출마다 전달하는 도구 설명을 줄일 수 있다. 입력이 짧아지면 사용량에 따라 비용이 매겨지는 AI 서비스에서는 비용을 낮출 가능성이 있고, 로컬에서 작은 모델을 쓸 때는 관련 없는 도구 때문에 선택이 흐트러지는 문제를 줄이는 데 도움이 될 수 있다.
실제로 어떤 의미인가
활용 예시: 사내 비서 AI에 메일, 달력, 문서, 인사 등 100개 도구가 연결돼 있고 사용자가 ‘내일 오후 회의를 잡아 줘’라고 요청한다고 가정하자. 이전에는 100개 도구 설명을 모두 AI에 보냈다면, tool-prune을 적용한 뒤에는 일정 조회와 일정 생성 같은 상위 후보만 먼저 골라 AI에 전달하는 흐름을 구성할 수 있다.
사용·공개 범위
소스 코드는 GitHub에 공개돼 있으며 npm과 pip를 통한 자바스크립트·파이썬 설치를 지원한다. 오프라인 방식과 선택형 클라우드 방식이 소개됐지만, 클라우드 방식의 가격과 일반 이용 조건은 제공된 자료에서 확인되지 않았다.
확인할 점
0.4밀리초, 최대 92% 토큰 감소, 도구 선택 정확도는 모두 저장소 작성자가 보고한 자체 측정치다. 하드웨어, 도구 설명, 후보 수와 요청 내용에 따라 달라질 수 있다. 사전 필터가 필요한 도구를 제외하면 뒤의 AI가 올바른 도구를 선택할 기회도 사라질 수 있다.
용어 풀이
AI 에이전트: 목표를 받아 필요한 단계를 정하고 외부 프로그램이나 도구를 호출해 작업하는 AI 시스템. 도구 스키마: AI가 도구를 선택하고 사용할 수 있도록 기능과 입력 형식을 정리한 설명서. 토큰: AI가 입력과 출력을 처리할 때 글을 나누는 작은 단위로, 사용량 계산에도 흔히 쓰인다.
개인용 컴퓨터에서 AI 모델을 실행하는 커뮤니티 소프트웨어 llamAmpere가 EXL3와 Ternary Bonsai 등 세 가지 추가 가중치 형식을 지원하는 0.3.1 버전을 내놨다. 특정 RTX 3090 Ti 시험에서는 여러 단어 후보를 미리 만드는 기능을 사용했을 때 생성 속도가 높아졌지만, 10·12·16GB 그래픽카드에서의 성능을 입증한 결과는 제공되지 않았다.
배경부터 이해하기
llamAmpere는 인터넷의 AI 서비스에 요청하지 않고 사용자의 컴퓨터에서 언어 모델을 구동하기 위한 커뮤니티 프로젝트다. 모델의 ‘가중치’는 학습으로 정해진 내부 숫자이며, 저장 형식과 압축 방식에 따라 필요한 그래픽 메모리와 실행 속도가 달라진다.
양자화는 이 숫자를 더 적은 비트로 표현해 모델 크기와 메모리 사용량을 줄이는 방법이다. 대신 압축 정도와 구현 방식에 따라 출력 품질이나 속도가 달라질 수 있다.
무엇이 바뀌었나
0.3.1은 EXL3 가중치를 GGUF 안에서 읽는 방식, Ternary Bonsai 2 27B 모델의 두 압축 형식, IQ3 해독용 선택형 공유 메모리 기능을 추가했다. CPU와 CUDA를 지원하는 항목이 있지만, 일부 빠른 해독 코드는 엔비디아 GPU의 SM86 환경을 대상으로 한다.
작성자가 RTX 3090 Ti 한 장에서 측정한 결과, Qwen3.8-27B EXL3 4.0 bpw 모델은 2만 토큰 길이 입력에서 일반 생성 시 초당 40.6토큰, MTP-4 사용 시 초당 81.9토큰을 기록했다. 여기서 MTP는 다음 토큰 하나가 아니라 여러 후보를 미리 예측해 생성을 빠르게 하는 방식이다. 이 시험의 최고 전체 그래픽 메모리 사용량은 17,154MiB로 보고됐다.
왜 중요한가
지원 형식이 늘어나면 로컬 AI 사용자는 자신의 그래픽카드 메모리와 원하는 속도에 맞는 압축 모델을 선택할 폭이 넓어진다. 여러 토큰을 미리 예측하는 기능이 실제 환경에서도 효과를 내면 긴 답변을 기다리는 시간을 줄일 수 있다. 다만 공개된 대표 측정의 메모리 사용량은 약 17GB여서 10~16GB 카드에서 같은 모델과 설정을 그대로 실행할 수 있다는 뜻은 아니다.
실제로 어떤 의미인가
활용 예시: 개발자가 인터넷 연결 없이 27B급 글쓰기 모델을 돌린다고 가정하자. 이전 버전에서 읽지 못하던 EXL3 모델 파일이 있다면 별도 변환 도구를 찾거나 다른 파일을 받아야 했지만, 0.3.1에서는 지원 환경에 맞을 경우 해당 형식을 직접 불러오고 MTP를 켜 생성 속도를 비교할 수 있다.
사용·공개 범위
llamAmpere 0.3.1은 GitHub에 릴리스 내용과 코드가 공개된 커뮤니티 버전이다. 일부 기능은 CPU와 CUDA에서 작동하며, EXL3와 Ternary Bonsai의 특정 고속 경로는 SM86 계열 엔비디아 GPU를 대상으로 한다. 가격이나 공식 상용 지원 여부는 제공된 자료에서 확인되지 않았다.
확인할 점
속도와 메모리 수치는 작성자가 특정 RTX 3090 Ti, 모델, 입력 길이와 빌드에서 측정한 결과다. 다른 그래픽카드나 설정의 성능을 보장하지 않는다. PTQ1_0 형식의 MTP 측정과 6만4천 토큰 입력에서의 기본 실행 환경 비교는 후속 작업으로 남아 있다. 10·12·16GB 카드의 구체적인 시험 결과도 제시되지 않았다.
용어 풀이
양자화: 모델 내부 숫자를 더 단순하게 저장해 파일 크기와 메모리 사용량을 줄이는 압축 방법. MTP: 다음에 올 여러 토큰 후보를 한꺼번에 예측해 문장 생성을 빠르게 하려는 방식. 토큰/초: AI가 1초에 생성한 글 조각의 수로, 숫자가 높을수록 일반적으로 출력이 더 빠르다.
구글은 디자이너 제인 웨이드, 세르지오 허드슨과 함께 의상 조합과 런웨이 무대 구성을 화면에서 미리 검토하는 Flow 맞춤 도구 두 가지를 제작했다. 실제 뉴욕패션위크 준비 과정에 사용됐다는 점에서, AI가 아이디어 이미지를 만드는 데 그치지 않고 제작 전 의사결정과 비용 조정에도 들어간 사례다.
배경부터 이해하기
Flow는 글로 원하는 결과나 작업 절차를 설명해 이미지·영상 중심의 창작 작업을 구성하는 구글의 AI 제작 도구다. 구글은 프로그래밍 없이도 필요한 맞춤 도구를 만들 수 있다고 설명한다.
패션쇼 준비에서는 옷만 디자인하는 것이 아니라 모델별 의상, 신발, 장신구, 머리 모양과 화장을 맞춰야 한다. 구글에 따르면 대면 모델 선발과 피팅에는 디자인팀이 최대 사흘을 쓰기도 한다. 무대 조명이나 소품을 수정할 때마다 새로운 3차원 시안을 제작하면 비용도 늘어난다.
무엇이 바뀌었나
제인 웨이드와 만든 ‘Styling Suite’는 디지털 모델에게 의상, 신발, 장신구, 머리 모양과 화장을 조합해 전신 스타일을 미리 확인하도록 했다. 웨이드는 실제 옷을 추가로 재단하거나 봉제하기 전에 전체 균형과 빠진 요소를 점검했다.
세르지오 허드슨과 만든 ‘Runway Visualization’은 공연장 구성과 조명, 소품을 화면에서 바꾸고 모델의 이동 경로를 조정하도록 했다. 구글은 이를 통해 제작진에게 수정된 3차원 시안을 매번 요청하는 왕복 작업을 줄이고, 정해진 무대 예산 안에서 선택지를 검토했다고 밝혔다.
왜 중요한가
화면에서 여러 조합을 먼저 비교하면 실제 샘플 제작과 무대 변경에 들어가기 전에 팀이 방향을 합의할 수 있다. 이는 재료와 제작 인력을 투입한 뒤 수정하는 일을 줄일 가능성이 있다. 특히 디자이너가 기존 작업 순서에 맞춘 도구를 직접 설명해 만들 수 있다면, 범용 AI 도구에 작업 방식을 억지로 맞추는 부담도 낮아질 수 있다.
실제로 어떤 의미인가
가정한 활용 예시: 이전에는 한 모델의 신발과 장신구를 바꾸려면 실물을 준비해 피팅한 뒤 사진을 공유하고 다시 수정해야 했다. 맞춤 도구를 쓰면 팀이 디지털 모델에서 여러 조합을 먼저 비교하고 하나를 고른 다음, 선택된 조합에 필요한 샘플만 준비하는 흐름으로 바꿀 수 있다. 이는 이해를 돕기 위한 예시이며 구글이 별도로 시험해 수치로 검증한 사례는 아니다.
사용·공개 범위
구글은 Flow에서 자연어로 맞춤 디자인 도구를 만들 수 있다고 안내했다. 다만 제공 국가, 이용 가능한 계정이나 요금제, 별도 가격은 출처에 명시되지 않았다. 두 패션 도구가 모든 이용자에게 그대로 제공되는지, 사례용으로 공동 제작된 것인지에 대한 구체적인 배포 범위도 확인되지 않았다.
확인할 점
구글이 자사 도구와 협업 사례를 소개한 자료이므로 효과에 관한 설명은 회사 측 주장이다. 절약한 시간·재료·비용의 실제 수치, 기존 방식과 비교한 검증 결과, 만들어진 시안의 정확도는 공개되지 않았다. 따라서 최대 사흘이라는 수치는 일반적인 성능 향상 결과가 아니라 대면 모델 선발과 피팅에 걸릴 수 있는 기존 작업 시간에 대한 구글의 설명이다.
용어 풀이
Flow: 글로 원하는 장면이나 작업 절차를 설명해 창작 결과와 맞춤 도구를 구성하는 구글의 AI 제작 서비스다. 자연어: 프로그래밍 명령어가 아니라 사람이 일상적으로 쓰는 말과 글을 뜻한다. 3차원 시안: 공간, 조명, 소품의 배치를 입체적으로 미리 보여주는 디지털 모형이다.
