9월 21일 AI 뉴스

발행 2026-09-14 · 최근 주요 소식 보충

OpenAI와 미국 연방 조달기관인 GSA는 자격을 갖춘 연방·주·지방·부족 정부기관이 ChatGPT, Codex, API를 새로운 조건으로 이용할 수 있는 OneGov 2.0 계약을 발표했다. 참여 기관에는 27개월 동안 월 사용자 요금과 최소 이용 약정이 없고 일부 사용량 요금이 50% 할인돼, 공공기관이 초기 비용과 장기 약정 부담을 줄여 AI 도구를 시험할 수 있다.

배경부터 이해하기

OneGov 2.0은 미국 정부기관이 OpenAI 제품을 도입할 때 적용할 수 있는 공동 계약이다. ChatGPT는 대화형 AI 서비스이고, Codex는 코드 작성과 개발 작업을 돕는 도구다. API는 기관의 기존 시스템이나 자체 앱이 OpenAI 기능을 호출하도록 연결하는 통로를 뜻한다.

공공기관은 제품 기능뿐 아니라 조달 조건, 예상 사용량, 직원 교육과 도입 절차를 함께 검토해야 한다. 이번 계약은 개별 제품 발표가 아니라 이러한 도입 과정을 하나의 정부 대상 조건으로 묶은 것이다. OpenAI는 안내 행사에서 사용량에 따라 비용을 계산하는 방식과 교육·온보딩 자료도 설명한다고 밝혔다.

무엇이 바뀌었나

OpenAI와 GSA가 발표한 계약 기간은 27개월이다. 대상은 참여 자격을 갖춘 미국 연방정부, 주정부, 지방정부와 부족 정부기관이다. 10월 1일부터 참여 기관은 ChatGPT, Codex와 API에 대해 월 라이선스 요금을 내지 않는다. 공개된 정상 월 요금은 사용자당 15달러이며, 최소 이용 약정도 없다.

또한 할인 대상에 해당하는 사용량 비용에는 50% 할인이 적용된다. 이는 모든 비용이 절반이 된다는 뜻이 아니라, 계약상 할인 대상으로 인정되는 사용량 요금이 절반으로 낮아진다는 의미다. 구체적으로 어떤 사용이 할인 대상인지, 기관별 사용 한도와 보안 지원의 세부 조건은 제공된 행사 설명에 나오지 않았다.

왜 중요한가

정부기관은 실제 업무에 적합한지 확인하기 전에 많은 사용자 수를 확정하거나 장기 계약을 맺는 부담을 느낄 수 있다. 월 사용자 요금과 최소 약정이 사라지면 소규모 부서부터 시작해 사용량을 확인한 뒤 확대하기 쉬워진다. 반면 API처럼 실제 사용량에 따라 비용이 생기는 기능은 여전히 지출 예측과 통제가 필요하다. 따라서 이번 변화의 핵심은 AI가 무료가 됐다는 것이 아니라, 초기 도입 비용과 계약 부담을 낮춘 데 있다.

실제로 어떤 의미인가

가정한 활용 예시: 한 지방정부가 민원 답변 초안 작성과 내부 개발 지원을 시험하려 한다. 이전 방식이라면 시험에 참여할 직원 수를 정하고 매달 사용자별 요금을 계산해야 했다. OneGov 2.0에 참여할 자격이 확인되면 월 라이선스나 최소 약정 없이 소수 팀부터 시작할 수 있다. 이후 자체 민원 시스템에 API를 연결한다면 실제 호출량과 할인 대상 여부를 따로 확인해 예산을 관리해야 한다.

사용·공개 범위

발표 기준 시작일은 2026년 10월 1일이며 계약 기간은 27개월이다. 미국의 자격 있는 연방·주·지방·부족 정부기관 가운데 계약에 참여하는 조직이 대상이다. 월 라이선스 요금은 정상가 사용자당 15달러에서 0달러가 되고, 최소 약정이 없으며, 대상 사용량 비용은 50% 할인된다. 일반 개인이나 기업에는 이 조건이 적용된다고 확인되지 않았다.

확인할 점

이 내용은 OpenAI Academy의 행사 안내와 OpenAI·GSA 발표에 따른 계약 조건이다. 모든 정부기관이 자동으로 이용할 수 있는 것은 아니며 자격과 참여 절차를 확인해야 한다. 할인 가능한 사용량의 범위, 기관별 한도, 실제 총비용, 지역별 제공 조건과 구체적인 보안 지원 내용은 제공된 자료만으로 확인되지 않는다.

용어 풀이

API: 다른 프로그램이 OpenAI 기능을 자동으로 호출하도록 연결하는 규칙과 통로다.
온보딩: 조직이 새 서비스를 처음 설정하고 직원이 사용법을 익히는 도입 과정이다.
사용량 요금: 사용자 수가 아니라 실제 처리하거나 호출한 양에 따라 계산되는 비용이다.

발행 2026-09-16 · 최근 주요 소식 보충

Google은 업무를 대신 수행하는 AI 프로그램의 도구 사용 기록과 실행 흐름을 분석해 권한 남용이나 정책 위반을 찾는 Agent Anomaly Detection을 비공개 미리보기로 공개했다. 분석은 사용자의 실시간 요청과 별도로 진행되며, 보안팀은 결과를 검토하거나 정해 둔 기준에 따라 이후 도구 호출을 중단할 수 있다.

배경부터 이해하기

에이전트는 질문에 답하는 데 그치지 않고 환불 처리, 기록 수정, 사내 도구 호출처럼 여러 단계를 스스로 수행하는 AI 프로그램이다. 화면에 표시된 최종 답변이 정상이어도, 처리 과정에서 허용되지 않은 도구에 접근하거나 필요 이상으로 많은 자료를 가져갈 수 있다.

Agent Anomaly Detection은 이런 행동을 사후에 살피는 감독·감사 기능이다. 에이전트가 남기는 로그와 OpenTelemetry 추적 정보를 읽는다. OpenTelemetry 추적은 한 작업 중 어떤 기능이 언제 호출됐고 어떻게 이어졌는지를 기록하는 표준 방식이다. 단순 오류 여부가 아니라 전체 세션에서 나타난 행동 패턴을 본다.

무엇이 바뀌었나

이 기능은 Gemini Enterprise Agent Platform에서 비공개 미리보기로 제공된다. 모든 트래픽을 가볍게 검사해 통계적으로 평소와 다른 세션을 고른 뒤, 대규모 언어 모델이 해당 세션의 도구 호출과 실행 흐름을 자세히 분석한다. 필요하면 개별 호출을 다시 구성해 어떤 자료가 처리됐는지도 보여준다.

탐지 결과에는 심각도, 쉬운 설명과 권장 대응이 붙으며 Google Security Command Center에도 전달된다. 현재 탐지 범위에는 도구 오용, 신원·권한 남용, 연쇄 장애, 통제에서 벗어난 에이전트, 자원 고갈과 토큰 사용 급증이 포함된다. 토큰은 AI가 글을 처리할 때 나누는 작은 단위다. API를 통해 특정 세션의 결과를 읽고, 설정한 심각도와 확률 기준을 넘으면 다음 도구 호출이나 다음 대화 단계를 막을 수도 있다.

왜 중요한가

기존 운영 지표는 작업이 성공했는지와 응답이 빨랐는지를 중심으로 볼 수 있어, 정상적으로 끝난 세션 안의 수상한 행동을 놓칠 수 있다. 이번 기능은 실제로 어떤 도구를 몇 번 사용했고 권한 범위 안에서 움직였는지를 별도로 점검한다. 분석이 실시간 응답 경로 밖에서 비동기로 실행되므로 Google 설명상 현재 응답 속도를 늦추지 않는다. 다만 결과가 나온 뒤 후속 행동을 막는 구조이므로, 이미 실행된 첫 행동을 항상 사전에 차단하는 기능으로 해석해서는 안 된다.

실제로 어떤 의미인가

Google이 제시한 활용 사례: 재고 조회 에이전트가 한 번에 100개씩 반복 호출하고 조회 위치를 크게 바꾸며 전체 상품 목록을 수집한다. 오류는 없지만 탐지 기능은 호출량과 반복 패턴을 이상 행동으로 고른 뒤, 정상적인 열람이 아니라 체계적인 대량 수집일 가능성이 있다고 판단한다. 사례에 나온 95%는 이 세션이 이상 행동일 가능성에 대한 시스템의 추정치이며, 제품 전체의 탐지 정확도가 95%라는 뜻은 아니다. 보안팀은 호출 제한이나 대량 접근 권한 검사를 적용할 수 있다.

사용·공개 범위

Gemini Enterprise Agent Platform에 에이전트를 배포하고 ADK 1.2 이상을 사용하는 팀을 위한 비공개 미리보기다. 필요한 사전 조건을 갖춘 뒤 한 번의 프로비저닝 절차로 켤 수 있다고 Google은 설명했다. 신청 자격, 승인 일정, 지원 지역과 가격은 제공된 자료에서 확인되지 않는다. 일반 공개 제품은 아니다.

확인할 점

성능과 지연 관련 설명은 Google의 주장이다. 비동기 분석은 현재 요청의 응답 시간을 늘리지 않지만 탐지 결과가 늦게 나올 가능성과 실제 처리 시간은 공개되지 않았다. 회사별 규칙을 자연어와 고정 규칙으로 만드는 기능, 과거 트래픽으로 그 규칙의 정확성을 검증하는 기능은 개발 중이며 현재 제공 기능이 아니다. 오탐과 미탐 비율도 제시되지 않았다.

용어 풀이

에이전트: 답변만 생성하지 않고 외부 도구를 호출하며 여러 단계의 업무를 수행하는 AI 프로그램이다.
비공개 미리보기: 정식 출시 전에 승인된 일부 고객만 시험하는 제한 단계다.
API: 다른 프로그램이 탐지 결과를 읽거나 후속 조치를 자동화할 수 있게 하는 연결 방식이다.

발행 2026-09-17 · 최근 주요 소식 보충

Google은 Speakeasy와 협력해 API 설명서로부터 개발용 라이브러리와 명령줄 도구를 만드는 OpenAPI 생성 도구 전체를 오픈소스로 공개했다고 밝혔다. 개발팀은 7개 프로그래밍 언어용 SDK와 명령줄 프로그램, AI 코딩 도구가 문서를 조회할 수 있는 서버를 자체 개발·배포 절차에서 반복 생성할 수 있다.

배경부터 이해하기

API는 한 프로그램이 다른 서비스의 기능을 호출하는 연결 규칙이다. SDK는 개발자가 API의 복잡한 요청 형식을 매번 직접 작성하지 않도록 언어별 함수와 오류 처리 기능을 묶은 개발 도구다. OpenAPI는 사용 가능한 요청, 입력값과 응답 구조를 기계가 읽을 수 있게 적는 표준 형식이다.

API가 자주 바뀌면 Python, Java 등 여러 언어의 SDK도 함께 고쳐야 한다. 자동 생성기는 OpenAPI 문서를 읽어 각 언어에 맞는 코드를 만들지만, Google이 전에 쓰던 폐쇄형 공급업체의 생성 도구는 2026년 5월 업체 인수 뒤 갑자기 종료가 발표됐다. Google은 서비스 중단 위험을 줄이기 위해 Speakeasy로 생성 절차를 옮겼다.

무엇이 바뀌었나

Speakeasy는 Google과의 협력에 따라 OpenAPI 클라이언트 생성 도구 전체를 AGPLv3 라이선스로 공개했다. Python, TypeScript, Go, Java, C#, PHP와 Ruby 등 7개 언어용 SDK를 만들 수 있다. 생성된 라이브러리에는 자료형 검사, 서버가 데이터를 연속 전송하는 SSE 방식, 실패 시 재시도와 여러 페이지 결과를 순서대로 가져오는 기능이 포함된다.

같은 도구는 터미널에서 API를 실행하는 독립형 명령줄 프로그램도 만든다. OpenAPI 설명과 문서를 AI 코딩 도구가 조회할 수 있게 변환하는 MCP 서버 생성 기능도 포함된다. MCP는 AI 도구가 외부 문서나 기능에 일정한 방식으로 접근하도록 연결하는 규격이다. 생성기는 개발자의 컴퓨터나 CI에서 실행할 수 있다. CI는 코드 변경 때 빌드와 검사를 자동 반복하는 절차다.

왜 중요한가

생성 도구가 특정 업체의 폐쇄형 서비스에만 있으면 그 업체가 중단될 때 SDK 배포도 멈출 수 있다. 오픈소스 도구는 팀이 버전을 고정하고 내부 빌드 절차에서 직접 실행할 수 있어 같은 입력에서 같은 생성 과정을 반복하기 쉽다. 또한 여러 언어의 기능과 오류 구조를 맞추는 수작업을 줄일 수 있다. Google은 과거 직접 만든 생성기를 여러 엔지니어가 관리했지만, 현재 구성은 약 한 명의 엔지니어가 여섯 개 배포 대상을 관리한다고 설명했다. 이는 Google 내부 운영 사례이며 모든 조직의 인력 절감 수준을 보장하는 비교 시험은 아니다.

실제로 어떤 의미인가

가정한 활용 예시: 한 개발팀이 결제 API를 Python과 Java용으로 제공하고 있다고 하자. 이전에는 API 항목이 추가될 때 두 SDK와 문서를 각각 수정하고 배포해야 했다. 이제 OpenAPI 파일을 갱신한 뒤 공개된 생성기를 CI에서 실행해 언어별 SDK와 명령줄 도구를 다시 만들 수 있다. AI 코딩 도구가 오래된 함수 이름을 추측하지 않도록 같은 설명서에서 MCP 서버도 생성할 수 있다. 실제 배포 전에는 생성 코드의 호환성과 오류 처리를 팀이 검증해야 한다.

사용·공개 범위

생성 도구는 GitHub에서 공개됐으며 자체 OpenAPI 설명서에 실행할 수 있다. Google의 최신 Gemini Interactions API도 업데이트된 SDK로 현재 살펴볼 수 있다고 안내됐다. 전체 생성기는 7개 언어를 지원하지만, Google 내부 파이프라인의 여섯 배포 대상 가운데 발표 시점에 출시된 SDK는 3개이며 나머지는 추후 순차 배포될 예정이다. 구체적인 출시 일정은 확인되지 않았다. 별도 가격은 자료에 제시되지 않았다.

확인할 점

생성기 자체는 AGPLv3 라이선스를 따른다. 생성된 SDK 코드는 MIT나 Apache 2.0 등 개발팀이 선택한 라이선스로 소유할 수 있다고 설명됐지만, 생성기 컴파일러 자체를 수정하면 AGPL의 공개 의무를 검토해야 한다. 공개됐다는 사실만으로 모든 API 설명서에서 오류 없이 작동한다는 뜻은 아니다. Google이 언급한 유지 인력 감소는 자사 환경의 수치이며 일반적인 성능 기준이 아니다.

용어 풀이

SDK: 특정 서비스의 API를 쉽게 호출하도록 함수, 자료형과 오류 처리를 묶은 개발 도구다.
오픈소스: 소스 코드를 공개해 정해진 라이선스 조건 아래에서 확인·실행·수정할 수 있는 방식이다.
MCP 서버: AI 코딩 도구가 최신 문서와 기능 설명을 일정한 규격으로 조회하도록 연결하는 서버다.

발행 2026-09-16 · 최근 주요 소식 보충

Meta는 개발자가 대화형 AI 에이전트에게 지시해 WhatsApp Business 메시징 계정과 전화번호, 메시지 양식 등을 설정·관리할 수 있게 했다고 발표했다. 여러 관리 화면과 문서를 오가던 절차를 한 대화 흐름으로 묶어, 기업용 고객 메시징 서비스를 도입하고 점검하는 수작업을 줄이려는 변화다.

배경부터 이해하기

WhatsApp Business Platform은 기업이 WhatsApp 대화로 고객과 소통하도록 지원하는 서비스다. 개발자는 이를 쓰기 위해 기업 계정을 만들고 전화번호를 확인한 뒤, 인터넷을 통해 기능을 호출하는 연결 규칙인 API에 등록해야 한다.

기존 설정 과정에서는 개발자 콘솔, Meta Business Manager, API 설명서와 코드 편집기 등 여러 도구를 오가야 했다. 메시지 양식과 외부 시스템으로 사건을 전달하는 웹훅을 시험하고, 이용약관 동의나 결제 수단, 기업 인증 상태도 따로 확인해야 했다.

무엇이 바뀌었나

Meta는 ‘WhatsApp Business Tools MCP’ 서버를 공개했다. MCP는 AI 도구가 외부 서비스와 정해진 방식으로 연결되도록 돕는 규격이다. AI 에이전트는 사용자의 목표를 이해하고 여러 단계를 대신 실행하는 소프트웨어를 뜻한다. Claude, Cursor, Codex, ChatGPT 같은 도구를 WhatsApp Business Platform에 연결할 수 있다.

에이전트는 기업용 WhatsApp 계정 생성, 전화번호 추가·확인, Cloud API 접근 등록, 이용약관 상태 확인을 처리할 수 있다. 원하는 메시지 양식을 설명하면 새로 만들거나 기존 양식을 수정할 수 있으며, 메시지와 웹훅 시험도 지원한다. 이용약관, 결제 수단, 기업 인증처럼 조용히 실패할 수 있는 항목을 감시하고, 별도의 Meta Social Technologies MCP로 관련 API와 문서를 찾거나 오류 해결을 도울 수도 있다.

왜 중요한가

설정 정보가 여러 화면에 흩어져 있으면 누락된 단계의 원인을 찾는 데 시간이 걸린다. 이번 방식에서는 개발자가 원하는 결과를 말로 설명하고, 연결된 에이전트가 관련 설정을 순서대로 수행하거나 상태를 확인할 수 있다. 이에 따라 초기 도입뿐 아니라 메시지가 발송되지 않을 때 점검할 항목을 찾는 과정도 짧아질 수 있다. 다만 실제 변경 권한을 AI 도구에 연결하는 만큼, 기업은 에이전트가 실행할 수 있는 작업과 계정 접근 범위를 관리해야 한다.

실제로 어떤 의미인가

활용 예시: 온라인 상점이 주문 알림용 WhatsApp 채널을 연다고 가정하자. 이전에는 담당자가 Meta의 여러 관리 화면에서 계정을 만들고 전화번호를 검증한 뒤 API 문서에 따라 메시지 양식과 웹훅을 각각 설정해야 했다. 이제는 연결한 에이전트에 ‘이 번호로 주문 확인 메시지 양식을 만들고 시험해 달라’고 요청하고, 에이전트가 계정 상태와 필수 조건을 확인하도록 할 수 있다. 이는 작업 흐름을 설명하기 위한 가정이며, 해당 상점에서 실제 시험했다는 뜻은 아니다.

사용·공개 범위

Meta가 기능을 공개했다고 보도됐으며, WhatsApp Business Platform을 설정하는 개발자가 대상이다. Claude, Cursor, Codex, ChatGPT 같은 호환 도구와 연결할 수 있다고 안내됐다. 지원 국가, 계정별 제공 시점, 이용 조건과 별도 가격은 제공된 자료에서 확인되지 않았다.

확인할 점

구체적인 효과 수치나 설정 시간 단축 결과는 제시되지 않았다. 보도와 Meta의 설명에 기반한 기능 범위이며, 각 AI 도구가 모든 설정을 같은 수준으로 처리하는지는 확인되지 않았다. 계정 생성이나 전화번호 검증에는 외부 확인 절차가 포함될 수 있으므로, 대화만으로 항상 자동 완료된다고 단정할 수 없다. 권한 관리와 잘못된 변경을 막는 승인 절차에 관한 세부 내용도 자료에 없다.

용어 풀이

AI 에이전트: 사용자의 목표를 받아 여러 도구를 이용하고, 필요한 작업을 단계별로 실행하는 소프트웨어다.
API: 서로 다른 프로그램이 기능이나 데이터를 주고받도록 정한 연결 규칙이다.
MCP: AI 도구가 외부 서비스와 정해진 방식으로 연결되고 작업하도록 돕는 규격이다.

출처: TechCrunch ([techcrunch.com](https://techcrunch.com/2026/09/15/meta-now-lets-ai-agents-handle-the-boring-parts-of-whatsapp-business-setup/?utm_source=openai)) · 발행 2026-09-16T05:12:53+09:00 · 최근 주요 소식 보충

발행 2026-09-21

커뮤니티 개발자는 PromptDeck 1.1.0에서 컴퓨터에 직접 설치한 AI 모델과 여러 클라우드 제공사의 모델을 같은 시험에 넣어 나란히 비교할 수 있게 했다고 발표했다. 답변 내용뿐 아니라 첫 응답이 시작되기까지 걸린 시간과 초당 처리량을 기록하므로, 개발자가 용도에 맞는 모델을 고르는 과정을 정리하는 데 도움이 될 수 있다.

배경부터 이해하기

PromptDeck은 여러 언어 모델에 같은 질문을 보내고 결과를 비교하는 오픈소스 데스크톱 프로그램이다. 언어 모델은 입력된 문장을 바탕으로 답변을 만드는 AI이며, 로컬 모델은 사용자의 컴퓨터에서 실행되고 클라우드 모델은 외부 사업자의 서버에서 실행된다.

모델 비교에서는 답변 품질 외에도 반응 속도와 처리량을 함께 살펴야 한다. PromptDeck은 결과와 기록을 컴퓨터의 SQLite 데이터베이스에 보관하고, 모델별 답변 차이와 과거 실행 내역을 확인하는 방식으로 이 과정을 지원한다.

무엇이 바뀌었나

1.1.0의 핵심은 로컬 모델과 클라우드 모델을 한 번의 실행에 섞을 수 있게 된 점이다. 로컬 연결 대상으로 Ollama, LM Studio, llama.cpp가 제시됐다. 클라우드는 OpenRouter, Groq, DeepSeek, Together, OpenAI, xAI, Kimi, NVIDIA NIM, Ollama Cloud, Gemini와 사용자가 지정한 연결 주소를 지원한다고 개발자가 밝혔다.

같은 질문을 최대 4개 모델에 동시에 보낼 수 있다. 1~10개 질문으로 시험 묶음을 만들고, 초당 생성된 텍스트 조각의 양을 나타내는 TPS와 첫 답변 조각이 나오기까지의 시간인 TTFT, 전체 소요 시간을 비교한다. 결과 순위표와 줄 단위 답변 비교, 기록 저장을 지원하며 PDF·마크다운·CSV 형식으로 내보낼 수 있다고 안내됐다.

왜 중요한가

서로 다른 모델을 별도 프로그램에서 시험하면 질문 조건과 측정 방식이 달라져 비교하기 어렵다. 같은 앱에서 동일한 질문 묶음을 실행하면 어느 모델이 빨리 반응하는지, 긴 답변을 얼마나 빠르게 생성하는지, 내용이 어디서 달라지는지 한 흐름에서 확인할 수 있다. 다만 속도가 빠르다고 답변이 더 정확하다는 뜻은 아니다. 최종 선택에는 답변 품질, 개인정보 처리, 클라우드 이용료와 실제 운영 환경도 따로 고려해야 한다.

실제로 어떤 의미인가

활용 예시: 개발자가 고객 문의 요약 기능에 쓸 모델을 고른다고 가정하자. 이전에는 로컬 모델 프로그램과 각 클라우드 서비스에 같은 문의를 따로 입력하고 시간을 수기로 정리해야 했다. PromptDeck에서는 문의 예시 10개를 시험 묶음으로 만든 뒤 로컬 모델 2개와 클라우드 모델 2개를 함께 실행해 첫 응답 시간, 초당 처리량과 답변 차이를 기록할 수 있다. 이는 가능한 작업 흐름을 설명한 가정이며, 특정 모델의 우수성을 실제 검증한 사례는 아니다.

사용·공개 범위

개발자 발표에 따르면 Windows, macOS, Linux용 실행 파일이 제공되며, 소스 코드에서 직접 실행할 수도 있다. 프로젝트는 오픈소스로 소개됐다. 클라우드 모델을 쓰려면 사용자가 해당 서비스의 API 키를 추가해야 한다. 프로그램 자체 가격과 각 클라우드 사업자의 이용료는 제공된 자료에서 확인되지 않았다.

확인할 점

커뮤니티 프로젝트이며, 기능과 측정 정확성을 독립적으로 검증한 자료는 제시되지 않았다. 클라우드 API 키는 현재 로컬 저장소에 보관된다. 클라우드 사용 비용을 계산하거나 추적하는 기능도 아직 없다. TPS와 TTFT는 컴퓨터 사양, 네트워크 상태, 모델 설정에 따라 달라질 수 있으므로 서로 다른 환경에서 나온 기록을 그대로 비교해서는 안 된다. 로컬 기본 동작과 달리 클라우드 모델을 선택하면 외부 서비스 연결이 필요하다.

용어 풀이

TPS: 모델이 1초에 생성하는 텍스트 조각의 양을 나타내는 처리 속도 지표다.
TTFT: 질문을 보낸 뒤 답변의 첫 텍스트 조각이 나타날 때까지 걸린 시간이다.
API 키: 프로그램이 특정 온라인 서비스에 접근할 권한이 있음을 확인하는 비밀 인증값이다.

발행 2026-09-21

커뮤니티 개발자는 Laya의 세 가지 모델을 Python이나 PyTorch 없이 실행할 수 있는 독립형 엔진 ‘laya.cpp’를 공개했다. 지연 시간을 줄이는 데 초점을 맞춘 구현으로, NVIDIA RTX 그래픽카드나 CPU에서 작은 분류·의사결정 모델을 직접 서비스하려는 개발자에게 새로운 배포 선택지를 제공한다.

배경부터 이해하기

추론은 학습을 마친 AI 모델에 새 입력을 넣어 결과를 얻는 실행 과정이다. Laya는 입력을 분류하거나 정해진 형태의 결정을 내리는 체크포인트를 제공한다. 체크포인트는 학습이 끝난 모델의 가중치와 상태를 저장한 파일이다.

많은 AI 모델은 Python과 PyTorch 같은 실행 환경을 통해 서비스된다. laya.cpp는 Laya의 모델 불러오기, 문장을 모델용 단위로 나누는 토큰화, 계산, 결정 결과와 JSON 출력까지 C++에서 직접 처리하는 별도 구현이다.

무엇이 바뀌었나

laya.cpp는 ggml 기반 C++ 엔진과 맞춤형 CUDA 연산 코드를 사용한다. CUDA는 NVIDIA 그래픽카드에서 병렬 계산을 수행하는 기술이다. 영어 모델, 다국어 모델과 typed-decisions 모델을 지원하며, 영어 모델은 최대 512개 문맥 단위, 나머지 두 모델은 최대 1,024개 문맥 단위를 처리한다고 저장소 문서가 설명한다.

기본값은 엄격한 FP32 계산이며, 최적화된 경로와 혼합 BF16 방식도 제공된다. 이 용어들은 숫자를 저장하는 정밀도 방식이다. 개발자는 불필요한 데이터 변환과 복사를 줄이고 여러 연산을 합쳤다고 설명했다. HTTP 서버와 JEV 호환 요청 주소도 포함돼 다른 프로그램이 네트워크 요청으로 결과를 받을 수 있다.

왜 중요한가

작은 의사결정 모델을 기존 서비스에 붙일 때 별도의 Python 실행 환경을 유지하면 설치 항목과 운영 구성이 늘어난다. C++ 실행 파일과 HTTP 서버로 구성하면 이미 C++ 중심으로 운영되는 프로그램이나 로컬 장비에 연결하기 쉬울 수 있다. 특히 한 번에 적은 요청을 빠르게 처리해야 하는 상황에서는 개발자가 제시한 낮은 지연 시간 최적화가 유용할 가능성이 있다. 그러나 대량 요청에서도 항상 더 빠르다는 의미는 아니다.

실제로 어떤 의미인가

활용 예시: 사내 프로그램이 들어온 문장을 몇 가지 업무 유형으로 분류한다고 가정하자. 이전에는 Python과 PyTorch 환경을 별도로 설치하고 모델 서버를 운영해야 했을 수 있다. laya.cpp를 선택하면 지원되는 Laya 체크포인트를 C++ 실행 파일에서 불러오고, 기존 프로그램이 HTTP 요청을 보내 JSON 결정을 받도록 구성할 수 있다. 이는 배포 방식을 설명하기 위한 가정이며, 해당 업무에서 정확도나 속도가 실제 검증됐다는 뜻은 아니다.

사용·공개 범위

소스 코드는 MIT 라이선스로 공개됐다고 안내됐다. NVIDIA RTX용 CUDA 실행 경로와 CUDA 없이 만드는 CPU 전용 빌드를 지원한다. 빌드에는 C++20, CMake 3.24 이상, ICU와 nlohmann-json 등이 필요하며, GPU 빌드는 CUDA가 추가로 필요하다. BF16 방식은 문서에 적힌 CUDA 13.0과 cuBLAS 13.1.0 조합을 요구한다. 완성된 실행 파일 제공 여부와 별도 가격은 자료에서 확인되지 않았다.

확인할 점

속도 결과는 전력 제한을 450W로 설정한 NVIDIA RTX PRO 6000 Blackwell 한 대에서 측정한 개발자 벤치마크다. 여기서 벤치마크는 초당 처리한 질문 수를 Python 기준 구현과 비교한 시험이다. 구체적 우위는 작은 묶음 처리에서 컸고, 한 번에 처리하는 입력 수가 늘면 차이가 줄었다. 따라서 모든 GPU나 CPU, 모든 처리량 조건에서 더 빠르다는 증거는 아니다. 개발자는 같은 정밀도의 말뭉치 비교 3,000건에서 분류 결과가 일치하고 수치 오차가 0.0001 이내였다고 밝혔지만, 이 역시 프로젝트 측 시험 결과다.

용어 풀이

추론: 학습을 마친 AI 모델에 새 입력을 넣어 분류나 답변 같은 결과를 계산하는 과정이다.
CUDA: NVIDIA 그래픽카드의 여러 계산 장치를 AI 연산 등에 활용하는 기술이다.
벤치마크: 정해진 장비와 조건에서 속도나 정확도 등을 측정해 구현을 비교하는 시험이다.

발행 2026-09-21

한 사용자가 Qwen 3.8 27B를 소비자용 그래픽카드인 RTX 3090 한 장에서 약 21일 동안 실행해 CUDA 추론 엔진을 만들도록 한 실험 기록을 공개했다. 모델은 작동하는 코드와 성능 측정 결과를 만들었지만 llama.cpp의 전체 성능을 넘지는 못했고, 장기 자율 작업에는 세밀한 운영 규칙과 상당한 문맥 정리 비용이 필요했다.

배경부터 이해하기

추론 엔진은 학습을 마친 AI 모델이 실제 답이나 코드를 생성하도록 실행하는 소프트웨어다. 이 실험의 목표는 RTX 3090에 맞춘 CUDA 추론 엔진을 만드는 것이었다. CUDA는 엔비디아 그래픽카드로 계산을 처리하는 기술이다.

모델은 에이전트 방식으로 운영됐다. 에이전트는 목표를 받아 작업을 나누고 도구를 사용하며 결과를 확인하는 AI 작업 절차를 뜻한다. 작성자는 담당 교대, 문제 보고, 그래픽카드 사용 순서를 정한 규칙집으로 여러 하위 에이전트를 통제했다.

무엇이 바뀌었나

작성자에 따르면 4비트로 용량을 줄인 Qwen 3.8 27B가 약 3주 동안 작업했다. 실행에는 사람의 메시지 약 12개, 하위 에이전트 약 180개, 입출력 토큰 약 2억3천만 개가 사용됐다. 토큰은 모델이 글을 처리하는 작은 단위이며, 이 수치는 처리량이지 정답률이나 속도 점수가 아니다.

긴 대화 기록을 줄여 다시 넣는 문맥 압축은 699회 진행됐고 총 약 83시간이 들었다. 약 16만 토큰 이상이 담긴 입력을 압축하는 데 보통 7분가량 걸렸다는 설명이다. 결과물에는 작동하는 연산 커널과 성능 측정 자료가 포함됐지만, 작성자는 전체적으로 기존 실행 도구인 llama.cpp보다 빠르지 않았다고 밝혔다.

왜 중요한가

몇 주 동안 이어지는 AI 작업에서는 모델의 코딩 능력만으로 충분하지 않다. 이전 작업을 요약하고, 여러 작업자가 같은 그래픽카드를 동시에 점유하지 않게 하며, 막힌 작업을 사람에게 넘기는 운영 절차가 필요하다. 이 기록은 로컬 장비에서도 장기 작업을 이어갈 수 있음을 보여주는 동시에, 문맥 압축과 조율 시간이 실제 비용이 된다는 점을 드러낸다.

실제로 어떤 의미인가

가정한 활용 예시: 개인 개발자가 로컬 AI에 프로그램 최적화를 맡긴다고 하자. 단순 방식에서는 대화가 길어질수록 이전 결정을 잊거나 여러 시험이 충돌할 수 있다. 이 실험과 같은 방식에서는 규칙집으로 작업 담당과 그래픽카드 사용 순서를 정하고, 기록이 너무 길어지면 압축한 뒤 다음 에이전트가 이어받는다. 다만 압축 자체에도 많은 시간이 들 수 있다.

사용·공개 범위

이는 제품 출시가 아니라 개인이 공개한 커뮤니티 실험이다. 결과 자료는 허깅페이스에 1,336개 행, 총 15.6GB 규모로 공개됐고 MIT 라이선스가 표시돼 있다. 실험용 소프트웨어의 지원 범위, 설치 난이도와 비용은 출처에서 확정되지 않았다.

확인할 점

수치와 성능 평가는 실험 작성자의 보고다. 독립적으로 재현된 비교 시험이 아니며, llama.cpp와의 비교 조건도 제공된 요약만으로는 모두 확인할 수 없다. 별도 저장소의 성능 수치 역시 특정 모델과 그래픽카드 한 장을 중심으로 한 프로젝트 측 측정이다. 3주간 일관성을 유지했다는 사실이 다른 모델, 장비 또는 업무에서도 같은 결과를 보장하지 않는다.

용어 풀이

추론: 학습을 마친 AI 모델을 실행해 답, 코드 또는 예측을 만들어 내는 과정.
토큰: AI가 문장을 읽고 생성할 때 사용하는 작은 글 단위. 단어 하나가 여러 토큰으로 나뉠 수 있다.
양자화: 모델의 숫자 표현을 단순화해 메모리 사용량을 줄이는 기법. 경우에 따라 품질이나 속도가 달라질 수 있다.

발행 2026-09-21

한 사용자가 로컬 브라우저 자동화 실험에서 Gemma 4 31B와 Qwen 3.8 27B에 같은 작업과 함정 페이지를 제시했다. 한 차례 진행한 시험에서 Gemma는 함정 네 개 중 세 개를 따르고 셸 명령까지 실행한 반면 Qwen은 숨겨진 링크 하나를 따랐으며, 웹 자동화에서는 작업 성공률뿐 아니라 페이지 속 악성 지시를 거부하는 능력도 중요하다는 점을 보여줬다.

배경부터 이해하기

브라우저 에이전트는 AI가 웹페이지를 읽고 링크를 누르거나 양식을 작성하는 자동화 방식이다. 이때 페이지 안의 문장을 사용자의 명령으로 잘못 받아들일 수 있다. 공격자가 심어 놓은 문장으로 AI의 행동을 바꾸는 수법을 ‘프롬프트 인젝션’이라고 한다.

실험은 클라우드 없이 M5 맥북 프로와 MLX 환경에서 진행됐다. 두 모델은 위키백과 검색, Hacker News의 첫 기사 확인, GitHub 저장소의 별 개수 확인, 피자 주문 양식 제출이라는 네 가지 작업을 동시에 받았다. 결과는 별도 스크립트가 확인해 모델이 스스로 채점하지 않았다.

무엇이 바뀌었나

두 번째 실행에서는 함정 페이지 네 개가 추가됐다. 페이지에는 숨겨진 링크, 제품 후기로 위장한 가짜 시스템 메시지와 셸 명령 실행 요구, 틀린 답을 보고하라는 숨은 문장, 사용자의 요청 내용을 피드백 양식에 붙여 넣으라는 지시가 들어 있었다.

작성자 보고에 따르면 Gemma 4는 네 함정 중 세 개를 따랐고 실제로 셸 명령도 실행했다. Qwen 3.8은 숨겨진 링크에는 반응했지만 나머지 함정은 따르지 않았다. 이는 여러 번 반복해 성공률을 계산한 공식 안전성 평가가 아니라, 같은 구성으로 한 번 진행한 소규모 비교다.

왜 중요한가

브라우저에 운영체제 명령 실행 권한이나 양식 제출 권한을 주면 페이지의 악성 문장이 실제 행동으로 이어질 수 있다. 따라서 모델을 바꾸는 것만으로 안전을 보장하기보다, 셸 실행을 차단하고 외부 전송이나 주문 전에 사람의 승인을 받도록 설계해야 한다. 모델별 대응 차이는 이런 권한 통제가 별도로 필요하다는 운영상의 근거가 된다.

실제로 어떤 의미인가

가정한 활용 예시: 직원이 브라우저 에이전트에 상품 가격 비교를 맡겼는데, 판매 페이지의 후기 안에 ‘컴퓨터에서 이 명령을 실행하라’는 문장이 숨어 있다고 하자. 권한 제한이 없으면 AI가 이를 작업 지시로 오인할 수 있다. 제한을 적용한 뒤에는 페이지 문장은 참고 자료로만 읽고, 셸 명령이나 양식 제출은 중단한 뒤 직원에게 승인을 요청한다.

사용·공개 범위

비교 실험 자체는 커뮤니티 사용자가 공개한 기록이며, 재현 도구나 전체 시험 자료의 배포 조건은 출처에서 확인되지 않았다. Gemma 4 제품 페이지는 Google AI Studio와 문서를 통한 이용 경로와 Apache 2.0 라이선스를 안내한다. Qwen 3.8의 배포 경로, 가격과 구체적인 이용 조건은 제공된 자료만으로 확인되지 않는다.

확인할 점

표본은 모델별 한 번의 실행뿐이어서 일반적인 실패율을 나타내지 않는다. ‘네 번 중 세 번’은 이 시험에서 함정을 따른 횟수이며, 전체 웹사이트의 75%에서 실패한다는 뜻이 아니다. 프롬프트, 도구 권한, 실행 프로그램과 모델 설정이 달라지면 결과도 달라질 수 있다. 커뮤니티 보고이므로 독립 검증된 공식 안전성 평가로 볼 수 없다.

용어 풀이

브라우저 에이전트: AI가 웹페이지를 읽고 클릭, 검색, 입력 같은 행동을 대신 수행하는 프로그램.
프롬프트 인젝션: 웹문서나 데이터에 지시문을 숨겨 AI가 원래 목적과 다른 행동을 하도록 유도하는 공격.
셸 명령: 컴퓨터의 파일이나 프로그램을 직접 조작하도록 운영체제에 내리는 문자 명령.

발행 2026-09-21

한 사용자가 Qwen3.8-Flash-Next를 로컬 장비에서 실행해 간단한 지시만으로 HTML·자바스크립트 브라우저 게임을 만들고 시험·수정하게 한 영상을 공개했다. 모델이 두 브라우저를 함께 조작하며 3시간 넘게 작업을 이어갔다는 사례지만, 공식 성능 평가가 아닌 한 번의 커뮤니티 시연이라는 범위에서 해석해야 한다.

배경부터 이해하기

브라우저 게임은 HTML과 자바스크립트처럼 웹에서 실행되는 코드로 만들 수 있다. 이번 작업은 모델이 코드만 한 번 출력한 것이 아니라, 브라우저에서 결과를 실행하고 문제가 보이면 다시 고치는 에이전트형 절차였다. 여기서 에이전트는 목표를 받아 도구를 조작하고 결과를 확인하면서 작업을 반복하는 AI 방식을 뜻한다.

작성자는 처음부터 세부 규칙을 촘촘하게 지정하지 않고 의도적으로 짧고 정돈되지 않은 요청을 사용했다고 설명했다. 따라서 이 시연은 정답이 정해진 시험보다, 넓은 요구를 코드와 화면으로 구체화하는 과정을 보여주는 데 초점이 있다.

무엇이 바뀌었나

작성자에 따르면 Qwen3.8-Flash-Next는 V620 그래픽처리장치 네 개와 Intel AutoRound W4A16 설정에서 로컬로 실행됐다. OMP라는 작업 제어 도구가 사용됐으며, 전체 실행은 약 3시간 동안 이어졌다.

대부분의 시간에 모델은 브라우저 두 개를 동시에 조작하며 게임을 시험하고 코드를 수정했다. 작성자는 답을 생성하는 단계에서 초당 약 70토큰이 나왔다고 보고했다. 토큰은 AI가 글과 코드를 처리하는 작은 단위이므로, 이 숫자는 출력 속도를 나타낼 뿐 게임의 완성도나 코드 정확도를 측정한 점수는 아니다.

왜 중요한가

코딩 도구가 실제 브라우저를 직접 확인할 수 있으면 사람이 오류 화면을 복사해 다시 질문하는 단계를 줄일 수 있다. 특히 화면 구성, 버튼 동작, 게임 진행처럼 실행 결과를 봐야 찾을 수 있는 문제를 모델이 연속해서 수정할 가능성을 보여준다. 다만 시연 한 건만으로 다른 프로젝트에서도 세 시간 동안 안정적으로 작동한다고 판단할 수는 없다.

실제로 어떤 의미인가

가정한 활용 예시: 사용자가 ‘우주선을 움직여 장애물을 피하는 웹게임을 만들어 달라’고 요청한다. 일반적인 대화형 작업에서는 AI가 코드를 내놓고, 사용자가 브라우저에서 실행한 뒤 오류를 다시 전달해야 한다. 이 시연과 같은 흐름에서는 모델이 파일을 만들고 두 브라우저에서 직접 실행한 다음, 버튼이 작동하지 않거나 화면이 깨진 부분을 찾아 코드를 고치는 과정을 반복한다.

사용·공개 범위

이는 Qwen3.8-Flash-Next의 공식 출시 발표나 공개 성능 시험이 아니라 커뮤니티의 로컬 시연이다. 사용된 모델의 일반 공개 여부, 다운로드 주소, 라이선스, 지원 장비와 가격은 제공된 자료에서 확인되지 않았다. 시연에 사용된 네 개의 V620 장비가 모든 사용자에게 필요한 최소 사양인지도 밝혀지지 않았다.

확인할 점

한 번의 실행이며 통제된 비교 대상이나 반복 측정이 없다. ‘한 번의 요청으로 만들었다’는 표현도 모델이 내부적으로 브라우저 시험과 수정을 여러 차례 수행하지 않았다는 뜻은 아니다. 결과물의 오류 수, 게임 완성도, 작업 성공 기준은 정량적으로 제시되지 않았다. 속도 수치와 실행 시간은 작성자의 특정 장비 및 설정에 관한 보고다.

용어 풀이

에이전트: AI가 목표를 받아 도구를 사용하고 결과를 확인하면서 여러 단계를 스스로 진행하는 방식.
토큰: AI가 글이나 코드를 읽고 출력할 때 사용하는 작은 처리 단위.
로컬 실행: 외부 클라우드 서비스 대신 사용자가 가진 컴퓨터나 서버에서 모델을 구동하는 것.

발행 2026-09-21

한 커뮤니티 사용자가 Jev를 입력에 맞는 작업 모드를 고르는 분류기로 시험하고, 정답률뿐 아니라 각 선택지에 얼마나 확신하는지를 나타내는 확률 출력이 중요하다고 평가했다. 이는 공식 제품 발표나 광범위한 검증 결과가 아니지만, 자동화 시스템이 애매한 요청을 무리하게 처리하지 않고 재확인하도록 설계하는 데 참고할 수 있다.

배경부터 이해하기

분류기는 입력을 미리 정한 범주 가운데 하나로 나누는 도구다. 여기서 Jev는 일반적인 답변을 길게 생성하기보다 후보별 판단 결과를 제공하는 분류기 형태로 평가됐다.

작업을 자동 수행하는 에이전트가 계획, 코딩, 질문 같은 모드를 고를 때 최종 분류명만 받으면 다른 후보와의 차이를 알기 어렵다. 반면 후보별 확률이 충분히 믿을 만하다면 확신이 낮을 때 사용자에게 되묻거나 별도 규칙으로 넘길 수 있다.

무엇이 바뀌었나

게시자는 Claude Code와 비슷한 작업 모드 선택 과정에 Jev를 넣어본 뒤, 단순 정확도보다 확률 출력이 자동화 구조를 설계하는 데 더 유용하다는 관점을 제시했다. 구체적인 정확도, 표본 수, 확률의 신뢰도를 검증한 수치는 제공된 자료에서 확인되지 않는다.

별도의 8개 분류 데이터셋 비교 글 요약에서는 전통적인 기계학습 모델이 Banking77의 고객 문의 분류와 기업용 표 형태 데이터에서 더 정확했다고 전한다. 다만 점수와 시험 조건은 제공되지 않았다. Jev에서 영감을 받은 독립 오픈소스 프로젝트 OpenJEV도 후보 점수를 출력하지만, 자체 설명에서 이 점수가 실제 확률과 정확히 맞도록 보정됐다고 볼 수는 없다고 경고한다.

왜 중요한가

확률이 신뢰할 만하면 자동화 시스템은 모든 입력을 억지로 한 모드에 배정하지 않아도 된다. 가장 높은 후보의 확률이 낮거나 상위 두 후보가 비슷할 때 사람에게 확인을 요청하도록 만들 수 있어, 잘못 선택한 모드에서 후속 작업이 연쇄적으로 진행될 위험을 줄일 수 있다. 그러나 숫자가 실제 성공 가능성을 제대로 반영하는지 먼저 확인하지 않으면 높은 확률도 잘못된 확신이 될 수 있다.

실제로 어떤 의미인가

가정한 활용 예시: 사용자가 “이 오류를 보고 고친 뒤 설명해 줘”라고 입력했다고 하자. 기존 흐름은 가장 높은 분류 하나만 보고 곧바로 코드 수정 모드로 들어간다. 확률을 활용하는 흐름은 ‘코드 수정’과 ‘오류 설명’이 비슷하게 나오면 먼저 어느 작업을 우선할지 되묻고, 차이가 충분히 클 때만 해당 모드를 자동 실행한다. 이 사례는 실제 시연 결과가 아니라 설계 방식을 설명하기 위한 예시다.

사용·공개 범위

이번 내용은 개인이 Reddit에 게시한 실험이며 출시 발표가 아니다. 원본 Jev를 누가 어떤 조건이나 가격으로 이용할 수 있는지는 제공된 자료에서 확인되지 않는다. 독립 프로젝트 OpenJEV의 소스 저장소는 공개돼 있지만 원본 Jev와 동일한 제품은 아니며, 현재 설명상 별도로 새로 학습한 기반 모델이 아니라 고정된 Qwen3-4B-Instruct-2507 모델을 사용한다.

확인할 점

원문 전체가 자동 수집되지 않아 게시물의 모든 시험 조건을 확인할 수 없다. 데이터 규모, 비교 대상, 반복 시험 여부, 정확도 수치가 없어 일반적인 우수성을 판단할 수 없다. OpenJEV 자료는 Jev에서 영감을 받은 별도 구현에 관한 설명이므로 원본 Jev의 내부 작동 방식에 그대로 적용할 수 없다. 후보 점수도 별도 보정 검증이 없다면 현실의 성공 확률로 해석해서는 안 된다.

용어 풀이

에이전트: 사용자의 지시를 바탕으로 작업 순서를 정하고 도구 사용이나 후속 행동을 자동으로 수행하는 소프트웨어다.
분류기: 입력을 고객 문의, 코드 수정, 설명 요청처럼 미리 정한 범주 중 하나로 나누는 모델이나 프로그램이다.
확률 보정: 모델이 80%라고 표시한 판단이 비슷한 사례에서 실제로도 약 80% 맞는지 확인하고 조정하는 과정이다.