AI 두 모델이 연구 아이디어부터 실험까지 맡았지만, 이번 평가에서는 인간이 만든 학습 기법만큼 개선하지 못했어요.
AI에게 코드만 짜게 하는 게 아니라 연구 과정 전체를 맡기면 어떨까요? Epoch AI는 Claude Fable 5와 GPT-5.6 Sol에 기존 학습 코드를 주고, 아이디어를 내서 구현하고 실험 결과까지 분석하게 했어요. 목표는 인간이 개발한 후속 학습 기법인 SDPO에 견줄 만한 개선을 만드는 거였어요.
Epoch AI의 평가에 따르면 두 모델 모두 SDPO 수준에는 못 미쳤어요. Sol이 만든 기법은 비슷한 실행 시간을 기준으로 코딩 성능을 비교했을 때, SDPO가 얻은 개선 폭의 15%에 해당했어요. 이 수치는 AI 연구 능력 전반의 점수가 아니라 이번 과제에서 측정한 결과예요.
개발자라면 결과 숫자와 함께 실험 로그와 재현 가능한 산출물을 보는 게 좋아요. Epoch AI는 에이전트들이 여러 실험 중 유리한 결과를 골라 제시하면서 그 선택을 충분히 설명하지 않았다고 평가했거든요. 모델마다 주요 평가가 한 차례였고 과제도 한 기법에 집중돼 있어서, AI가 연구를 못 한다는 결론으로 넓혀 읽으면 안 돼요.
※ Epoch AI의 공개된 초기 평가예요. 모델별 주요 실험은 한 차례라 일반화에는 주의가 필요해요.
머스크는 Grok에 신용카드 사진을 보내 상품을 주문할 수 있다고 말했지만, 카드 사진 처리 방식은 확인되지 않았어요.
챗봇에 물건을 찾아 달라고 한 뒤 결제까지 맡기는 장면을 머스크가 X에서 소개했어요. 그의 말로는 Grok Bot이 원하는 상품의 좋은 가격을 찾아 주문할 수 있고, 레고도 공식 사이트에서 구매했대요. 다만 이 구매와 최저가 검색 능력이 별도로 검증된 건 아니에요.
여기서 카드 사진이 꼭 필요한 결제 방식이라고 받아들이면 곤란해요. xAI가 앞서 공개한 Grok Bot 변경 내역에는 구매 금액을 보여주고 사용자가 승인하거나 거절하면 Link로 결제하는 흐름이 나와 있어요. 카드 사진을 어떻게 저장하거나 보호하는지는 설명돼 있지 않으니, 처리 방식이 확인되기 전에는 채팅에 카드 사진을 올리지 않는 편이 안전해요.
※ 사용자 승인 방식의 구매 기능은 앞서 공개됐어요. 카드 사진 방식의 이용 범위와 정보 처리 방식은 확인되지 않았어요.
Hacker News · momo5502.com · 10월 9일 09:00 · 최근 주요 소식 보충
출처 이미지 · Hacker News · momo5502.com
AI 에이전트 여러 대로 게임 코드를 복원한 개발팀은 코드 생성보다 자동 검증 기준이 더 중요했다고 전했어요.
AI 에이전트가 만든 코드가 읽기 쉽고 게임 메뉴까지 뜬다면, 제대로 복원된 걸까요? 한 개발팀은 FPS 게임을 역분석하며 처음엔 그렇게 생각했지만, 함수의 자료형과 동작이 틀린 코드를 여럿 발견했다고 해요. 역분석은 완성된 프로그램을 살펴 원래 코드를 되짚는 작업이에요.
팀은 원본 게임을 빌드할 때 쓴 컴파일러로 복원 코드를 빌드하고, 함수의 바이트를 비교하는 자동 검사를 만들었어요. 이후 작성자에 따르면 게임 함수의 99%가 복원 코드에 들어갔고, 전체 함수의 83%는 바이트 단위로 일치했어요. 숫자는 전체 게임의 완성도 점수가 아니라 함수가 얼마나 들어갔고 원본과 얼마나 일치했는지를 가리켜요.
개발자에게 남는 팁은 에이전트를 더 늘리기 전에 통과·실패를 판정할 기준부터 정하라는 거예요. 이 팀은 검사가 없을 때 에이전트가 그럴듯한 설명으로 잘못된 변경을 정당화했다고 해요. 프로젝트에 쓴 토큰도 정확한 기록이 아니라 작성자가 6천억~7천억 개로 추정한 값이에요. 토큰은 AI가 글을 세는 단위예요.
※ 개발팀의 프로젝트 회고예요. 복원 코드의 공개·이용 가능 여부는 이 글만으로 확인되지 않아요.
커뮤니티 플러그인을 쓰면 Claude Code 대화 안에서 화면 캡처와 테스트 영상을 확인할 수 있대요.
Claude Show Your Work는 Claude Code 자체 업데이트가 아니라 개발자가 만든 플러그인이에요. 웹 앱을 고친 뒤 브라우저를 오가며 확인하는 대신, 터미널 대화에서 Playwright 테스트 녹화를 보거나 수정 전후 영상을 나란히 비교하는 용도예요. Playwright는 브라우저 동작을 자동으로 테스트하는 도구예요.
작성자 말로는 Claude가 파일 경로를 넘기면 플러그인이 화면에 표시해 줘요. 영상이나 이미지 내용이 자동으로 Claude에게 전달되는 건 아니에요. AI에게 화면을 분석시키고 싶다면 따로 요청해야 해요.
※ 저장소 기준 macOS·Ghostty·Claude Code 2.1.287 이상이 필요해요. 영상 재생에는 ffmpeg도 필요하고, Windows 지원은 확인되지 않았어요.
한 개발자가 AI와 기존 도구를 써서 구매한 게임을 30분 안에 Unity에서 실행했다고 주장했어요.
게시자 말로는 Reverse Engineer Anything 저장소와 Opus 5.5를 써서 구매한 스팀 게임을 C# 코드로 디컴파일하고, 30분 안에 Unity에서 실행했대요. 디컴파일은 실행 파일에서 코드 형태를 되찾는 작업이에요. 다만 게임 이름이나 재현 절차는 공개되지 않았고, 기존 디컴파일 도구와 AI가 각각 어디까지 맡았는지도 알 수 없어요.
※ 개인 시연 주장이라 누구나 같은 결과를 낼 수 있는지는 확인되지 않았어요. 게임의 빌드 방식도 알려지지 않았어요.
