제미나이 API 컴퓨터 유즈 정식 출시: 바뀐 점과 지금 할 일

제미나이 API 컴퓨터 유즈 정식 출시, 누가 무엇을 다시 정해야 하나

제미나이 API 컴퓨터 유즈는 모델이 스크린샷을 보고 클릭·입력 같은 조작을 지시하는 도구이고, 구글이 2026년 10월 30일 정식 출시(GA)했다. 브라우저 업무 자동화를 시험만 해 보던 개발자는 이제 운영에 올릴지, 어떤 안전장치를 앱에 달지 정해야 한다. 비유하면 직원에게 "이 사이트에서 주문서를 넣어 줘"라고 시키고, 직원이 모니터를 보며 마우스를 움직이는 것과 같다. 컴퓨터 유즈도 모델이 손을 대신 움직이는 것이 아니라 "여기를 누르라"는 지시만 내리고, 실제로 누르는 일은 우리 앱이 한다. 다만 직원에게 결제나 계정 삭제를 맡기기 전에 한 번 확인받듯, 이 도구도 위험한 동작 앞에서는 사람 확인 절차를 앱이 직접 만들어야 한다.

컴퓨터 유즈가 정식 출시되며 달라진 점

구글의 제미나이 API 변경 기록에 따르면 컴퓨터 유즈 도구는 2026년 10월 30일에 Interactions API와 GenerateContent API 전반에서 정식 출시됐다. 같은 날 다른 변경 사항은 기록에 없다. 이 도구는 2025년 10월 7일 제미나이 2.5 컴퓨터 유즈 프리뷰로 처음 나왔고, 2026년 1월 29일 gemini-3-pro-preview와 gemini-3-flash-preview로 넓어졌다. 2026년 6월 24일에는 제미나이 3.5 플래시에서 공개 프리뷰가 시작됐는데, 이때 의도(intent) 기반의 단순한 동작, 브라우저·모바일·데스크톱 기본 지원, 설정 가능한 안전 정책, 프롬프트 인젝션 탐지가 들어갔다.

변경 기록에 적힌 정식 출시 항목은 도구 이름과 적용 API뿐이고 새 기능 목록은 없다. 프리뷰 때 들어간 안전 정책과 인젝션 탐지는 현재의 컴퓨터 유즈 문서에도 그대로 적혀 있다. 같은 문서는 이 기능에 오류와 보안 취약점이 있을 수 있다고 지금도 경고하므로, 정식 출시를 안전 보증으로 읽으면 안 된다.

제미나이 컴퓨터 유즈 사용법: 요청과 실행이 도는 순서

컴퓨터 유즈는 한 번 호출로 끝나지 않고 네 단계가 반복된다. 컴퓨터 유즈 문서가 설명하는 순서는 다음과 같다.

1. 앱이 컴퓨터 유즈 도구 설정, 사용자 작업 프롬프트, 현재 화면 스크린샷을 요청에 담아 보낸다.
2. 모델이 실행할 동작(function_call)과 그 이유(intent)를 돌려준다. 안전 결정(safety_decision)이 함께 올 수 있다.
3. 앱이 모델이 준 좌표를 실제 화면 크기에 맞게 바꾸고 동작을 실행한다. 문서는 Playwright를 실행 도구의 예로 든다.
4. 앱이 실행 뒤 새 스크린샷을 function_result로 돌려보내고, 작업이 끝날 때까지 이 과정을 되풀이한다.

첫 요청의 파이썬 골격은 공식 문서 예시에 이렇게 나와 있다. 도구 종류를 computer_use로, 환경을 browser로 지정한다.

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input="<사용자 작업 프롬프트>",
    tools=[{"type": "computer_use", "environment": "browser"}]
)

처음 호출을 확인하려면 이 코드로 응답에 동작(function_call)이 들어오는지 먼저 본다. 다음 턴부터는 previous_interaction_id와 function_result를 실어 보낸다. 문서에 따르면 좌표는 0~999로 정규화된 값이라, 앱이 실제 해상도로 환산해야 한다. 브라우저 환경에는 click, type, scroll, navigate, hotkey, drag_and_drop, take_screenshot 등의 동작이 있고, 환경마다 쓸 수 있는 동작 목록이 다르다.

컴퓨터 유즈 지원 모델 (공식 문서 기준)

모델 ID	비고
gemini-3.8-flash	문서가 권장하는 모델
gemini-4-argon	지원 목록에 포함
gemini-3.5-flash-lite	프롬프트 인젝션 탐지 지원 하한
gemini-3-flash-preview	프리뷰 이름 그대로 지원

모델 이름과 지원 중단 일정은 자주 바뀐다. 쓰는 모델의 교체 시점은 제미나이 API 모델 변경 정리에서 따로 확인할 수 있다.

내 앱도 안전 처리가 필요한가: 안전 결정과 인젝션 탐지

정식 출시 뒤에도 안전 처리는 앱의 몫이다. 공식 문서는 모델이 위험하다고 본 동작에 안전 결정을 붙이고, 값이 require_confirmation이면 앱이 사용자에게 승인을 받아야 한다고 설명한다. 승인하면 function_result에 safety_acknowledgement를 넣고, 거부하면 실행을 멈춘다. disabled_safety_policies로 정책 일부를 풀어도 모델이 확인을 요구할 수 있어서, 이 분기는 항상 구현해야 한다.

안전 정책 카테고리 (공식 문서의 이름 그대로)

카테고리	다루는 동작
FINANCIAL_TRANSACTIONS	금융 거래
SENSITIVE_DATA_MODIFICATION	민감 데이터 수정
COMMUNICATION_TOOL	메시지 발송
ACCOUNT_CREATION	계정 생성
DATA_MODIFICATION	데이터 수정
USER_CONSENT_MANAGEMENT	동의 절차
LEGAL_TERMS_AND_AGREEMENTS	법적 약관 수락

프롬프트 인젝션 탐지는 기본이 꺼져 있다. 스크린샷에 숨은 악성 지시가 있는지 검사하고 발견하면 실행을 막는 기능으로, 도구 설정에 enable_prompt_injection_detection: true를 넣어야 켜진다. 문서에 따르면 제미나이 3.5 플래시 라이트 이상에서 지원된다. 맥피는 낯선 웹사이트를 열어야 하는 에이전트라면 이 옵션을 켜 두고 시작하길 권한다. 켠 뒤 정상 작업이 얼마나 막히는지는 문서에 없으므로 직접 시험해 보고 정한다.

제미나이 컴퓨터 유즈 운영 전 점검: 지금 할 일

공식 문서는 에이전트를 샌드박스 가상 머신이나 컨테이너처럼 호스트와 분리된 환경에서 돌리고, 중요한 작업은 가까이서 감독하며, 중대한 결정이나 민감한 데이터, 되돌릴 수 없는 오류가 생길 수 있는 작업에는 쓰지 말라고 안내한다. 에이전트가 의도하지 않은 행동을 한 사례는 클로드 의도하지 않은 행동 보고서 요약에서 볼 수 있다. 이 안내에 맞춰 운영 전환 전에 아래를 확인한다.

1. 격리된 환경에서 실행하는지 본다. 개인 PC의 로그인된 브라우저에 바로 연결하지 않는다.
2. 안전 결정 처리 코드를 넣고, 테스트용 쇼핑몰에서 결제 직전까지 가는 작업을 시켜 확인 창이 실제로 뜨는지 시험한다.
3. 낯선 사이트를 여는 작업이면 프롬프트 인젝션 탐지를 켜고, 막히는 사례를 기록한다.
4. 시스템 지시에 허용·차단할 사이트 목록과 로그 남기기 규칙을 넣는다.

시험이 성공했는지는 두 가지로 판단한다. 같은 작업을 여러 번 돌렸을 때 목표 화면까지 도달하는 비율이 안정적인지, 그리고 일부러 결제나 메시지 전송이 필요한 작업을 줬을 때 확인 요청이 빠짐없이 올라오는지 본다. 가격은 이 문서에 나오지 않고 제미나이 API 가격 페이지를 따로 봐야 한다.

에이전트를 직접 만들기 전에 개발 키트 선택부터 고민하는 독자는 구글 ADK 사용법도 함께 보면 된다.

OpenAI·클로드·제미나이 최신 모델의 컴퓨터 유즈 성능 비교

세 회사의 최신 모델은 클로드 오퍼스 5.5, GPT-6 Astra, 제미나이 4 Argon이고, 컴퓨터 유즈 성능을 재는 공통 시험은 OSWorld 계열이다. 실제 우분투·윈도·맥 화면에서 모델이 마우스와 키보드로 업무를 끝내는 정도를 보는 시험인데, 문제는 회사마다 쓰는 버전이 다르다는 점이다. 앤트로픽은 2026년 9월 22일 클로드 오퍼스 5.5 발표에서 OSWorld 2.1을 썼고, 오퍼스 5.5가 81.8%, 클로드 Fable 5.1이 80.7%, 오퍼스 5가 74.0%다. 이 점수에는 모두 부분 점수(partial) 표기가 붙고, 오퍼스 5.5는 적응형 사고(adaptive thinking)와 최대 노력 수준, 실사용 안전장치를 켠 상태에서 쟀다.

OpenAI는 GPT-6 Astra 발표에서 OSWorld 2.0을 썼다. 한 과제에 약 40분이 걸리는 지연 시뮬레이션에서 GPT-6 Astra는 72.6%이고, 약 75분이 걸리는 GPT-5.6 Sol은 65.7%다. 같은 발표는 Astra가 GPT-5.6 Sol보다 과제당 시간을 약 47% 줄이고도 더 높은 점수를 냈다고 밝힌다. 구글은 2026년 10월 13일 제미나이 4 Argon 개발자 발표에서 OSWorld 점수를 싣지 않았다. Argon은 컴퓨터 유즈 문서의 지원 모델에 들어 있다.

최신 모델의 컴퓨터 유즈 시험 결과 (각 회사 발표값)

모델	시험 버전	점수	출처
클로드 오퍼스 5.5	OSWorld 2.1(partial)	81.8%	앤트로픽 오퍼스 5.5 발표(2026-09-22)
클로드 Fable 5.1	OSWorld 2.1(partial)	80.7%	앤트로픽 오퍼스 5.5 발표(2026-09-22)
GPT-6 Astra	OSWorld 2.0(partial, 지연 시뮬레이션)	72.6%	OpenAI GPT-6 Astra 발표
GPT-5.6 Sol	OSWorld 2.0(partial, 지연 시뮬레이션)	65.7%	OpenAI GPT-6 Astra 발표
제미나이 4 Argon	공식 발표에 점수 없음	해당 없음	구글 Argon 개발자 발표(2026-10-13)

이 표는 순위표로 읽으면 안 된다. 앤트로픽의 2.1과 OpenAI의 2.0은 시험 버전이 다르고, 앤트로픽은 2.1 표에서 GPT-6 Astra 칸을 비워 두었다. 오퍼스 5.5의 81.8%가 Astra의 72.6%보다 높다고 해서 오퍼스 5.5가 컴퓨터 유즈를 더 잘한다고 말할 수는 없다. 제미나이 쪽은 공식 발표에 점수가 없으니, 제미나이 컴퓨터 유즈가 다른 두 회사보다 낫거나 못하다는 결론도 낼 수 없다. 이전 세대에서 제미나이 3.6 플래시가 OSWorld-Verified 83.0%를 낸 구글의 2026년 7월 21일 발표가 있으나, 시험 버전이 달라 위 표와 이어 읽을 수 없다.

Aside와 ego lite는 모델이 아니라 모델을 얹어 브라우저를 움직이게 하는 도구라서 OSWorld 점수가 없고, 각자 다른 시험을 쓴다. Aside는 자체 실행 결과를 공개 저장소에 올렸다. GPT-5.5를 얹은 Aside가 웹 과제 300개 시험(Online-Mind2Web)에서 99.0%, 100개 시험(BU Bench V1)에서 93.0%, 200개 장거리 시험(Odysseys)에서 75.5%를 기록했다. ego lite는 31개 실제 사이트 과제(Real-World Bench)에서 다른 브라우저 자동화 도구보다 47~63% 빠르다고 밝혔고, 성공률 수치는 글자가 아닌 차트 이미지로만 공개했다.

고르는 기준은 하는 일에 따라 갈린다. 화면 전체를 보고 조작하는 에이전트를 직접 만들면 각 모델의 발표 점수를 출발점으로 삼고, 웹 업무만 자동화하면 Aside나 ego lite처럼 브라우저 도구를 얹는 방식이 시간과 토큰을 줄이는 쪽이다. 어느 쪽이든 발표 점수는 우리 업무 화면에서의 성공률을 보장하지 않는다. 같은 작업 목록과 시작 화면을 각 서비스에 주고 목표 화면까지 도달하는 비율, 결제·메시지 전송 같은 위험 작업의 확인 요청 여부, 작업당 시간과 비용을 비교해야 한다.

앞으로 확인할 점

정식 출시 뒤에도 문서의 지원 모델 목록과 환경별 동작 목록은 바뀔 수 있다. 제미나이 API 변경 기록에서 컴퓨터 유즈 항목이 추가되는지 계속 보고, 쓰는 모델이 지원 중단 대상에 오르면 대체 모델이 같은 도구를 지원하는지 먼저 확인한다. 구글이 제미나이 4 Argon의 OSWorld 점수를 공개하면 위 표에 칸을 채워야 한다.

자주 묻는 질문

컴퓨터 유즈는 제미나이 앱에서도 쓸 수 있나요?

이번 발표는 제미나이 API의 개발자용 도구에 관한 것이다. 문서에는 앱에서 쓰는 방법이 아니라 API 호출 방법만 나온다.

프리뷰로 만든 에이전트는 코드를 바꿔야 하나요?

변경 기록은 정식 출시 사실만 알리고 코드 수정 요구는 적지 않았다. 다만 쓰던 모델 ID가 지원 목록에 있는지는 확인해야 한다.

컴퓨터 유즈로 데스크톱 앱도 조작할 수 있나요?

문서는 브라우저, 모바일, 데스크톱 세 환경을 지원한다고 적고, 환경마다 쓸 수 있는 동작이 다르다고 설명한다.