Computer Use
Ekranı görüp fare ve klavyeyle çalışan ajan
Bir modelin ekran görüntüsüne bakıp tıklama, yazma ve kaydırma gibi fare/klavye eylemleri önerdiği, uygulamanın bu eylemleri bir masaüstünde ya da tarayıcıda yürütüp yeni ekran görüntüsünü geri verdiği ajan döngüsü.
Klasik otomasyon bir API ile konuşur: "şu kaydı oluştur" dersin, servis JSON döner. Ama birçok uygulamanın API'si yoktur ya da sana açık değildir. Computer use (bilgisayar kullanımı), modelin bir insan gibi grafik arayüzü kullanmasıdır: ekrana bakar, nereye tıklayacağına karar verir, yazar, kaydırır.
Model ekrana kendisi dokunmaz. Döngü şöyle işler:
- Uygulaman modele görevi ve bir ekran görüntüsü gönderir.
- Model bir sonraki eylemi döner:
left_click [x, y],type "...",key "ctrl+s",scrollgibi. - Uygulaman bu eylemi kendi kontrol ettiği bir sanal makinede, konteynerde ya da tarayıcıda yürütür ve yeni ekran görüntüsünü geri yollar.
- Görev bitene, bir hata çıkana ya da bir onay gerekene kadar döngü sürer.
Kasım 2026 itibarıyla üç büyük sağlayıcının da bu iş için API aracı
var: Anthropic'in computer_toolset_20260801 araç seti (ekran
görüntüsü, fare ve klavye için 17 alt araç), OpenAI Responses API'deki
computer aracı ve Gemini API'deki computer_use aracı (tarayıcı,
mobil ve masaüstü ortamları). Hepsinde eylemleri senin
uygulamanın yürüttüğü bir ortam gerekiyor.
Ekran görüntüsü tek yol değil. Yalnızca tarayıcıda kalan işlerde
Anthropic'in browser use aracı ve OpenAI'ın BrowserToolset'i sayfayı
erişilebilirlik ağacı ve öğe referanslarıyla da okuyabiliyor. Bu,
pikselden koordinat tahmin etmekten genellikle daha sağlam ve daha
ucuz.
Uzaktan destek görüşmesi gibi düşün. Karşıdaki kişi ekranını paylaşıyor, sen bakıp "sağ üstteki mavi Kaydet düğmesine bas" diyorsun, o basıyor, yeni ekranı görüyorsun, bir sonraki adımı söylüyorsun.
Computer use'da talimatı veren model, düğmeye basan ise senin yazdığın kod. Fark şu: model ekrandaki her yazıyı okur, sayfadaki kötü niyetli bir yazıyı da. O yüzden düğmeye basan tarafın "bu ödeme mi, önce kullanıcıya sorayım" diyebilmesi gerekir.
Bir muhasebe ekibi, API'si olmayan eski bir tedarikçi portalından her ay faturaları indirip bir klasöre koyuyor. Bunu bir computer use ajanına veriyorlar.
Ajan, ağ erişimi yalnızca o portalın alan adıyla sınırlanmış bir Linux VM'inde çalışıyor. Model giriş ekranını görüyor; kullanıcı adı ve şifre modele verilmiyor, ekip giriş adımını kendisi yapıp oturumu açık bırakıyor. Model "Faturalar" sekmesine tıklıyor, tarih filtresini ayarlıyor, PDF'leri tek tek indiriyor. Bir sayfada "Otomatik ödeme talimatı ver" diye bir banner çıkınca uygulama onu yok sayıyor: ödeme ve form gönderme eylemleri kodda insan onayı gerektiriyor. Her adımın ekran görüntüsü log'a yazılıyor.
curl https://api.anthropic.com/v1/messages \
-H "content-type: application/json" \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-d '{
"model": "claude-opus-5-5",
"max_tokens": 1024,
"tools": [{"type": "computer_toolset_20260801"}],
"messages": [{"role": "user", "content": "Masaüstüne bir kedi resmi kaydet."}]
}'
# Yanıttaki tool_use bloklarını (screenshot, left_click, type...)
# kendi VM'inde yürütüp tool_result olarak geri gönderirsin.from google import genai
client = genai.Client()
interaction = client.interactions.create(
model="gemini-3.8-flash",
input="Search for 'Gemini API' on Google.",
tools=[{"type": "computer_use", "environment": "browser"}],
)
# Koordinatlar 0-1000 aralığında normalize gelir;
# ekran boyutuna göre ölçekleyip eylemi sen yürütürsün.from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input="Filters paneli kapalıysa Show filters'a tıkla, sonra arama kutusuna penguin yaz.",
)
print(response.output)- API'si olmayan ya da API'sine erişemediğin eski web portalları ve masaüstü uygulamaları
- Web uygulamalarında kullanıcı akışlarını (form doldurma, kayıt, ödeme öncesi adımlar) uçtan uca test etmek
- Birkaç uygulama arasında kopyala-yapıştır gerektiren, sık ama düşük riskli iş akışları
- İnsanın yanında izlediği, her kritik adımda onay verdiği araştırma ve veri toplama işleri
- İşin resmî bir API'si, CLI'ı ya da MCP sunucusu varsa; o yol daha hızlı, daha ucuz ve daha güvenilir
- Kendi bilgisayarında, gerçek hesaplarınla ve izolasyon olmadan; ayrı bir VM, konteyner ya da temiz bir tarayıcı profili kullan
- Hatanın geri alınamadığı işler (para transferi, toplu silme, sözleşme onayı) için onaysız, gözetimsiz kullanım
- Saniyeler içinde, binlerce kez tekrarlanması gereken işler; her adım bir model çağrısı ve ekran görüntüsü demek
Sayfadaki metni talimat sanmak
Model ekrandaki her yazıyı okur. Bir web sayfası, e-posta ya da görseldeki gizli bir talimat, senin talimatınla çelişse bile uygulanabilir (prompt injection). Anthropic ve Google ekran görüntülerini tarayan sınıflandırıcılar sunuyor ama sağlayıcıların kendisi de bunun tam koruma olmadığını yazıyor. Ekran içeriğini güvenilmez veri olarak ele al.
Ajanı kendi oturumunla çalıştırmak
Ajan senin açık e-posta, banka ya da yönetim paneli oturumlarına erişirse, bir injection gerçek zarara dönüşebilir. Ayrı bir VM ya da temiz bir tarayıcı profili kullan, ağ erişimini izinli alan adlarıyla sınırla, şifreleri modele verme.
Kritik eylemi onaysız bırakmak
Satın alma, mesaj gönderme, form gönderme, veri silme ve şartları kabul etme gibi geri dönüşü zor adımları kodda bir onay kapısına bağla. Modelin 'onay iste' sinyaline (Gemini'de safety_decision, OpenAI'da bekleyen safety check) güvenmek tek başına yetmez.
Koordinat ölçeğini karıştırmak
Modelin döndüğü koordinatlar, ona gönderdiğin ekran görüntüsünün piksel uzayındadır (Gemini'de 0-1000 arası normalize). Görüntüyü küçülttüysen ya da Retina ekrandaysan koordinatları geri ölçeklemezsen tıklamalar hep aynı yöne kayar.
Ajanın 'bitti' demesine güvenmek
Model görevi tamamladığını söyleyip yanılabilir. Sonucu ajanın cevabından değil, ortamın son durumundan (indirilen dosya, kaydedilen form, veritabanı kaydı) doğrula.