AI Atlas
Orta · ~2 dk okuma #computer-use #browser-agent #claude

Computer Use

Ekranı görüp fare ve klavyeyle çalışan ajan

Bir modelin ekran görüntüsüne bakıp tıklama, yazma ve kaydırma gibi fare/klavye eylemleri önerdiği, uygulamanın bu eylemleri bir masaüstünde ya da tarayıcıda yürütüp yeni ekran görüntüsünü geri verdiği ajan döngüsü.

COMPUTER USE · EKRAN → MODEL → EYLEMAJAN DÖNGÜSÜVM / KONTEYNER · SENİNKaydetyürütücü: tıkla · yazağ: izinli alan adlarıMODELbakar, karar verirekrana dokunmaz① ekran görüntüsü② left_click [x,y]SATIN AL · GÖNDER · SİL → ÖNCE İNSAN ONAYISAYFAYI NASIL GÖRÜR?PİKSELher uygulamada çalışırkoordinat tahminigörsel token maliyetiERİŞİLEBİLİRLİK AĞACIbutton "Save" [e12]textbox "Name" [e7]öğeye referansla tıklarAPI varsa önce APImodel eylemi önerir, senin kodun yalıtılmış ortamda yürütür; kritik adımda insan onaylar
Tanım

Klasik otomasyon bir API ile konuşur: "şu kaydı oluştur" dersin, servis JSON döner. Ama birçok uygulamanın API'si yoktur ya da sana açık değildir. Computer use (bilgisayar kullanımı), modelin bir insan gibi grafik arayüzü kullanmasıdır: ekrana bakar, nereye tıklayacağına karar verir, yazar, kaydırır.

Model ekrana kendisi dokunmaz. Döngü şöyle işler:

  • Uygulaman modele görevi ve bir ekran görüntüsü gönderir.
  • Model bir sonraki eylemi döner: left_click [x, y], type "...", key "ctrl+s", scroll gibi.
  • Uygulaman bu eylemi kendi kontrol ettiği bir sanal makinede, konteynerde ya da tarayıcıda yürütür ve yeni ekran görüntüsünü geri yollar.
  • Görev bitene, bir hata çıkana ya da bir onay gerekene kadar döngü sürer.

Kasım 2026 itibarıyla üç büyük sağlayıcının da bu iş için API aracı var: Anthropic'in computer_toolset_20260801 araç seti (ekran görüntüsü, fare ve klavye için 17 alt araç), OpenAI Responses API'deki computer aracı ve Gemini API'deki computer_use aracı (tarayıcı, mobil ve masaüstü ortamları). Hepsinde eylemleri senin uygulamanın yürüttüğü bir ortam gerekiyor.

Ekran görüntüsü tek yol değil. Yalnızca tarayıcıda kalan işlerde Anthropic'in browser use aracı ve OpenAI'ın BrowserToolset'i sayfayı erişilebilirlik ağacı ve öğe referanslarıyla da okuyabiliyor. Bu, pikselden koordinat tahmin etmekten genellikle daha sağlam ve daha ucuz.

Benzetme

Uzaktan destek görüşmesi gibi düşün. Karşıdaki kişi ekranını paylaşıyor, sen bakıp "sağ üstteki mavi Kaydet düğmesine bas" diyorsun, o basıyor, yeni ekranı görüyorsun, bir sonraki adımı söylüyorsun.

Computer use'da talimatı veren model, düğmeye basan ise senin yazdığın kod. Fark şu: model ekrandaki her yazıyı okur, sayfadaki kötü niyetli bir yazıyı da. O yüzden düğmeye basan tarafın "bu ödeme mi, önce kullanıcıya sorayım" diyebilmesi gerekir.

Gerçek dünyadan örnek

Bir muhasebe ekibi, API'si olmayan eski bir tedarikçi portalından her ay faturaları indirip bir klasöre koyuyor. Bunu bir computer use ajanına veriyorlar.

Ajan, ağ erişimi yalnızca o portalın alan adıyla sınırlanmış bir Linux VM'inde çalışıyor. Model giriş ekranını görüyor; kullanıcı adı ve şifre modele verilmiyor, ekip giriş adımını kendisi yapıp oturumu açık bırakıyor. Model "Faturalar" sekmesine tıklıyor, tarih filtresini ayarlıyor, PDF'leri tek tek indiriyor. Bir sayfada "Otomatik ödeme talimatı ver" diye bir banner çıkınca uygulama onu yok sayıyor: ödeme ve form gönderme eylemleri kodda insan onayı gerektiriyor. Her adımın ekran görüntüsü log'a yazılıyor.

Kod örnekleri
Anthropic · Messages API'ye computer use araç setini eklemek bash
curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -d '{
    "model": "claude-opus-5-5",
    "max_tokens": 1024,
    "tools": [{"type": "computer_toolset_20260801"}],
    "messages": [{"role": "user", "content": "Masaüstüne bir kedi resmi kaydet."}]
  }'
# Yanıttaki tool_use bloklarını (screenshot, left_click, type...)
# kendi VM'inde yürütüp tool_result olarak geri gönderirsin.
Gemini API · tarayıcı ortamı için computer_use aracı python
from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input="Search for 'Gemini API' on Google.",
    tools=[{"type": "computer_use", "environment": "browser"}],
)
# Koordinatlar 0-1000 aralığında normalize gelir;
# ekran boyutuna göre ölçekleyip eylemi sen yürütürsün.
OpenAI · Responses API computer aracı python
from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    input="Filters paneli kapalıysa Show filters'a tıkla, sonra arama kutusuna penguin yaz.",
)
print(response.output)
Ne zaman kullan
  • API'si olmayan ya da API'sine erişemediğin eski web portalları ve masaüstü uygulamaları
  • Web uygulamalarında kullanıcı akışlarını (form doldurma, kayıt, ödeme öncesi adımlar) uçtan uca test etmek
  • Birkaç uygulama arasında kopyala-yapıştır gerektiren, sık ama düşük riskli iş akışları
  • İnsanın yanında izlediği, her kritik adımda onay verdiği araştırma ve veri toplama işleri
Ne zaman kullanma
  • İşin resmî bir API'si, CLI'ı ya da MCP sunucusu varsa; o yol daha hızlı, daha ucuz ve daha güvenilir
  • Kendi bilgisayarında, gerçek hesaplarınla ve izolasyon olmadan; ayrı bir VM, konteyner ya da temiz bir tarayıcı profili kullan
  • Hatanın geri alınamadığı işler (para transferi, toplu silme, sözleşme onayı) için onaysız, gözetimsiz kullanım
  • Saniyeler içinde, binlerce kez tekrarlanması gereken işler; her adım bir model çağrısı ve ekran görüntüsü demek
Sık yapılan hatalar

Sayfadaki metni talimat sanmak

Model ekrandaki her yazıyı okur. Bir web sayfası, e-posta ya da görseldeki gizli bir talimat, senin talimatınla çelişse bile uygulanabilir (prompt injection). Anthropic ve Google ekran görüntülerini tarayan sınıflandırıcılar sunuyor ama sağlayıcıların kendisi de bunun tam koruma olmadığını yazıyor. Ekran içeriğini güvenilmez veri olarak ele al.

Ajanı kendi oturumunla çalıştırmak

Ajan senin açık e-posta, banka ya da yönetim paneli oturumlarına erişirse, bir injection gerçek zarara dönüşebilir. Ayrı bir VM ya da temiz bir tarayıcı profili kullan, ağ erişimini izinli alan adlarıyla sınırla, şifreleri modele verme.

Kritik eylemi onaysız bırakmak

Satın alma, mesaj gönderme, form gönderme, veri silme ve şartları kabul etme gibi geri dönüşü zor adımları kodda bir onay kapısına bağla. Modelin 'onay iste' sinyaline (Gemini'de safety_decision, OpenAI'da bekleyen safety check) güvenmek tek başına yetmez.

Koordinat ölçeğini karıştırmak

Modelin döndüğü koordinatlar, ona gönderdiğin ekran görüntüsünün piksel uzayındadır (Gemini'de 0-1000 arası normalize). Görüntüyü küçülttüysen ya da Retina ekrandaysan koordinatları geri ölçeklemezsen tıklamalar hep aynı yöne kayar.

Ajanın 'bitti' demesine güvenmek

Model görevi tamamladığını söyleyip yanılabilir. Sonucu ajanın cevabından değil, ortamın son durumundan (indirilen dosya, kaydedilen form, veritabanı kaydı) doğrula.