Computer Use ve Tarayıcı Ajanları: Ekranı Okuyan Yapay Zekâ Nasıl Çalışır, Ne Zaman Güvenle Kullanılır?
Computer use ajanları nasıl çalışır: ekran görüntüsü → model → fare/klavye döngüsü, piksel ile erişilebilirlik ağacı farkı; Kasım 2026 itibarıyla Anthropic, OpenAI ve Google'ın API araçları ve tarayıcı içi ajanlar; API ile GUI otomasyonu arasındaki seçim; OSWorld ve WebArena ne ölçüyor; prompt injection, VM izolasyonu ve onay kapıları; nerede iyi, nerede kötü çalıştığı ve minimal güvenli kurulum.
Güncellendi:
Kısa özet
Bir AI ajanı çoğu zaman araçlarla, yani API'lerle çalışır. Ama birçok işin API'si yoktur: eski bir tedarikçi portalı, bir masaüstü muhasebe programı, yalnızca tarayıcıdan girilen bir yönetim paneli. Computer use, modelin bu arayüzleri bir insan gibi kullanmasıdır: ekrana bakar, nereye tıklayacağına karar verir, yazar.
Bu rehber şunları anlatıyor: bu ajanlar teknik olarak nasıl çalışıyor, Kasım 2026 itibarıyla hangi sağlayıcı ne sunuyor, ne zaman API yerine GUI otomasyonu seçmeli, OSWorld ve WebArena gibi benchmark'lar ne ölçüyor ve en önemlisi: bir web sayfasının ajana talimat verebildiği bir dünyada bu ajanları nasıl güvenle çalıştırırsın.
Not: Bilgiler 8 Kasım 2026'da sağlayıcıların resmî dokümanlarından (Anthropic, OpenAI, Google), OSWorld ve WebArena makalelerinden ve OSWorld'ün resmî sonuç tablosundan kontrol edildi. Bu alan çok hızlı değişiyor: model adları, araç sürümleri ve ürünler aylar içinde değişebiliyor. Bir ayrıntıya güvenmeden önce kaynaklar bölümündeki sayfaya bir kez daha bak.
Ekranı okuyan ajan nasıl çalışır?
Model ekrana dokunmaz. Computer use bir ajan döngüsüdür ve iki tarafı vardır: model karar verir, senin uygulaman (yürütücü) eylemi gerçekleştirir.
- Uygulaman modele görevi, araç tanımını ve ortamın bir ekran görüntüsünü gönderir.
- Model ekranı okur ve bir eylem döner:
left_clickve koordinat,typeve metin,keyve tuş kombinasyonu,scroll,waitgibi. - Uygulaman bu eylemi kendi kontrol ettiği bir sanal makinede, konteynerde ya da tarayıcıda yürütür.
- Yeni ekran görüntüsünü sonuç olarak modele geri yollar.
- Görev bitene, bir hata çıkana, adım sınırına ulaşılana ya da bir insan onayı gerekene kadar döngü sürer.
Teknik olarak bu, function calling'in özel bir hâli: araç "ekran" ve eylemler fare/klavye. Model tarafında işi mümkün kılan şey çok kipli (multimodal) modellerin ekran görüntüsündeki düğmeleri, metinleri ve konumları okuyabilmesi.
Sağlayıcıların dokümanları birkaç pratik ayrıntıda farklılaşıyor:
- Koordinat uzayı: Anthropic'te model, ona gönderdiğin ekran görüntüsünün piksel uzayında koordinat döner; görüntüyü küçülttüysen koordinatları geri ölçeklemen gerekir. Gemini koordinatları 0-1000 aralığında normalize olarak döner, sen ekran boyutuna çevirirsin.
- Toplu eylemler: Anthropic'in
computer_toolset_20260801araç setinde model tek turda birden çok eylem isteyebilir; uygulaman bunları sırayla çalıştırır ve ilk hatada durur. - Yakınlaştırma: Aynı araç setinde
zoomalt aracı, ekranın bir bölgesini tam çözünürlükte göndermeni sağlıyor; küçük yazıları okumak için.
Piksel mi, erişilebilirlik ağacı mı?
Bir ajan ekranı iki yolla "görebilir":
| Piksel (ekran görüntüsü) | Erişilebilirlik ağacı / DOM | |
|---|---|---|
| Ne görür | Ekranın görüntüsü | Sayfanın yapısı: düğmeler, alanlar, etiketler, öğe referansları |
| Nerede çalışır | Her uygulama: masaüstü, tarayıcı, mobil | Esas olarak tarayıcı (ve erişilebilirlik bilgisi veren uygulamalar) |
| Nasıl tıklar | Koordinat tahminiyle | Öğe referansıyla (e12 gibi) |
| Maliyet | Her adımda görsel token | Genellikle daha az; sayfa metni |
| Zayıf yanı | Küçük öğeler, ölçek hataları, kaydırma | Kötü işaretlenmiş sayfalar, canvas tabanlı arayüzler |
Kasım 2026'da iki yaklaşım birlikte kullanılıyor. Anthropic'in browser use aracı (browser_toolset_20260801) dokümana göre sayfayla hem yapısı (erişilebilirlik ağacı, öğeler, formlar, sekmeler) hem de ekran görüntüleri üzerinden çalışıyor. OpenAI'ın dokümanı da yalnızca tarayıcıda kalan işler için sayfa metnini ve kontrolleri okuyan bir BrowserToolset, piksel ve fare/klavye için ayrı bir ComputerToolset öneriyor. Pratik kural: tarayıcıda kalıyorsan yapıyı oku, masaüstüne çıkman gerekiyorsa piksele geç.
Kasım 2026 itibarıyla kim ne sunuyor?
Aşağıdakiler sağlayıcıların kendi dokümanlarına dayanıyor. Bir ürünün başarısı hakkında sağlayıcının söylediği, bağımsız bir ölçüm değildir; bunu her yerde ayrıca belirttik.
Geliştiriciler için API araçları
Anthropic: computer use araç seti. Messages API'de {"type": "computer_toolset_20260801"} olarak ekleniyor ve beta başlığı gerektirmiyor. Dokümana göre Claude 5.5 ve sonraki modeller computer use'u bu araç setiyle destekliyor; araç seti screenshot, zoom, left_click, type, key, scroll gibi 17 alt araç veriyor. Daha eski computer_20251124 ve computer_20250124 sürümleri beta başlığıyla önceki modeller için duruyor. Eylemleri senin ortamın yürütüyor; Anthropic, Docker tabanlı bir referans uygulaması yayımlıyor. Araç tanımı isteğe yaklaşık 4.500 girdi token'ı ekliyor; ekran görüntüleri ayrıca görsel girdi olarak ücretlendiriliyor. Tarayıcıda kalan işler için ayrı bir browser use aracı var.
OpenAI: Responses API computer aracı. Responses API'de tools=[{"type": "computer"}] ile kullanılıyor. OpenAI'ın dokümanı üç yol tarif ediyor: SDK'daki ComputerToolset (ekran görüntüsü ve fare/klavye), BrowserToolset (sayfa metni, kontroller ve sekmeler) ve OpenAI'ın barındırdığı bir tarayıcı için ayrı bir Agents API rehberi. Modelin Playwright ya da PyAutoGUI ile arayüzü süren kod yazdığı bir "code execution" yolu da anlatılıyor. Browserbase, Browser Use, Daytona ve E2B gibi barındırılan ortamlarla entegrasyonlar listelenmiş. API, bazı durumlarda devam etmeden önce onaylanması gereken safety check'ler dönebiliyor.
Google: Gemini API computer_use aracı. Google, Ekim 2025'te Gemini 2.5 Computer Use modelini duyurdu. Kasım 2026'daki dokümana göre araç {"type": "computer_use", "environment": "browser"} şeklinde ekleniyor ve tarayıcı, mobil ve masaüstü ortamlarını destekliyor. Desteklenen modeller arasında gemini-4-argon ve dokümanın computer use için önerdiği gemini-3.8-flash var. Model eylemle birlikte require_confirmation değerli bir safety_decision dönebiliyor; bu durumda uygulamanın kullanıcıya sorması gerekiyor. Ekran görüntülerinde gizli talimat arayan isteğe bağlı bir prompt injection taraması da var. Google'ın Docker tabanlı bir referans uygulaması bulunuyor.
Son kullanıcı ürünleri: tarayıcı içindeki ajanlar
- Claude in Chrome (Anthropic): Anthropic'in yardım merkezine göre ücretli planlarda (Pro, Max, Ultra, Team, Enterprise) Chrome yan panelinde, Claude Cowork'te ve Claude Code'da kullanılabiliyor. Yetişkin içerik ve korsan içerik gibi yüksek riskli site kategorilerine erişemiyor, finans sitelerine girmeden önce izin istiyor. Anthropic aynı sayfada güvenlik sınıflandırıcılarına rağmen kullanımın "hâlâ riskli" olduğunu yazıyor.
- Gemini in Chrome, auto browse (Google): Google Ocak 2026'da duyurdu; ABD'de AI Pro ve Ultra abonelerine önizleme olarak açıldı. Chrome yardım sayfasına göre görevi başlatmadan, mesaj göndermeden, form göndermeden, veriyi değiştirmeden ve hassas finans ya da sağlık sitelerine girmeden önce onay istemeyi hedefliyor; ödemeyi tamamlamak, şartları kabul etmek ve hesap açmak gibi adımlarda görevi kullanıcıya devrediyor. Aynı sayfa, Gemini'nin hata yapıp izinsiz bir satın alma tamamlayabileceğini de açıkça yazıyor.
- OpenAI: 2025'te tanıtılan ChatGPT agent, OpenAI'ın yardım merkezine göre artık kullanılamıyor; uzun, çok adımlı işler için ChatGPT Work öneriliyor. ChatGPT Atlas tarayıcısı da 9 Ağustos 2026'da emekliye ayrıldı; OpenAI tarayıcı tabanlı ajan özelliklerini ChatGPT'ye ve Codex'e taşıdığını yazıyor. Bu iki bilgiyi OpenAI'ın yardım sayfalarının arama dizini özetlerinden doğruladım; sayfaların tam metnine erişemedim.
API mi, GUI otomasyonu mu?
Computer use, otomasyonun son çaresidir, ilk tercihi değil.
| API / CLI / MCP | Computer use (GUI) | |
|---|---|---|
| Hız | Milisaniyeler | Her adım saniyeler (model çağrısı + ekran görüntüsü) |
| Maliyet | Düşük | Her adımda görsel token ve araç tanımı |
| Güvenilirlik | Deterministik, sürümlü sözleşme | Arayüz değişince kırılır; tıklama kaçabilir |
| Kapsam | Yalnızca API'nin açtığı işlemler | Ekranda yapılabilen her şey |
| Güvenlik yüzeyi | Dar: tanımlı uç noktalar | Geniş: ekrandaki her metin modelin girdisi |
| Denetim | İstek/yanıt log'u | Ekran görüntüsü ve eylem log'u |
Karar sırası basit:
- Resmî bir API, CLI ya da MCP sunucusu var mı? Onu kullan.
- Yalnızca tarayıcıda mı kalıyor ve sayfa yapısı düzgün mü? Erişilebilirlik ağacı / DOM tabanlı bir tarayıcı aracı kullan.
- İkisi de yoksa ya da masaüstü uygulamasıysa piksel tabanlı computer use kullan.
Pratikte karma bir yapı en iyisi: sağlayıcıların dokümanları da computer use'u bash ve metin düzenleme araçlarıyla birlikte tanımlıyor; ajan dosya işini terminalde, yalnızca gereken kısmı arayüzde yapar.
Benchmark'lar: OSWorld ve WebArena ne ölçüyor?
OSWorld (Xie ve diğerleri, Nisan 2024), gerçek bir işletim sistemi içinde çalışan ilk ölçeklenebilir ajan test ortamlarından biri. Ubuntu, Windows ve macOS'u destekliyor; 369 görev içeriyor (Google Drive gerektiren 8 görev hariç 361 görevle de çalıştırılabiliyor). Görevler gerçek web ve masaüstü uygulamalarını, dosya işlemlerini ve birden çok uygulamaya yayılan iş akışlarını kapsıyor. Her görevin bir başlangıç durumu ve sonucu çalıştırarak kontrol eden bir değerlendirme script'i var. Makale yayımlandığında insanlar görevlerin yüzde 72,36'sını çözerken en iyi model yalnızca yüzde 12,24'ünü çözebiliyordu; makaleye göre başlıca sorunlar arayüz öğesini doğru bulmak (GUI grounding) ve işletim bilgisiydi.
28 Temmuz 2025'te proje OSWorld-Verified adıyla güncellendi: topluluğun bildirdiği hatalı görevler düzeltildi ve sonuçlar yeniden toplandı. Proje sitesi, yeni sonuçlarla karşılaştırma yapılmasını istiyor; yani eski ve yeni sayılar doğrudan kıyaslanamaz. Resmî tablo, sonuçları projenin kendi tarafında ajan kodunu çalıştırarak doğruladığını yazıyor.
OSWorld-Verified tablosunda 8 Kasım 2026'da gördüğüm en yüksek sonuçlar (100 adım sınırıyla):
| Sistem | Kuruluş | Tür | Tarih | Başarı |
|---|---|---|---|---|
| Intelligence-Indeed Agent | Intelligence Indeed | Ajan çerçevesi | 25 Temmuz 2026 | %90,19 |
| claude-fable-5 | Anthropic | Genel model | 1 Ağustos 2026 | %85,96 |
| claude-opus-5 | Anthropic | Genel model | 1 Ağustos 2026 | %83,39 |
Bu tabloyu okurken üç şeye dikkat et. Birincisi, "ajan çerçevesi" satırları bir modelin etrafına kurulmuş ek planlama ve araç katmanlarıyla çalışıyor; "genel model" satırlarıyla aynı şeyi ölçmüyor. İkincisi, makaledeki yüzde 72,36'lık insan sonucu orijinal görev setine ait; Verified sürümü için yeniden ölçülmüş bir insan sonucu görmedim, o yüzden "ajanlar insanı geçti" demek bu veriden çıkmıyor. Üçüncüsü, sağlayıcıların duyurularındaki OSWorld sayıları farklı adım sınırları ve kurulumlarla verilebiliyor; yalnızca aynı tablo ve aynı ayarlar karşılaştırılabilir.
WebArena (Zhou ve diğerleri, Temmuz 2023), web ajanları için gerçekçi ve tekrarlanabilir bir ortam. Dört alanda tam işlevli siteler barındırıyor: e-ticaret, sosyal forum, ortak yazılım geliştirme ve içerik yönetimi; harita gibi araçlar ve kullanım kılavuzu gibi bilgi kaynakları da var. Görevler uzun soluklu ve sonucun işlevsel doğruluğu üzerinden puanlanıyor. Makaledeki en iyi GPT-4 tabanlı ajan yüzde 14,41 başarıya ulaşırken insan performansı yüzde 78,24'tü. WebArena için güncel bir resmî sonuç tablosunu doğrulayamadım; bu yüzden burada yeni sayı vermiyorum.
Benchmark'ların genel sınırları için Benchmark ve Evals sayfalarına bak. Kısaca: kendi iş akışını, kendi ortamında, kendi başarı ölçütünle test etmeden bir tablodaki sayıya güvenme.
Güvenlik: prompt injection, sandbox ve onay
Computer use'un güvenlik problemi, ajanın okuduğu her şeyin potansiyel bir talimat olması. Anthropic'in dokümanı bunu açıkça yazıyor: bazı durumlarda Claude, içerikte bulduğu komutları senin talimatınla çelişseler bile uygulayabiliyor; web sayfalarındaki ya da görsellerdeki talimatlar seninkini geçersiz kılabiliyor. Bu bir prompt injection saldırısıdır ve ekran tabanlı ajanlarda yüzeyi çok geniştir: her web sayfası, her e-posta, her reklam.
Sağlayıcıların önerileri neredeyse aynı:
- Yalıtılmış ortam: Anthropic en az yetkiyle çalışan ayrı bir sanal makine ya da konteyner öneriyor. OpenAI temiz bir tarayıcı profili ya da yalıtılmış masaüstü, Google sandbox'lı bir VM ya da konteyner istiyor. Ayrıntılar için Agent Sandbox.
- Hassas veriden uzak tut: Hesap bilgilerini ve hassas verileri ajana verme. OpenAI'ın dokümanı kimlik bilgilerini sayfa metninden ve ekran görüntülerinden uzak tutmayı söylüyor.
- Ağı daralt: İnternet erişimini izinli alan adlarıyla sınırla.
- Ekran içeriği güvenilmezdir: OpenAI'ın ifadesiyle sayfadaki, belgedeki ya da araç sonucundaki metin izin veremez ve kullanıcının talimatını geçersiz kılamaz.
- Kritik eylemde insan onayı: Satın alma, veri gönderme, geri dönüşü zor değişiklikler, şartları kabul etme, çerez onayı. OpenAI hassas bir bilgiyi forma yazmayı da "gönderim" sayıyor. Bu, human-in-the-loop ilkesinin en somut uygulaması. Ajanın ödeme yapması gerekiyorsa Agent Payments sayfasına bak.
- Sınırla ve doğrula: Adım, süre ya da maliyet sınırı koy, iptal edilebilir olsun ve sonucu modelin son cevabından değil ortamın gerçek durumundan kontrol et.
Sağlayıcı tarafındaki ek katmanlar: Anthropic, computer use araç sonuçlarını (ekran görüntüleri dahil) otomatik tarayan ve olası bir injection'da modeli talimatın gerçekten senden gelip gelmediğini kontrol etmeye yönlendiren sınıflandırıcılar kullanıyor. Google, model dışında her eylemi yürütülmeden önce değerlendiren bir adım bazlı güvenlik servisi ve isteğe bağlı ekran görüntüsü taraması sunuyor. OpenAI'ın API'si devam etmeden önce onay gerektiren safety check'ler dönebiliyor. Bunların hiçbiri tam koruma değil; sağlayıcıların kendi dokümanları da bunu söylüyor. Asıl savunma senin ortamın ve onay kapıların.
Nerede iyi çalışır, nerede kötü?
Aşağıdakiler sağlayıcıların dokümanlarındaki sınırlamalara ve genel ilkelere dayanıyor; kendi ölçümüm değil.
İyi çalıştığı yerler
- API'si olmayan, arayüzü sık değişmeyen eski web portalları ve iç araçlar.
- Kısa, iyi tanımlanmış, sonucu kontrol edilebilir görevler: "şu formu şu verilerle doldur", "şu tarih aralığındaki raporları indir".
- Web uygulamalarında kullanıcı akışı testleri (OpenAI ve Google dokümanları bunu açıkça örnek veriyor).
- İnsanın yanında izlediği araştırma ve veri toplama işleri.
Kötü çalıştığı yerler
- Gecikme ve maliyet: Her adım bir model çağrısı ve bir ekran görüntüsü; yüksek hacimli işler için uygun değil.
- Küçük ya da yoğun arayüzler: Anthropic'in dokümanı tıklamaların kaçmasının yaygın nedenlerini sıralıyor: ölçeklenmemiş koordinatlar, 4K ekranlardan küçültmede kaybolan ayrıntı, birbirine benzeyen öğeler. Doğruluk sürekli düşükse başlangıç olarak 1280x720 çözünürlüğü öneriyor.
- Kaydırma, elektronik tablolar, niş uygulamalar: Anthropic kaydırmanın bazı uygulamalarda etkisiz kalabildiğini, niş ya da aynı anda birden çok uygulamada güvenilirliğin düştüğünü yazıyor.
- Hesap açma ve sosyal medyada içerik paylaşma: Anthropic bu konuda Claude'un yeteneklerinin sınırlı olduğunu belirtiyor.
- CAPTCHA'lar: Google, CAPTCHA aşmayı geliştiricilerin engelleyebileceği yüksek riskli eylemler arasında sayıyor.
- Kusursuzluk ya da hassas veri gerektiren işler: Anthropic, kusursuz hassasiyet ya da hassas kullanıcı bilgisi gerektiren görevlerde Claude'u insan gözetimi olmadan kullanmamayı söylüyor.
Minimal güvenli kurulum
Kendi computer use ajanını çalıştıracaksan başlangıç için asgari kontrol listesi:
- Ortam: Sağlayıcının Docker referans uygulamasıyla ya da ayrı bir VM ile başla. Kendi günlük bilgisayarını ve kendi tarayıcı profilini kullanma.
- Hesap: Ortamda yalnızca bu görev için açılmış, en az yetkili hesaplar olsun. Giriş adımını mümkünse kendin yap; şifreyi istemde gönderme.
- Ağ: Giden trafiği görevin ihtiyaç duyduğu alan adlarıyla sınırla.
- Onay kapısı: Satın alma, gönderme, silme, şartları kabul etme ve form gönderme eylemlerini yürütücü kodunda yakala ve insana sor. Modelin "onay iste" sinyali ek bir katman, yerine geçen değil.
- Sınırlar: Maksimum adım, süre ve maliyet belirle; bir "durdur" düğmesi olsun.
- Log: Her adımın ekran görüntüsünü ve eylemini kaydet; sonradan neyin neden yapıldığını görebilmelisin.
- Doğrulama: Görevin bitip bitmediğini ortamın son durumundan (dosya, kayıt, sayfa) kontrol eden bir adım ekle.
Yürütücü tarafında onay kapısının fikri kabaca şöyle (Anthropic'in araç seti alt araç adlarıyla, sözde kod):
RISKY_WORDS = ("satın al", "öde", "gönder", "sil", "kabul", "buy", "pay", "send", "delete", "accept")
def run_action(name, args, last_screenshot_text):
# Ekrandaki metin talimat değil; yalnızca kullanıcının görevi talimattır.
if name in ("left_click", "key") and any(w in last_screenshot_text.lower() for w in RISKY_WORDS):
if not ask_human(f"Ajan şunu yapmak istiyor: {name} {args}. Onaylıyor musun?"):
return "Not executed: the user declined this action."
return execute_in_vm(name, args)Bu kaba bir sezgisel kural; asıl işi, eylemi uygulama düzeyinde (hangi alan adı, hangi düğme, hangi form) tanıyan bir politika yapar. Ama sezgisel bile olsa onay kapısının modelin dışında, senin kodunda olması gerekir.
Devamı için
- Computer Use ve Vibe Coding: kısa tanımlar.
- AI Agent, Agent Loop ve Function Calling: computer use'un üzerine kurulduğu temel.
- Agent Sandbox, Prompt Injection ve Human-in-the-loop: güvenli kurulumun üç ayağı.
- Kodlama Ajanları Karşılaştırması: aynı izin ve sandbox mantığının kod tarafı.
- Ajan Protokolleri ve LLM Değerlendirme ve Gözlemlenebilirlik: ajanları birbirine bağlamak ve ölçmek.
Kaynaklar
- Anthropic — Computer use tool: https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool
- Anthropic — Browser use tool: https://platform.claude.com/docs/en/agents-and-tools/tool-use/browser-use-tool
- Anthropic — Computer use referans uygulaması: https://github.com/anthropics/claude-quickstarts/tree/main/computer-use-demo
- Anthropic Yardım Merkezi — Get started with Claude in Chrome: https://support.claude.com/en/articles/12012173-getting-started-with-claude-in-chrome
- Anthropic Yardım Merkezi — Use Claude in Chrome safely: https://support.claude.com/en/articles/12902428-using-claude-in-chrome-safely
- OpenAI — Computer use (API rehberi): https://developers.openai.com/api/docs/guides/tools-computer-use
- OpenAI Yardım Merkezi — ChatGPT agent: https://help.openai.com/en/articles/11752874-chatgpt-agent
- OpenAI Yardım Merkezi — Evolving Atlas into ChatGPT for browser-based agentic work: https://help.openai.com/en/articles/20001371-evolving-atlas-into-chatgpt-for-browser-based-agentic-work
- Google — Gemini API Computer use: https://ai.google.dev/gemini-api/docs/computer-use
- Google — Introducing the Gemini 2.5 Computer Use model (7 Ekim 2025): https://blog.google/technology/google-deepmind/gemini-computer-use-model/
- Google — Computer use referans uygulaması: https://github.com/google/computer-use-preview/
- Google — Chrome gets new Gemini 3 features, including auto browse (Ocak 2026): https://blog.google/products-and-platforms/products/chrome/gemini-3-auto-browse/
- Google Chrome Yardım — Ask Gemini in Chrome to complete tasks for you with auto browse: https://support.google.com/chrome/answer/16821166
- Xie, T. ve diğerleri — "OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments", 2024. https://arxiv.org/abs/2404.07972
- OSWorld proje sitesi ve OSWorld-Verified sonuç tablosu: https://os-world.github.io/
- Zhou, S. ve diğerleri — "WebArena: A Realistic Web Environment for Building Autonomous Agents", 2023. https://arxiv.org/abs/2307.13854
Sık sorulan sorular
Computer use nedir?
Computer use, bir modelin ekran görüntüsüne bakıp tıklama, yazma ve kaydırma gibi fare/klavye eylemleri önerdiği, senin uygulamanın bu eylemleri bir sanal makinede ya da tarayıcıda yürütüp yeni ekran görüntüsünü geri verdiği bir ajan döngüsüdür. Model ekrana kendisi dokunmaz; eylemi yürüten senin kodundur.
Computer use ile normal API otomasyonu arasındaki fark ne?
API otomasyonu bir servisin programatik arayüzüyle konuşur; hızlı, ucuz ve deterministiktir. Computer use ise insan için yapılmış grafik arayüzü kullanır; API'si olmayan uygulamalarda işe yarar ama her adım bir model çağrısı ve ekran görüntüsü olduğu için daha yavaş, daha pahalı ve daha kırılgandır. Resmî bir API, CLI ya da MCP sunucusu varsa önce onu kullan.
Hangi sağlayıcıların computer use aracı var?
Kasım 2026 itibarıyla Anthropic Messages API'de computer_toolset_20260801 araç setini, OpenAI Responses API'de computer aracını, Google da Gemini API'de computer_use aracını sunuyor. Üçünde de eylemleri senin kontrol ettiğin bir ortam yürütüyor. Tarayıcı içinde kalan işler için Anthropic'in browser use aracı ve OpenAI'ın BrowserToolset'i sayfayı erişilebilirlik ağacıyla da okuyabiliyor.
ChatGPT agent ve Atlas hâlâ var mı?
OpenAI'ın yardım merkezine göre ChatGPT agent artık kullanılamıyor; uzun, çok adımlı işler için ChatGPT Work öneriliyor. Atlas tarayıcısı da 9 Ağustos 2026'da emekliye ayrıldı ve tarayıcı tabanlı ajan özellikleri ChatGPT ile Codex'e taşınıyor.
Computer use ajanları ne kadar başarılı?
OSWorld makalesi (Nisan 2024) yayımlandığında en iyi model görevlerin yüzde 12,24'ünü, insanlar ise yüzde 72,36'sını çözüyordu. OSWorld-Verified resmî tablosunda 8 Kasım 2026'da en üst sırada, 25 Temmuz 2026 tarihli ve yüzde 90,19 başarı bildiren bir ajan çerçevesi var. Bu sayılar kontrollü bir test ortamına ait; kendi işinde aynı başarıyı garanti etmez.
Computer use güvenli mi?
Kendi başına değil. En büyük risk prompt injection: model ekrandaki her yazıyı okur ve bir web sayfasındaki gizli talimatı uygulayabilir. Sağlayıcıların hepsi ajanı yalıtılmış bir VM ya da konteynerde çalıştırmayı, ağı izinli alan adlarıyla sınırlamayı, hassas verileri ajandan uzak tutmayı ve satın alma, gönderme, silme gibi eylemlerden önce insan onayı almayı öneriyor.
Ajana şifremi vermeli miyim?
Mümkünse hayır. Giriş adımını kendin yap ya da tarayıcının devralma (take over) özelliğini kullan; ajanın çalıştığı ortamda yalnızca o görev için açılmış, en az yetkili bir hesap bulunsun. Anthropic dokümanı da girişli uygulamalarda computer use kullanmanın prompt injection riskini artırdığını yazıyor.