Claude von der CLI aus Ihren Computer nutzen lassen
Aktivieren Sie die Computernutzung in der Claude Code CLI, damit Claude Apps öffnen, klicken, tippen und Ihren Bildschirm auf macOS sehen kann. Testen Sie native Apps, debuggen Sie visuelle Probleme und automatisieren Sie GUI-only-Tools, ohne Ihr Terminal zu verlassen.
Die Computernutzung ermöglicht es Claude, Apps zu öffnen, Ihren Bildschirm zu steuern und auf Ihrem Computer so zu arbeiten, wie Sie es tun würden. Von der CLI aus kann Claude eine Swift-App kompilieren, sie starten, jeden Button durchklicken und das Ergebnis screenshooten – alles in derselben Konversation, in der es den Code geschrieben hat.
Diese Seite behandelt, wie die Computernutzung in der CLI funktioniert. Für die Desktop-App siehe Computernutzung in Desktop.
Was Sie mit der Computernutzung tun können
Die Computernutzung bewältigt Aufgaben, die eine GUI erfordern: alles, was Sie normalerweise das Terminal verlassen und von Hand tun müssten.
- Native Apps erstellen und validieren: Bitten Sie Claude, eine macOS-Menüleisten-App zu erstellen. Claude schreibt Swift, kompiliert es, startet die App und klickt jeden Control durch, um zu überprüfen, dass es funktioniert, bevor Sie es jemals öffnen.
- End-to-End-UI-Tests: Zeigen Sie Claude eine lokale Electron-App und sagen Sie „teste den Onboarding-Flow." Claude öffnet die App, klickt sich durch die Anmeldung und macht einen Screenshot von jedem Schritt. Keine Playwright-Konfiguration, kein Test-Harness.
- Visuelle und Layout-Probleme debuggen: Sagen Sie Claude „das Modal wird bei kleinen Fenstern abgeschnitten." Claude ändert die Fenstergröße, reproduziert den Bug, macht einen Screenshot, patcht das CSS und überprüft die Korrektur. Claude sieht, was Sie sehen.
- GUI-only-Tools steuern: Interagieren Sie mit Design-Tools, Hardware-Kontrollpanelen, dem iOS Simulator oder proprietären Apps, die keine CLI oder API haben.
Wann die Computernutzung angewendet wird
Claude hat mehrere Möglichkeiten, mit einer App oder einem Service zu interagieren. Die Computernutzung ist die breiteste und langsamste, daher versucht Claude zuerst das präziseste Tool:
- Wenn Sie einen MCP-Server für den Service haben, verwendet Claude diesen.
- Wenn die Aufgabe ein Shell-Befehl ist, verwendet Claude Bash.
- Wenn die Aufgabe Browser-Arbeit ist und Sie Claude in Chrome eingerichtet haben, verwendet Claude das.
- Wenn keine dieser Optionen zutrifft, verwendet Claude die Computernutzung.
Die Bildschirmsteuerung ist für Dinge reserviert, die nichts anderes erreichen kann: native Apps, Simulatoren und Tools ohne API.
Computernutzung aktivieren
Die Computernutzung ist als integrierter MCP-Server namens computer-use verfügbar. Sie ist standardmäßig deaktiviert, bis Sie sie aktivieren.
Öffnen Sie das MCP-Menü
Führen Sie in einer interaktiven Claude Code-Sitzung Folgendes aus:
/mcp
Finden Sie computer-use in der Serverliste. Es wird als deaktiviert angezeigt.
Aktivieren Sie den Server
Wählen Sie computer-use und wählen Sie Aktivieren. Die Einstellung bleibt pro Projekt bestehen, daher müssen Sie dies nur einmal für jedes Projekt tun, in dem Sie die Computernutzung möchten.
Gewähren Sie macOS-Berechtigungen
Wenn Claude Ihren Computer zum ersten Mal nutzen möchte, sehen Sie eine Aufforderung, zwei macOS-Berechtigungen zu gewähren:
- Barrierefreiheit: ermöglicht Claude zu klicken, zu tippen und zu scrollen
- Bildschirmaufzeichnung: ermöglicht Claude zu sehen, was auf Ihrem Bildschirm angezeigt wird
Die Aufforderung enthält Links zum Öffnen des relevanten System-Einstellungsbereichs. Gewähren Sie beide, wählen Sie dann Erneut versuchen in der Aufforderung. macOS erfordert möglicherweise, dass Sie Claude Code nach dem Gewähren der Bildschirmaufzeichnung neu starten.
Nach der Einrichtung bitten Sie Claude, etwas zu tun, das die GUI benötigt:
Erstellen Sie das App-Ziel, starten Sie es und klicken Sie durch jeden Tab, um
sicherzustellen, dass nichts abstürzt. Machen Sie einen Screenshot von Fehlerzuständen, die Sie finden.
Genehmigen Sie Apps pro Sitzung
Das Aktivieren des computer-use-Servers gewährt Claude nicht automatisch Zugriff auf jede App auf Ihrem Computer. Wenn Claude eine bestimmte App zum ersten Mal in einer Sitzung benötigt, erscheint eine Aufforderung in Ihrem Terminal mit:
- Welche Apps Claude steuern möchte
- Alle zusätzlichen angeforderten Berechtigungen, wie z. B. Zwischenablage-Zugriff
- Wie viele andere Apps ausgeblendet werden, während Claude arbeitet
Wählen Sie Für diese Sitzung zulassen oder Ablehnen. Genehmigungen gelten für die aktuelle Sitzung. Sie können mehrere Apps auf einmal genehmigen, wenn Claude sie zusammen anfordert.
Apps mit großer Reichweite zeigen eine zusätzliche Warnung in der Aufforderung, damit Sie wissen, welche Zugriffe das Genehmigen gewährt:
| Warnung | Gilt für |
|---|---|
| Gleichbedeutend mit Shell-Zugriff | Terminal, iTerm, VS Code, Warp und andere Terminals und IDEs |
| Kann jede Datei lesen oder schreiben | Finder |
| Kann Systemeinstellungen ändern | Systemeinstellungen |
Diese Apps sind nicht blockiert. Die Warnung hilft Ihnen zu entscheiden, ob die Aufgabe dieses Zugriffsniveau rechtfertigt.
Claudes Kontrollebene variiert auch je nach App-Kategorie: Browser und Handelsplattformen sind nur zum Anschauen, Terminals und IDEs sind nur zum Klicken und alles andere erhält vollständige Kontrolle. Siehe App-Berechtigungen in Desktop für die vollständige Tier-Aufschlüsselung.
Wie Claude auf Ihrem Bildschirm arbeitet
Das Verständnis des Ablaufs hilft Ihnen zu antizipieren, was Claude tun wird und wie Sie eingreifen können.
Eine Sitzung auf einmal
Die Computernutzung hält eine maschinenweite Sperre, während sie aktiv ist. Wenn eine andere Claude Code-Sitzung bereits Ihren Computer nutzt, schlagen neue Versuche mit einer Nachricht fehl, die Ihnen mitteilt, welche Sitzung die Sperre hält. Beenden oder beenden Sie diese Sitzung zuerst.
Apps werden ausgeblendet, während Claude arbeitet
Wenn Claude beginnt, Ihren Bildschirm zu steuern, werden andere sichtbare Apps ausgeblendet, damit Claude nur mit den genehmigten Apps interagiert. Ihr Terminal-Fenster bleibt sichtbar und ist von Screenshots ausgeschlossen, daher können Sie die Sitzung beobachten und Claude sieht seine eigene Ausgabe nie.
Wenn Claude die Runde beendet, werden ausgeblendete Apps automatisch wiederhergestellt.
Jederzeit stoppen
Wenn Claude die Sperre erhält, erscheint eine macOS-Benachrichtigung: 'Claude nutzt Ihren Computer · drücken Sie Esc zum Stoppen." Drücken Sie Esc überall, um die aktuelle Aktion sofort abzubrechen, oder drücken Sie Ctrl+C im Terminal. In beiden Fällen gibt Claude die Sperre frei, blendet Ihre Apps wieder ein und gibt Ihnen die Kontrolle zurück.
Eine zweite Benachrichtigung erscheint, wenn Claude fertig ist.
Sicherheit und die Vertrauensgrenze
Die integrierten Schutzvorrichtungen reduzieren das Risiko ohne Konfiguration:
- Pro-App-Genehmigung: Claude kann nur Apps steuern, die Sie in der aktuellen Sitzung genehmigt haben.
- Sentinel-Warnungen: Apps, die Shell-, Dateisystem- oder Systemeinstellungszugriff gewähren, werden gekennzeichnet, bevor Sie sie genehmigen.
- Terminal ausgeschlossen von Screenshots: Claude sieht Ihr Terminal-Fenster nie, daher können On-Screen-Aufforderungen in Ihrer Sitzung nicht in das Modell zurückfließen.
- Globales Escape: Die
Esc-Taste bricht die Computernutzung von überall ab, und der Tastendruck wird verbraucht, daher kann Prompt-Injection ihn nicht zum Schließen von Dialogen verwenden. - Sperrdatei: Nur eine Sitzung kann Ihren Computer auf einmal steuern.
Beispiel-Workflows
Diese Beispiele zeigen häufige Möglichkeiten, die Computernutzung mit Coding-Aufgaben zu kombinieren.
Einen nativen Build validieren
Nach Änderungen an einer macOS- oder iOS-App lassen Sie Claude in einem Durchgang kompilieren und überprüfen:
Erstellen Sie das MenuBarStats-Ziel, starten Sie es, öffnen Sie das Einstellungsfenster,
und überprüfen Sie, dass der Interval-Schieberegler das Label aktualisiert. Machen Sie einen Screenshot des
Einstellungsfensters, wenn Sie fertig sind.
Claude führt xcodebuild aus, startet die App, interagiert mit der UI und berichtet, was es findet.
Einen Layout-Bug reproduzieren
Wenn ein visueller Bug nur bei bestimmten Fenstergrößen auftritt, lassen Sie Claude ihn finden:
Das Einstellungsmodal schneidet seine Fußzeile bei schmalen Fenstern ab. Ändern Sie die Größe des App-Fensters,
bis Sie es reproduzieren können, machen Sie einen Screenshot des abgeschnittenen Zustands,
überprüfen Sie dann das CSS für den Modal-Container.
Claude ändert die Fenstergröße, erfasst den fehlerhaften Zustand und liest die relevanten Stylesheets.
Einen Simulator-Flow testen
Steuern Sie den iOS Simulator, ohne XCTest zu schreiben:
Öffnen Sie den iOS Simulator, starten Sie die App, tippen Sie sich durch die Onboarding-Bildschirme,
und sagen Sie mir, ob ein Bildschirm länger als eine Sekunde zum Laden braucht.
Claude steuert den Simulator auf die gleiche Weise wie Sie mit einer Maus.
Unterschiede zur Desktop-App
Die CLI- und Desktop-Oberflächen teilen sich die gleiche Computernutzungs-Engine. Ein paar Desktop-spezifische Steuerelemente sind noch nicht in der CLI:
| Funktion | Desktop | CLI |
|---|---|---|
| Aktivieren | Umschalter in Einstellungen > Allgemein (unter Desktop-App) | Aktivieren Sie computer-use in /mcp |
| Liste abgelehnter Apps | Konfigurierbar in Einstellungen | Noch nicht verfügbar |
| Auto-Unhide-Umschalter | Optional | Immer aktiviert |
| Dispatch-Integration | Von Dispatch gestartete Sitzungen können Computernutzung verwenden | Nicht anwendbar |
Fehlerbehebung
„Computernutzung wird von einer anderen Claude-Sitzung verwendet"
Eine andere Claude Code-Sitzung hält die Sperre. Beenden Sie die Aufgabe in dieser Sitzung oder beenden Sie sie. Wenn die andere Sitzung abgestürzt ist, wird die Sperre automatisch freigegeben, wenn Claude erkennt, dass der Prozess nicht mehr ausgeführt wird.
macOS-Berechtigungsaufforderung erscheint immer wieder
macOS erfordert manchmal einen Neustart des anfordernden Prozesses, nachdem Sie die Bildschirmaufzeichnung gewähren. Beenden Sie Claude Code vollständig und starten Sie eine neue Sitzung. Wenn die Aufforderung weiterhin angezeigt wird, öffnen Sie Systemeinstellungen > Datenschutz & Sicherheit > Bildschirmaufzeichnung und bestätigen Sie, dass Ihre Terminal-App aufgelistet und aktiviert ist.
computer-use erscheint nicht in /mcp
Der Server erscheint nur auf berechtigten Setups. Überprüfen Sie, dass:
- Sie auf macOS sind. Die Computernutzung ist nicht auf Linux oder Windows verfügbar.
- Sie Claude Code v2.1.85 oder später ausführen. Führen Sie
claude --versionaus, um zu überprüfen. - Sie einen Pro- oder Max-Plan haben. Führen Sie
/statusaus, um Ihr Abonnement zu bestätigen. - Sie sich über claude.ai authentifiziert haben. Die Computernutzung ist nicht mit Drittanbieter-Providern wie Amazon Bedrock, Google Cloud Vertex AI oder Microsoft Foundry verfügbar. Wenn Sie Claude ausschließlich über einen Drittanbieter-Provider nutzen, benötigen Sie ein separates claude.ai-Konto, um diese Funktion zu nutzen.
- Sie sind in einer interaktiven Sitzung. Die Computernutzung ist nicht im nicht-interaktiven Modus mit dem Flag
-pverfügbar.
Siehe auch
- Computernutzung in Desktop: die gleiche Funktion mit einer grafischen Einstellungsseite
- Claude in Chrome: Browser-Automatisierung für webbasierte Aufgaben
- MCP: Verbinden Sie Claude mit strukturierten Tools und APIs
- Sandboxing: wie Claudes Bash-Tool Dateisystem- und Netzwerkzugriff isoliert
- Sicherheitsleitfaden für Computernutzung: Best Practices für sichere Computernutzung