Projekt: KI-Agent mit ESP32-Board und ESP-Claw
Ein ESP32-Board vereint verschiedene Hardware-Komponenten auf einer Platine und eignet sich um Maker-Projekte zu programmieren und umzusetzen.
ESP-Claw ist eine Firmware für ESP32-Mikrocontroller von Espressif, mit der man einen KI-Agenten auf einem ESP32-Board betreiben kann, mit man das Board ohne Programmierkenntnisse steuern kann. Dazu musst du nur die Firmware auf den Mikrocontroller schreiben, mit dem WLAN verbinden, eine LLM-API verknüpfen und schon kannst du innerhalb weniger Minuten mit dem KI-Agenten auf dem Board interagieren.
Die Steuerung erfolgt mit natürlicher Sprache über eine Chat-App wie zum Beispiel Telegram. Geräte wie der Unihiker K10 lassen sich so mit Textnachrichten bedienen, als würde man mit einer Person schreiben. Dadurch wird Programmieren praktisch überflüssig: Statt Programmcode zu schreiben, formulierst du deine Kommandos und Anweisungen einfach in Worten.
Voraussetzungen
Um ESP-Claw sinnvoll einsetzen zu können, empfiehlt es sich folgende minimalen Voraussetzungen zu erfüllen:
Mikrocontroller-Board: Mit einem ESP32-S3, ESP32-P4 oder ESP32-C4 mit 8 MByte PSRAM und 8 MByte Flash-Speicher. Tipp: Bei Aliexpress gibt es ESP32-Boards mit Display auf denen die ESP-Claw-Firmware schon drauf ist, für etwa 25 Euro. Beispielsweise das Board vom Typ NM-CYD-C5.
Browser zur Installation: Google Chrome oder Microsoft Edge für die Unterstützung für Web-Flashing.
WLAN mit Internet-Zugang: Zugangsdaten für ein WLAN (SSID/Name und Passwort).
LLM-Account mit API-Key (in der Regel kostenpflichtig): OpenAI, Alibaba Bailian, Anthropic oder DeepSeek. LLM-Model mit starkem Reasoning (in der Regel die neuste Version).
Chat-App auf dem Smartphone: Zum Beispiel Telegram mit Bot-Token (empfehlenswert).
Telegram-Bot erstellen
Grundsätzlich kann man ESP-Claw auch über den integrierten Web-Chat steuern. Das funktioniert aber nur, wenn man sich im selben WLAN befindet.
Die Steuerung mit der Telegram-App ist die bevorzugte Lösung. Damit kann man das System von überall her erreichen. Dazu muss nur ein Telegram-Bot erstellt werden.
- Suche im Chat nach BotFather (blaues Verifikationssymbol sollte vorhanden sein).
- Beginne dann einen neuen Chat mit /newbot. Folge den Anweisungen für einen Bot-Namen (später änderbar) und einen einzigartigen Benutzernamen (nicht änderbar) für den Bot. Danach erhältst Du ein API-Token.
- Das API-Token brauchst du später bei der Ersteinrichtung. Diese Kennung solltest du außerhalb von Telegram notieren und nicht an andere Nutzer weitergeben. Der Token ermöglicht jedem den Zugriff auf diesen Bot.
Installation von ESP-Claw auf einem ESP32-Board
Der Hersteller des ESP32-Boards wird in der Regel einen Web-Flasher anbieten, mit dem man unterschiedliche Firmware auf das Board laden kann. Eventuell ist die ESP-Claw-Firmware auf dem Board drauf.
Ersteinrichtung
Nach erfolgreicher Installation der ESP-Claw-Firmware erfolgt die Ersteinrichtung mit dem Wi-Fi-Setup. Hier muss man die Zugangsdaten für das eigene WLAN eingeben (SSID/WLAN-Name und Passwort).
Nach erfolgreichem Wi-Fi-Setup bekommt man eine URL angezeigt, die man im Browser aufrufen kann.
Ab hier führt man die Ersteinrichtung weiter fort:
- LLM mit Modell und API-Key (zwingend)
- Websuche mit Tavily API (optional)
- API-Token für den Telegram-Bot (optional, aber empfehlenswert)
Danach ist die Ersteinrichtung abgeschlossen und man kann loslegen.
Hinweis: Nach der Ersteinrichtung findet ein Neustart statt. Dabei geht die Verbindung verloren und muss ggf. erneuert werden.
Steuerung und Kommunikation ohne Telegram
Grundsätzlich ist die Kommunikation mit ESP-Claw mit einer Chat-App wie Telegram zu empfehlen. Wer Telegram nicht hat und auch nicht will, der kann über die integrierte Webseite von ESP-Claw kommunizieren.
Im Browser öffnen: http://esp-claw.local/ oder http://IP-ADRESSSE/
Erste Interaktionen
Die Kommunikation mit ESP-Claw auf dem ESP32-Board erfolgt über den integrierten Web-Chat oder Telegram.
Die Frage ist, was kann man jetzt damit machen? Die Frage ist berechtigt, denn die erste Interaktion ist ein wenig befremdlich. Die Steuerung erfolgt in natürlicher Sprache. Versuche beispielsweise folgende Anweisungen im Chat:
- Was kann ich mit Dir machen?
- Mache ein Foto mit deiner Kamera.
- Schalte deine LED ein.
- Lass den LED-Strip in Regenbogenfarben leuchten.
- Schalte den LED-Strip aus.
- Welche IP-Adresse hast Du?
- Schreibe Hallo auf dem Display.
- Setze das Display zurück.
Hinweis: ESP-Claw bezieht den Chat-Verlauf als Historie mit in die Kommunikation mit der LLM-API mit ein. Das kann bei der Interpretation des Nutzerwillens hinderlich sein. Mit „/new“ kann man eine neue Session starten und der vorherige Chat-Verlauf bleibt außen vor.