Projekt: KI-Agent mit ESP32-Board und ESP-Claw
Der Unihiker K10 ist ein Mikrocontroller-Board mit ESP32 für Maker-Projekte, der einen Bildschirm, eine Kamera, Mikrofone, Lautsprecher und verschiedene Sensoren direkt auf einer Platine vereint.
ESP-Claw ist eine Firmware für ESP32-Mikrocontroller von Espressif, mit der man einen KI-Agenten auf einem ESP32-Board betreiben kann, mit man das Board ohne Programmierkenntnisse steuern kann. Dazu musst du nur die Firmware auf den Mikrocontroller schreiben, mit dem WLAN verbinden, eine LLM-API verknüpfen und schon kannst du innerhalb weniger Minuten mit dem KI-Agenten auf dem Board interagieren.
Die Steuerung erfolgt mit natürlicher Sprache über eine Chat-App wie zum Beispiel Telegram. Geräte wie der Unihiker K10 lassen sich so mit Textnachrichten bedienen, als würde man mit einer Person schreiben. Dadurch wird Programmieren praktisch überflüssig: Statt Programmcode zu schreiben, formulierst du deine Kommandos und Anweisungen einfach in Worten.
Voraussetzungen
Um ESP-Claw sinnvoll einsetzen zu können, empfiehlt es sich folgende minimalen Voraussetzungen zu erfüllen:
Mikrocontroller-Board: Mit einem ESP32-S3, ESP32-P4 oder ESP32-C4 mit 8 MByte PSRAM und 8 MByte Flash-Speicher. Der Unihiker K10 entspricht diesen Vorgaben.
Browser zur Installation: Google Chrome oder Microsoft Edge für die Unterstützung für Web-Flashing.
WLAN mit Internet-Zugang: Zugangsdaten für ein WLAN (SSID/Name und Passwort).
LLM-Account mit API-Key (in der Regel kostenpflichtig): OpenAI, Alibaba Bailian, Anthropic oder DeepSeek. LLM-Model mit starkem Reasoning (in der Regel die neuste Version).
Chat-App auf dem Smartphone: Zum Beispiel Telegram mit Bot-Token (empfehlenswert).
Telegram-Bot erstellen (optional)
Grundsätzlich kann man ESP-Claw auch über den integrierten Web-Chat steuern. Das funktioniert aber nur, wenn man sich im selben WLAN befindet.
Die Steuerung mit der Telegram-App ist die bevorzugte Lösung. Damit kann man das System von überall her erreichen. Dazu muss nur ein Telegram-Bot erstellt werden.
- Suche im Chat nach BotFather (blaues Verifikationssymbol sollte vorhanden sein).
- Beginne dann einen neuen Chat mit /newbot. Folge den Anweisungen für einen Bot-Namen (später änderbar) und einen einzigartigen Benutzernamen (nicht änderbar) für den Bot. Danach erhältst Du ein API-Token.
- Das API-Token brauchst du später bei der Ersteinrichtung. Diese Kennung solltest du außerhalb von Telegram notieren und nicht an andere Nutzer weitergeben. Der Token ermöglicht jedem den Zugriff auf diesen Bot.
Installation von ESP-Claw auf dem Unihiker K10
Für das Web-Flashing von ESP-Claw auf den Unihiker K10 wird der Webbrowser Chrome oder Edge benötigt. Andere Webbrowser werden nicht unterstützt.
Hinweis: Weil sich Software verändern kann, verzichten wir hier auf eine vollständige Installationsanleitung. Es empfiehlt sich die Anleitung von DFRobot zu folgen. Die weiteren Ausführungen sollen nur darstellen, welcher Aufwand zu erwarten ist.
Download & Flash
- Rufe die die ESP-Claw-Flash-Seite auf.
- Halte die „BOOT“-Taste auf der Rückseite des Unihiker K10 gedrückt und verbinde ihn dann über ein USB-Kabel mit dem Computer.
- Stelle dann den Hersteller DFRobot und als Gerät den Unihiker K10 ein.
- Klicke auf Connect und wähle den richtigen Anschluss, mit dem der Unihiker K10 mit dem Computer verbunden ist.
- Starte dann das Flashing.
Hinweis: Nach dem Flashing findet ein Neustart statt. Dabei geht die Verbindung verloren und muss ggf. erneut eingestellt werden.
Ersteinrichtung
Nach erfolgreicher Installation der Firmware erfolgt die Ersteinrichtung mit dem Wi-Fi-Setup. Hier muss man die Zugangsdaten für das eigene WLAN eingeben (SSID/WLAN-Name und Passwort).
Nach erfolgreichem Wi-Fi-Setup bekommt man eine URL angezeigt, die man im Browser aufrufen kann.
Ab hier führt man die Ersteinrichtung weiter fort:
- LLM mit Modell und API-Key (zwingend)
- Websuche mit Tavily API (optional)
- API-Token für den Telegram-Bot (optional, aber empfehlenswert)
Danach ist die Ersteinrichtung abgeschlossen und man kann loslegen.
Hinweis: Nach der Ersteinrichtung findet ein Neustart statt. Dabei geht die Verbindung verloren und muss ggf. erneuert werden.
Steuerung und Kommunikation ohne Telegram
Grundsätzlich ist die Kommunikation mit ESP-Claw mit einer Chat-App wie Telegram zu empfehlen. Wer Telegram nicht hat und auch nicht will, der kann über die integrierte Webseite von ESP-Claw kommunizieren.
Im Browser öffnen: http://esp-claw.local/ oder http://IP-ADRESSSE/
Erste Interaktionen
Die Kommunikation mit ESP-Claw auf dem Unihiker K10 erfolgt über den integrierten Web-Chat oder Telegram.
Die Frage ist, was kann man jetzt damit machen? Die Frage ist berechtigt, denn die erste Interaktion ist ein wenig befremdlich. Die Steuerung erfolgt in natürlicher Sprache. Versuche beispielsweise folgende Anweisungen im Chat:
- Was kann ich mit Dir machen?
- Mache ein Foto mit deiner Kamera.
- Schalte deine LED ein.
- Lass den LED-Strip in Regenbogenfarben leuchten.
- Schalte den LED-Strip aus.
- Welche IP-Adresse hast Du?
- Schreibe Hallo auf dem Display.
- Setze das Display zurück.
Hinweis: ESP-Claw bezieht den Chat-Verlauf als Historie mit in die Kommunikation mit der LLM-API mit ein. Das kann bei der Interpretation des Nutzerwillens hinderlich sein. Mit „/new“ kann man eine neue Session starten und der vorherige Chat-Verlauf bleibt außen vor.