Face Tracking APP

Die Face Tracking App ermöglicht es dir, jeden Calliope mini Roboter mit der Position und Rotation deines Gesichts oder sogar dem Öffnen deines Mundes zu steuern. Mit dieser innovativen Steuerung kannst du dein Roboterprojekt auf eine ganz neue, kreative Weise bedienen – zum Beispiel durch Kopfbewegungen oder Mimik.

Diese App ist als Webanwendung (WEB APP) verfügbar. Sie läuft direkt im Browser und kommuniziert mit deinem Calliope mini Board über Bluetooth – ganz ohne zusätzliche Software oder Installation.

LOFI-Control App

So geht's

1

Importiere die Erweiterung in dein Programm
https://github.com/calliope-edu/LofiRobot/

Link kopieren

Ein Programm mit der LOFI Robot-Erweiterung importiert findest du hier:

Programm

2

Das Projekt kann mit dem Servoboard leicht realisiert werden. Allerdings werden dann nur vier Servomotoren eingesetzt.

Wenn du einen fünften Servomotor hinzufügst, wird es deutlich komplexer. Da nur bis zu vier Servomotoren gleichzeitig genutzt werden können, ist eine programmierte Weiche notwendig. Schaue dir dazu das Beispielprogramm an.

Beispielcode

3

Die Parameter sind so skaliert, dass sie in den Bereich von 0–100 bzw. 0–10 passen; die Gesichtserkennung (face visibility) hat den Wert 0 oder 1. Um den Wertebereich an deine Anforderungen anzupassen, musst du ihn auf dem Calliope mini umrechnen.


Unterstützte Plattformen

Windows – Chrome, Edge, Opera
macOS – Chrome, Edge, Opera (kein Safari)
Android – Chrome;
App-Installation über „Zum Startbildschirm hinzufügen“
ChromeOS
iOS (iPhone/iPad) – Calliope mini App (bald),
aktuell über den Bluefy Web-Browser

Voraussetzung: Dein Gerät (Laptop, Tablet oder Smartphone) muss Web-Bluetooth und Kamera-Zugriff unterstützen.

FAQ

Die App verfolgt dein Gesicht anhand folgender Parameter:

Parameter Beschreibung Wertebereich
X Horizontale Position 0-99
Y Vertikale Position 0-99
Yaw Kopfrotation nach links/rechts 0-99
Pitch Kopfneigung nach oben/unten 0-99
Roll Kopfkippen (Seitenneigung) 0-9
Mouth Mundöffnung 0-99
Left eye Öffnung linkes Auge 0-99
Right eye Öffnung rechtes Auge 0-99
Smile Lächeln 0-99
Face visibility Gesicht erkannt (1) oder
nicht erkannt (0)
1 oder 0

Stelle sicher, dass Bluetooth an deinem Endgerät aktiviert ist.

Stelle sicher, dass auf deinem Calliope mini ein Skript läuft, das den Bluetooth-UART-Dienst verwendet, und dass in den Verbindungseinstellungen (unter "Einstellungen als Text bearbeiten") des MakeCode-Projekts im Bereich "preferredEditor" folgendes steht:

"preferredEditor": "tsprj",
    "yotta": {
        "config": {
            "microbit-dal": {
                "bluetooth": {
                    "enabled": 1,
                    "pairing_mode": 1,
                    "private_addressing": 0,
                    "whitelist": 0,
                    "advertising_timeout": 0,
                    "tx_power": 6,
                    "dfu_service": 1,
                    "event_service": 0,
                    "device_info_service": 1,
                    "security_level": "SECURITY_MODE_ENCRYPTION_OPEN_LINK"
                }
            }
        }
    }
}

Bitte beachte, dass nicht immer alle Änderungen direkt gespeichert sind.