Dev Insights: Pleep v0.3.0 – Linux sieht Windows: Die 100% bi-direktionale WebRTC-Pipeline, PipeWire & der GStreamer-MJPEG-Trick

Willkommen zurück im Maschinenraum! Nach unserem letzten Meilenstein rund um die Behebung von Ghost-Usern und zickigen OS-Menüs in v0.2.0 stand auf unserer Roadmap der Endgegner jedes Cross-Platform-Teams: 100% nahtlose, bi-direktionale WebRTC-Videoübertragung zwischen Linux und Windows.

Wer schon einmal versucht hat, latenzfreies WebRTC-Video in einer hybriden Desktop-Applikation (Tauri v2 + WebKitGTK unter Linux vs. WebView2 unter Windows) stabil zum Laufen zu bringen, kennt das Grauen: fragmentierte Multimedia-Stacks, Codec-Inkompatibilitäten und WebView-Renderer, die bei eingehenden Videostreams gerne mal einfach schwarz bleiben.

In den letzten Tagen haben wir die Ärmel hochgekrempelt, den gesamten Video-Subsystem-Core neu verdrahtet und das Problem mit purer Rust-Power und GStreamer gelöst. Das Ergebnis: Windows <-> Linux Video läuft zu 100% bi-direktional, stabil und butterweich.

Hier ist der detaillierte Einblick in die Architektur, unsere Hürden und die Tricks, die das Unmögliche möglich gemacht haben.

💥 Das Linux-Dilemma: Wenn WebKitGTK beim Video streikt

Auf Windows läuft Tauri mit Edge/WebView2 – WebRTC-Elemente, VP8-Hardwarebeschleunigung und `HTMLVideoElement` spielen in der Regel direkt mit. Auf Linux sieht die Welt jedoch völlig anders aus: WebKitGTK besitzt oft keine verlässliche VP8/H.264-Hardware-Dekodierung im DOM-Kontext, und direkte mediasoup-WebRTC-Verbindungen im Browser-Kontext führen regelmäßig zu Renderer-Crashes oder eingefrorenen Frames.

Unsere Entscheidung: Wir überlassen dem Webview nicht die Kontrolle über das Video, sondern verlagern das gesamte Streaming und Decoding direkt in das native Rust-Backend von Tauri!

🎥 Linux als Sender: PipeWire, V4L2-Scoring & Pure-Rust-WebRTC

Wenn ein Linux-User seine Kamera aktiviert, schlägt die Stunde unseres neuen `linux_streamer`-Moduls:

  • Intelligente Hardware-Erkennung & V4L2-Scoring: Webcams unter Linux sind notorisch launisch – eine physische Kamera meldet sich oft mit mehreren `/dev/video*`-Knoten an (Metadaten, Infrarot, Raw). Unser Scanner ermittelt über `v4l2` das exakt passende Device anhand des Hardware-Labels und bewertet Fähigkeiten und Frameraten automatisch.

  • PipeWire & GStreamer Ingest: Der Videostrom wird nativ über moderne PipeWire-Schnittstellen (`pipewiresrc`) bzw. optimierte V4L2-Pipelines abgegriffen und direkt in VP8 kodiert.

  • Pure-Rust WebRTC: Statt auf instabile Node- oder C++-Bindings zu setzen, übernimmt eine schlanke pure-Rust-WebRTC-Implementierung den Transport. Die RTP-Pakete fließen mit minimalstem Overhead direkt an den mediasoup SFU-Server – und Windows-Clients empfangen gestochen scharfes Video.

🪄 Der Clou: Die GStreamer VP8-zu-MJPEG-Bridge (Linux als Empfänger)

Das Senden von Linux an Windows war nur die halbe Miete. Die weitaus härtere Nuss: Wie empfängt ein Linux-Client das Video eines Windows-Partners im Tauri-Fenster, ohne dass WebKitGTK schlappmacht?

Hier haben wir eine extrem elegante Brücke gebaut (`linux_consumer`):

1. RTP-Empfang in Rust: Unser Rust-Backend klinkt sich über WebRTC als nativer Consumer in den mediasoup-Router ein und empfängt die VP8-RTP-Pakete des Partners.
2. Lokaler UDP-Ingest in GStreamer: Die RTP-Pakete werden intern über einen ultra-schnellen lokalen UDP-Loopback-Socket direkt an eine maßgeschneiderte GStreamer-Pipeline übergeben:

udpsrc buffer-size=2097152 caps=application/x-rtp ... !
rtpvp8depay wait-for-keyframe=true !
vp8dec !
videoconvert !
jpegenc !
fdsink sync=false

3. Der HTTP-MJPEG-Server: GStreamer dekodiert VP8 in Echtzeit und kodiert die Frames on-the-fly in einen MJPEG-Strom um. Ein in Rust integrierter, asynchroner Tokio-HTTP-Server streamt diesen Feed auf `127.0.0.1:<port>/stream/<producer_id>`.
4. Kein DOM-Overhead: Im Tauri-Frontend rendern wir einfach ein natives HTML-<img>-Tag, das auf den lokalen Stream zeigt! WebKitGTK muss kein WebRTC-PeerConnection-Handling mehr leisten, sondern rendert einen soliden, extrem performanten Bildstrom mit 30/60 FPS.

🛠️ Bug-Bashing: Von PLI-Stürmen, Jitter und Byte-Verschiebungen

Eine solche Pipeline baut man nicht ohne ein paar saftige Debugging-Schlachten. Hier sind die fiesesten Bugs, die wir auf dem Weg zerlegt haben:

  • Der gefürchtete Bildsalat (`wait-for-keyframe` & PLI-Handling): Trifft ein VP8-Decoder mitten im Stream ein, versucht er Delta-Frames ohne passenden Keyframe zu dekodieren – das Ergebnis war grünes Bildflimmern und Bildmatsch. Wir fordern beim Verbindungsaufbau sofort via RTCP ein PLI (Picture Loss Indication) an und zwingen den Depayloader mit `wait-for-keyframe=true`, strikt auf das erste vollständige I-Frame zu warten.

  • PLI-Stürme eliminiert: Ein anfänglicher Bug feuerte bei jedem Paket einen Keyframe-Request ab. Das überlastete den Sender und führte zu massivem Jitter. Durch eine Drosselung (initial + adaptiv alle 150 Pakete / 5s) sank die CPU-Last drastisch, und das Bild läuft nun absolut flüssig.

  • RTP Header Extension Mismatch: Ein fieser Längenfehler im RTP-Header brachte zeitweise den GStreamer-Demuxer zum Schweigen. Die Lösung: Die korrekte Serialisierung über `marshal_to`, bevor die Pakete in den Loopback wandern.

  • Latenz-Killer TCP-NoDelay & fdsink: Um jegliche Pufferung zu vermeiden, haben wir `sync=false` am GStreamer-Sink gesetzt, TCP-NoDelay am HTTP-Streamer aktiviert und den UDP-Pufferspeicher auf 2 MB angehoben. Das Resultat: Latenzen im einstelligen Millisekundenbereich!

  • CSP-Freigabe: Tauri v2 achtet streng auf Sicherheit. Damit der lokale Webview den HTTP-MJPEG-Stream akzeptiert, wurde die Content Security Policy (`tauri.conf.json`) gezielt für `127.0.0.1:*` freigegeben.

🎨 UI-Polish: Dark & Neon Themes auf Hochglanz gebracht

Damit die Technik auch im passenden Gewand strahlt, haben wir die UI einem gründlichen Contrast- & Style-Tuning unterzogen:

  • Kristallklarer Kontrast: In den Themes Dark und Neon haben wir die Typografie und Panel-Hintergründe überarbeitet. Schluss mit schwer lesbarem Text auf dunklen oder grellen Flächen – alle Status-Elemente, Chat-Bubbles und Video-Overlays sind jetzt gestochen scharf.

  • Custom Tab-Buttons: Aktive Tabs heben sich nun mit dynamischen Theme-Akzentfarben (#D9FF3D im Neon-Theme, akzentuiertes Orange/Dark im Dark-Theme) ab und sorgen für ein direktes, taktiles Feedback beim Umschalten zwischen Chat, Räumen und Videoeinstellungen.

Wie geht's weiter?

Mit der funktionierenden bi-direktionalen Video-Bridge steht das Fundament für Pleep auf modernen Linux-Desktops (Wayland & X11). Unser nächster Fokus liegt auf der Fertigstellung der Floor-Control für Linux (das Push-to-Talk-Floor-Feature zur Mikrofon- und Sprechrecht-Zuweisung per Push-to-Talk), bevor wir das Ganze in die nächste Testrunde für die Community schicken.

Bis zum nächsten Mal aus dem Maschinenraum! 🎙️🐧⚡