AI-Act-Compliance bei Nextcloud: ein pragmatischer Praxisbericht

Daphne Muller, bei Nextcloud zuständig für Alliances und Ecosystem und zugleich Teamleiterin AI Engineering, hat in einem Vortrag geschildert, wie der europäische Open-Source-Anbieter die KI-Verordnung (Verordnung (EU) 2024/1689, kurz AI Act) umgesetzt hat. Das Bemerkenswerte daran: Sie ist keine Juristin, sondern Ingenieurin, und hat das Projekt mit überschaubarer rechtlicher Unterstützung gestemmt. Genau deshalb ist der Bericht für mittelständische Unternehmen aufschlussreich, die vor derselben Aufgabe stehen und nicht über eine eigene Rechtsabteilung verfügen.

Der zeitliche Druck war real. Die zentralen Transparenzpflichten nach Art. 50 AI Act gelten ab dem 2. August 2026, die Verpflichtung zur KI-Kompetenz (Art. 4) bereits seit dem 2. Februar 2025. Wer also auf den letzten Drücker reagiert, hat ein Problem. Nextcloud hat rund ein Jahr vorher begonnen.

Zwei Stellschrauben: Risiko und Rolle

Der AI Act folgt einem zweidimensionalen Logikgerüst. Erstens richtet sich der Pflichtenumfang nach dem Risiko, das ein System für Gesellschaft und Grundrechte darstellt. Zweitens hängt er von der Rolle ab, die ein Unternehmen einnimmt. Wer ein System entwickelt und auf den EU-Markt bringt, trägt die Hauptlast. Wer es lediglich einsetzt, hat deutlich leichtere Pflichten. Diese Differenzierung zieht sich durch die gesamte Umsetzung.

Muller betont, dass die Verordnung dabei nuancierter ist, als die verbreitete Klage über innovationsfeindliche Regulierung vermuten lässt. Ein klassischer Spamfilter wird anders behandelt als ein Social-Scoring-System. Der Aufwand skaliert mit dem Schadenspotenzial.

Schritt 1: Liegt überhaupt ein KI-System vor?

Die erste und überraschend knifflige Frage lautet, ob man im Sinne der Verordnung bei Nextcloud überhaupt ein KI-System entwickelt. Nextcloud trainiert keine eigenen Modelle und nimmt auch kein Fine-Tuning vor, sondern integriert bestehende Modelle. Das könnte gegen eine Einstufung sprechen.

Die Legaldefinition in Art. 3 Abs. 1 AI Act ist allerdings bewusst weit gefasst. Muller hat sie in eine ingenieurstaugliche Checkliste übersetzt und Punkt für Punkt geprüft: maschinengestütztes System (ja, Software), Autonomiegrad (ja, es erzeugt Inhalte ohne ständige menschliche Freigabe), Ableitung von Ausgaben aus Eingaben (ja, prompt-basiert), Einfluss auf eine physische oder virtuelle Umgebung (ja, die Ausgaben erscheinen im Frontend). Ergebnis: Der Nextcloud Assistant ist ein KI-System. Die Definition ist so breit, dass faktisch nahezu jede generative Anwendung darunterfällt.

Schritt 2: In welche Risikoklasse fällt das System?

Anschließend hat Nextcloud die Risikostufen der Verordnung durchgespielt.

Verbotene Praktiken nach Art. 5 (etwa Social Scoring oder prädiktive Polizeiarbeit ohne belastbare Tatsachengrundlage) sind für ein Kollaborationsprodukt offensichtlich irrelevant.

Spannender war die Prüfung der Hochrisikosysteme nach Art. 6 in Verbindung mit Anhang III. Die meisten Kategorien (Medizinprodukte, autonomes Fahren, Migrations- und Grenzkontrolle) treffen auf Nextcloud nicht zu. Heikel wurde es bei der Biometrie. Nextcloud verarbeitet große Mengen an Fotos, und die App "Recognize" erkennt Personen auf Bildern. Die Sorge war, hier als System zur biometrischen Fernidentifizierung (Art. 3 Abs. 41) eingestuft zu werden.

An diesem Punkt wurde eine Juristin hinzugezogen, welche wiederum einen Drei-Punkte-Test lieferte:

• Fernidentifizierung ohne aktive Mitwirkung der betroffenen Person. Das trifft auf die App im Kern zu.
• Verwendung einer Referenzdatenbank. Nicht erfüllt, weil Nextcloud keine Datenbank mit zugeordneten Personenbildern ausliefert. Die Nutzer fotografieren, clustern und benennen selbst.
• Verarbeitung tatsächlicher biometrischer Daten. Der Begriff ist nicht im AI Act, sondern in Art. 4 Nr. 14 DSGVO definiert und zielt auf hochwertige, zur eindeutigen Identifizierung erstellte Aufnahmen ab, nicht auf beiläufige Freizeitfotos.

Da zwei der drei Voraussetzungen nicht erfüllt sind, liegt kein Hochrisikosystem vor. Dieser Befund zeigt, wie sehr eine saubere Subsumtion über die Einstufung entscheidet, statt sich vom Marketingbegriff "KI" leiten zu lassen.

Damit landet der überwiegende Teil des Nextcloud Assistant im begrenzten Risiko mit den Transparenzpflichten nach Art. 50. Minimales Risiko (außerhalb des Anwendungsbereichs) und der gesonderte Block für KI-Modelle mit allgemeinem Verwendungszweck (GPAI, Art. 51 ff.) wurden der Vollständigkeit halber mitgeprüft. Beim Einsatz fremder Basismodelle, etwa von Meta oder Alphabet, liegt die Modellverantwortung nach derzeitigem Verständnis bei deren Entwicklern. Offen ist für Nextcloud noch, ob aus der Anbieterrolle eine Pflicht erwächst, ausschließlich konforme Modelle zu empfehlen.

Schritt 3: Welche Rolle nimmt das Unternehmen Nextcloud GmbH ein?

Die Verordnung unterscheidet vor allem zwischen Anbieter (Art. 3 Abs. 3) und Betreiber (Art. 3 Abs. 4). Nextcloud ist beides zugleich: Anbieter, weil das Produkt auf den Markt gebracht wird, und Betreiber, weil der Assistant auch intern genutzt wird.

Für Betreiber gelten vor allem die Pflicht zur KI-Kompetenz der Beschäftigten (Art. 4) und Transparenz über KI-generierte Inhalte. Rein private, nicht berufliche Nutzung fällt aus dem Anwendungsbereich, was für einen Großteil der Endnutzer und der Community gilt. Für Händler beziehungsweise Distributoren (Art. 3 Abs. 7) ist die Last gering. Der Assistant lässt sich laut Muller mit minimalen Anforderungen weiterverkaufen, auch unter eigenem Namen.

Die konkreten Maßnahmen

Aus der Einstufung folgte die eigentliche interne Arbeit. Sie lässt sich in vier Bereiche gliedern.

Produktänderungen. Überall, wo Nutzer der Nextcloud mit einer KI interagieren, wird dies nun ausgewiesen (Art. 50 Abs. 1). KI-erzeugte Inhalte, also Textdokumente, Tabellen, Präsentationen, Audiodateien und Bilder, werden maschinenlesbar gekennzeichnet, über ein Datei-Tag und, soweit das Format es zulässt, über die Metadaten (Art. 50 Abs. 2). Auch agentische Interaktionen sind erfasst: Eine von einem Agenten versandte E-Mail weist dies aus, sodass Empfänger nicht rätseln müssen.

Dokumentation. Die Verordnung verlangt eine Dokumentation der Umsetzung. Nextcloud hat diese öffentlich in der Admin-Dokumentation hinterlegt, ebenso eine transparente Beschreibung der einzelnen KI-Apps, geschrieben von den Entwicklern, nicht vom Vertrieb.

KI-Kompetenz-Schulung. Die Juristin empfahl einen halben Tag Schulungsumfang. Statt teurer kommerzieller Angebote nutzt Nextcloud den frei zugänglichen Onlinekurs der Universität Helsinki (Elements of AI). Da der vollständige Kurs länger dauert, wurden die technischen Kapitel von einem promovierten Mitarbeiter zusammengefasst, der zusätzlich eine interne Schulung zum eigenen System erstellt hat. Eine Weitergabe dieser Materialien an Kunden wird erwogen.

Interne KI-Richtlinie. Pro Abteilung wurde geregelt, welche KI-Nutzung zulässig ist und welche nicht. Untersagt ist beispielsweise, dass das Marketing Blogbeiträge ohne anschließende redaktionelle Bearbeitung generiert, dass KI im Personalbereich eingesetzt wird (wegen des Diskriminierungsrisikos) oder dass Entwickler externe KI-Dienste auf Kundendaten oder Sicherheitsberichte anwenden. Generell gilt eine Transparenzpflicht über die eigene KI-Nutzung, bis hin zur Kennzeichnung in Commit-Messages, wenn beim Programmieren KI im Spiel war.

Einordnung für die Praxis

Der Bericht ist deshalb so brauchbar, weil er den Aufwand entmystifiziert. Eine Ingenieurin hat mit wenig juristischer Begleitung eine vertretbare und nachvollziehbare Compliance hergestellt. Die zentrale Erkenntnis: Der erste und wichtigste Schritt ist die saubere Einstufung nach Risiko und Rolle, denn sie bestimmt den gesamten Pflichtenumfang. Wer hier sorgfältig subsumiert, statt sich von Begriffen leiten zu lassen, vermeidet sowohl Überregulierung als auch Lücken.

Vor allem für kleinere Organisationen heißt das: Der AI Act ist beherrschbar. Die Anforderungen skalieren mit dem Schadenspotenzial, und für Systeme mit begrenztem Risiko bleiben sie überschaubar. Das gilt unabhängig von der Unternehmensgröße.

Nützliche Quellen aus dem Vortrag

• Der von Muller verwendete Compliance-Checker mit Fragebogen, vollständigem Verordnungstext und leicht verständlichen Zusammenfassungen unter artificialintelligenceact.eu
• Der kostenfreie Onlinekurs der Universität Helsinki (Elements of AI) für die KI-Kompetenz-Schulung
• Die öffentliche Admin-Dokumentation von Nextcloud zu den KI-Apps sowie die eigens für den AI Act erstellte Umsetzungsdokumentation

Dieser Beitrag fasst einen Vortrag von Daphne Muller im Rahmen des Nextcloud Summit 26 zusammen. Die rechtliche Einordnung gibt deren Darstellung wieder und ersetzt keine individuelle Rechtsberatung.

Transparenzhinweis: Dieser Beitrag wurde mit Unterstützung generativer KI (Claude Opus 4.8, Anthropic) erstellt und vor Veröffentlichung redaktionell geprüft.