Ab Dezember gilt Software als Produkt: Haftet dann der Anbieter, wenn Ihr KI-Agent Schaden anrichtet?

[warm] Frank, letzte Woche haben wir uns mit einem Satz verabschiedet: Ab Dezember gilt Software als Produkt. Heute messe ich diesen Satz nach.

Unseren eigenen Satz.

Unseren eigenen. Wer jede Woche die Versprechen anderer prüft, fängt besser bei sich an.

Dann zuerst Nachgetragen. Was war falsch?

Falsch war nichts. Aber der Satz klang nach mehr, als er hält. Er klang nach: Ab Dezember sind Sie geschützt, wenn Ihre Software Schaden anrichtet. Unsere eigenen Notizen zur letzten Folge hatten genau davor gewarnt. Der Satz ging trotzdem raus.

Das geht auf mich. Dann prüfen Sie ihn so, wie Sie jeden Anbieter prüfen.

Erst das, was stimmt. Die neue europäische Produkthaftungsrichtlinie zählt Software ausdrücklich zu den Produkten. Wörtlich: Unter Produkt sind auch Elektrizität, digitale Konstruktionsunterlagen, Rohstoffe und Software zu verstehen.

Und der Dezember?

Der Entwurf nennt den neunten Dezember als Tag des Inkrafttretens. Beschlossen ist er noch nicht. Die erste Lesung war im März. Stand Montag steht die abschließende Beratung für diesen Donnerstag auf der Tagesordnung des Bundestags.

Einen Tag nach dieser Folge.

Wenn es dabei bleibt. Tagesordnungen ändern sich. [curious] Und jetzt das, was unser Satz verschwiegen hat. Artikel fünf der Richtlinie: Anspruch auf Schadensersatz hat jede natürliche Person.

Natürliche Person. Also ein Mensch.

Ein Mensch. Keine GmbH, keine Aktiengesellschaft. Und es geht weiter. Ersetzt wird der Verlust von Daten nur, wenn es Daten sind, die nicht für berufliche Zwecke verwendet werden.

Moment. Die Kundendatenbank eines Betriebs ist beruflich.

Eben. Der deutsche Entwurf übernimmt das fast wortgleich. Und in der Begründung der Bundesregierung steht es im Klartext: Schäden an beruflich verwendeten Daten sind nach dem Produkthaftungsgesetz nicht ersatzfähig.

Der Fall aus der letzten Folge. Ein Agent löscht die Datenbank einer Firma in neun Sekunden.

Für genau diesen Fall gibt die neue Produkthaftung der Firma nichts. Und das ist kein Versehen. Die Richtlinie nennt es als ihr Ziel, ausschließlich natürlichen Personen Schadensersatz zu ermöglichen.

Und die Software, die heute schon läuft?

Für die bleibt es beim alten Recht. Die Richtlinie gilt nur für Produkte, die nach dem neunten Dezember in Verkehr kommen.

Dann bleibt dem Unternehmen der Vertrag mit dem Anbieter.

Den habe ich gelesen. Bei drei Anbietern, jeweils die öffentlichen Standardbedingungen: OpenAI, Anthropic und Salesforce.

Und?

Dreimal dasselbe Muster. Im Normalfall endet die Haftung bei dem, was der Kunde in den zwölf Monaten davor bezahlt hat. Bei OpenAI steht dazu, übersetzt: Die Dienste werden bereitgestellt, wie sie sind. Und für jede Nutzung der Ergebnisse ist allein der Kunde verantwortlich.

Im Normalfall. Was ist die Ausnahme?

Vorsatz und grobe Fahrlässigkeit. Bei OpenAI gilt die Grenze dann nicht. Salesforce hat für Kunden in Deutschland einen eigenen Abschnitt: unbegrenzte Haftung bei Vorsatz und grober Fahrlässigkeit, sonst wieder die zwölf Monate. Unbegrenzt haftet Salesforce dort auch nach dem Produkthaftungsgesetz. Also nach dem Gesetz, das Unternehmen gerade nicht schützt. Bei Anthropic habe ich eine solche Ausnahme im Text nicht gefunden, und verlorene Daten sind dort als Folgeschaden zusätzlich ausgenommen.

Wer im Monat fünfhundert Euro zahlt, bekommt also im Normalfall höchstens sechstausend. Egal, was die Datenbank wert war. Grobe Fahrlässigkeit ist ein großes Wort. Darauf würde ich keine Absicherung bauen.

Und die Freistellungen, die ich in den drei Hauptverträgen gelesen habe, betreffen etwas anderes: Klagen Dritter wegen Schutzrechten, zum Beispiel Urheberrecht. OpenAI verweist zusätzlich auf Freistellungen in einem weiteren Dokument. Das konnte ich nicht abrufen, dazu sage ich nichts.

Und eine Zusage, für Schäden durch einen Agenten einzustehen?

In keinem der drei Hauptverträge habe ich eine gefunden. Mehr behaupte ich nicht: Es sind drei Verträge, nicht der ganze Markt und nicht jedes Zusatzdokument.

Dann das Urteil. Nach der neuen Skala.

Vier Stufen gibt es ab heute: belegt. Belegt, aber irreführend dargestellt. Unbelegt. Widerlegt. Unser Satz bekommt die zweite. Software wird Produkt, das stimmt. Dass Ihr Unternehmen damit abgesichert wäre, stimmt nicht.

Und wer hat an dem Satz verdient?

Bezahlt hat ihn niemand, er ist von uns. Uns hat er einen griffigen Ausblick gebracht. Und die beruhigende Lesart hilft jedem, der Software verkauft. Er steht ab heute im Mess-Sheet, mit unserem Namen.

Ich ordne das trotzdem anders ein als Sie. Die Reform ist ein Fortschritt. Software ist endlich ein Produkt, der Hersteller kann seine Haftung nicht mehr wegverhandeln, und der Geschädigte kommt leichter an Beweise.

Da widerspreche ich Ihnen. Nicht wegverhandeln, das steht in Artikel fünfzehn, ja. Aber dort steht auch, wem gegenüber: gegenüber der geschädigten Person. Und das ist der Mensch, nicht Ihr Unternehmen.

Und die Beweise?

Artikel zehn lässt es bei der Grundregel. Der Kläger beweist den Fehler, den Schaden und den Zusammenhang. Es kommen Vermutungen dazu, und die kann der Hersteller widerlegen. Für eine Geschäftsführung, die uns gerade zuhört, ändert der Dezember an der eigenen Absicherung nichts.

[thoughtful] Den Punkt gebe ich Ihnen. Für den eigenen Schaden ändert sich nichts. Aber dann lesen Sie Artikel acht vor.

Als Hersteller gilt auch, wer ein Produkt außerhalb der Kontrolle des Herstellers wesentlich verändert und es dann in Betrieb nimmt.

Ein Betrieb, der einen Agenten einrichtet, ihm Zugänge gibt und ihn auf Kunden loslässt, verändert ein Produkt. Ob wesentlich, sagt der Text nicht, das werden Gerichte klären. Aber die Richtung ist klar. Die Reform schützt nicht Ihr Unternehmen. Sie schützt Menschen, auch vor Ihrem Unternehmen.

Das ist schärfer als unser Satz von letzter Woche.

Es ist auch richtiger. Und die Richtlinie, die die Haftung für KI eigens regeln sollte, hat die Europäische Kommission zurückgenommen. Es kommt also niemand, der diese Lücke für Sie schließt.

Dann Nachgefragt. Die naheliegende Frage: Kann ich als Unternehmen dann gar nichts verlangen?

Doch. Aus dem Vertrag und aus dem allgemeinen Haftungsrecht. Nur eben nicht aus der Produkthaftung. Und im Vertrag steht die Grenze, die Sie unterschrieben haben.

Die kritische Frage: Hält so eine Grenze von zwölf Monatsgebühren vor einem deutschen Gericht?

Das weiß ich nicht, und ich sage das so. Wir haben Standardbedingungen gelesen, geschrieben für den Weltmarkt. Ob die Klausel in Ihrem Fall hält, klärt Ihre Rechtsberatung, nicht dieser Podcast.

Und die unbequeme Frage geht an uns beide. Wir haben den Satz selbst gesendet. Wer prüft eigentlich uns?

Sie. Und die Hörer. Deshalb steht jede Messung öffentlich im Mess-Sheet, auch diese. Wer einen Fehler findet, schreibt uns, und wir tragen ihn hier nach.

Dann ans Lagerfeuer.

Kanada, November zweitausendzweiundzwanzig. Einem Mann stirbt die Großmutter. Er bucht Flüge bei Air Canada und fragt vorher den Chatbot auf der Website nach dem Trauertarif.

Und der Chatbot?

Legt ihm nahe, er könne die Ermäßigung nachträglich beantragen. Das stimmte nicht, die Fluglinie ließ das gar nicht zu. Sie lehnte ab, und der Mann zog vor ein Schiedsgericht für kleine Forderungen.

[curious] Und wie hat sich die Fluglinie verteidigt?

Das ist der Teil, wegen dem ich die Geschichte erzähle. Das Gericht fasst die Verteidigung so zusammen, übersetzt: Air Canada legt nahe, der Chatbot sei eine eigene juristische Einheit, die für ihr Handeln selbst verantwortlich ist.

Die Maschine war es.

Das Gericht antwortet mit einem einzigen Satz: Das ist ein bemerkenswerter Vortrag. Und dann: Es sollte für Air Canada offensichtlich sein, dass sie für alle Informationen auf ihrer Website verantwortlich ist.

Wie ging es aus?

Gut achthundert Dollar für den Kunden. Die Summe ist winzig, und es war ein Chatbot, kein Agent. Aber die Ausrede ist dieselbe, die Sie beim nächsten Agentenschaden hören werden. In Folge neun haben wir dazu das Oberlandesgericht Hamm erzählt, mit demselben Ergebnis: Der Chatbot ist nur ein technisches Mittel des Unternehmens.

Und der Geschädigte war eine natürliche Person.

Eben. Der Kunde ist der Mensch. Sie sind die Fluglinie.

Drei Schritte für diese Woche. Ohne Budget.

Erstens: Vertrag. Suchen Sie in den Bedingungen Ihres KI-Anbieters den Abschnitt zur Haftungsbegrenzung. Rechnen Sie die Grenze in Euro aus und schreiben Sie die Zahl auf. Dann wissen Sie, was Ihr Schaden dort höchstens wert ist.

Zweitens: Versicherung. Fragen Sie Ihren Versicherer oder Makler, ob Schäden durch KI in Ihrer Betriebshaftpflicht und in Ihrer Cyberpolice gedeckt sind. Schriftlich. Eine Auskunft am Telefon hilft Ihnen im Schadensfall nicht.

Drittens: Außenkontakt. Jeder Chatbot und jeder Agent, der mit Kunden spricht, bekommt einen Menschen mit Namen, der seine Aussagen verantwortet. Und dieser Mensch liest einmal nach, was die Maschine über Preise und Zusagen erzählt.

Dann die Prognose der Woche, Kriterien im Mess-Sheet.

Bis Ende Juni nächsten Jahres hebt keiner der drei Anbieter die Grenze von zwölf Monatsgebühren in seinen Standardbedingungen an. Und keiner sagt darin zu, für Schäden durch seinen Agenten einzustehen.

Ändert einer von ihnen eines von beiden, lag Frank falsch. Ich lese dieselben drei Dokumente am Stichtag wieder.

Bleibt die Titelfrage. Haftet der Anbieter, wenn Ihr KI-Agent Schaden anrichtet? Aus der neuen Produkthaftung nicht, jedenfalls nicht Ihnen gegenüber. Sie schützt Menschen, nicht Unternehmen. Und Ihr Vertrag endet im Normalfall bei zwölf Monatsgebühren.

Führen heißt, das Kleingedruckte zu kennen, bevor der Agent es für Sie testet.