Spart Copilot wirklich 26 Minuten am Tag? Ihr Wingman auf dem Prüfstand

[warm] Frank, heute geht es um einen Kollegen, den viele unserer Hörer längst bezahlen. Er sitzt in Word, in Outlook und in Teams, und der Hersteller nennt ihn Ihren Copiloten. Der Flügelmann, der Ihnen den Rücken freihält.

So wird er verkauft, und das Bild ist gut gewählt. Einem Flügelmann vertraut man. Genau deshalb sollte man ihn zum Messflug schicken, bevor man ihm den Rücken zudreht.

[excited] Und dafür gibt es ab heute eine neue feste Rubrik. Sie heisst Nachgemessen. Jede Woche nehmen wir ein Versprechen eines Anbieters, zitieren es wörtlich und schauen auf die Messung dahinter. Ich führe die Zahlen, Sie behalten die Einordnung.

Einverstanden. Dann leg los. Was verspricht der Flügelmann?

Ich lese vor, alles Originalangaben. Microsoft selbst: Nutzer sparen im Schnitt vierzehn Minuten am Tag. Die Quelle ist eine eigene Umfrage, eintausenddreihundert Befragte.

Eine Umfrage. Also gefragt, nicht gemessen.

Gefragt, nicht gemessen. Die nächste Zahl ist die aus unserem Titel. Die britische Digitalbehörde hat zwanzigtausend Beamte mit dem Werkzeug arbeiten lassen. Ergebnis der Befragung: sechsundzwanzig Minuten Ersparnis am Tag. Im Kleingedruckten stehen zwei englische Wörter. Self reported.

Selbst berichtet. Wieder gefragt.

Und das britische Arbeitsministerium, rund dreieinhalbtausend Lizenzen: neunzehn Minuten am Tag. Auch das eine Selbstauskunft.

Drei Zahlen, drei Fragebögen. Gibt es denn irgendwo eine Uhr?

Dafür erkläre ich kurz unseren Messaufbau, in dreissig Sekunden. Es gibt eine Treppe der Messqualität. Ganz unten steht der Fragebogen, da erzählen Menschen, wie viel Zeit sie gespart zu haben glauben. Eine Stufe höher liegt die Telemetrie, da zählt der Rechner mit, was wirklich passiert. Und ganz oben stehen Beobachtung und Stoppuhr mit Kontrollgruppe, da vergleicht man Menschen mit und ohne Werkzeug bei echter Arbeit.

Und auf welcher Stufe stehen die Werbeminuten?

Alle auf der untersten. Es gibt aber zwei Messungen weiter oben. Die erste kommt von Microsoft selbst, zusammen mit Forschern: sechsundsechzig Firmen, über siebentausend Beschäftigte, echte Telemetrie, echte Kontrollgruppe. Der Befund: rund zwei Stunden weniger Zeit im Postfach. Pro Woche, nicht pro Tag. Sonst kein belegter Gewinn, Besprechungen unverändert, Gesamtleistung unverändert.

Halten wir das fest. Die beste Studie mit Microsoft an Bord findet einen Bruchteil dessen, was die Werbung erzählt.

Und die oberste Stufe gibt es auch. Das britische Handelsministerium hat tausend Lizenzen verteilt und Beschäftigten bei echten Aufgaben zugeschaut. Der amtliche Satz, übersetzt: Die Auswertung fand keinen Beleg, dass die gesparte Zeit zu mehr Produktivität geführt hat. Manche Aufgaben dauerten mit dem Werkzeug sogar länger.

Das ist die einzige Stelle, an der jemand wirklich daneben sass. Und genau dort verschwindet der Effekt.

Ein Nachtrag noch, aus einem Nachbarfeld. Eine amerikanische Forschungsgruppe hat erfahrene Entwickler mit KI-Werkzeugen arbeiten lassen und die Zeit gestoppt. Die Entwickler fühlten sich zwanzig Prozent schneller. Die Stoppuhr sagte: neunzehn Prozent langsamer. Anderes Werkzeug, aber dieselbe Lücke zwischen Gefühl und Uhr.

Und diese Lücke ist der Kern der heutigen Folge.

Dann ordnen Sie ein. Was heisst das für Vorstand und Geschäftsführung?

Erstens: Es geht um eine echte Kaufentscheidung. Der Copilot kostet rund dreissig Dollar je Kopf und Monat, die eigentliche Bürolizenz kommt obendrauf. Microsoft hat die Büropakete in diesem Sommer zusätzlich verteuert, mit Verweis auf die eingebaute KI. Wer für fünfzig Leute unterschreibt, redet über einen fünfstelligen Jahresbetrag.

Und in der Entscheidungsvorlage dazu steht dann die Werbeminute.

Genau da wird es gefährlich. Eine gefühlte Ersparnis ist eine Zufriedenheitsmessung. Zufriedene Mitarbeiter sind ein Wert, das meine ich ernst. Aber es ist ein anderer Wert als Produktivität. Wer die sechsundzwanzig Minuten in die Kalkulation schreibt, rechnet mit einer Zahl, die in keiner Messung mit Uhr überlebt hat. Und die Lizenz ist ja nicht die einzige Rechnung. Einführung, Schulung, Datenschutzprüfung, das alles kommt dazu, bevor die erste Minute gespart ist.

[chuckles] Ich sage das jetzt als KI über eine andere KI: Trauen Sie keiner Zahl, die das Produkt über sich selbst erzählt. Das gilt übrigens auch für mich. Deshalb messen wir in dieser Sendung ja nach, und irgendwann auch uns.

Genau deshalb sitzt du mit am Feuer.

Fragerunde. Die naheliegende zuerst: Wenn zehntausende Nutzer sagen, sie sparen Zeit, ist das wirklich nichts wert?

Es ist etwas wert, es ist nur etwas anderes. Die Leute mögen das Werkzeug, das ist real und wichtig. Aber Menschen überschätzen die eigene Ersparnis systematisch. Die Stoppuhr-Studie zeigt es in Reinform: schneller gefühlt, langsamer gemessen.

Die kritische: Das Handelsministerium sagt, Zeit wurde gespart, Produktivität stieg trotzdem nicht. Wohin ist die Zeit denn verschwunden?

Ehrliche Antwort: Das weiss niemand. Das Arbeitsministerium hat nachgefragt, neun von zehn sagten, die Zeit floss in andere Arbeit. Aber auch das ist eine Selbstauskunft. Vielleicht stimmt es, vielleicht wurden nur Mails schöner und Pausen länger. Nicht belegt ist eine zulässige Antwort, und hier ist sie die einzige ehrliche.

Eine Nachfrage dazwischen: Was haben die beiden Ministerien denn nach ihren Tests gemacht? Sechsundzwanzig Minuten am Tag müssten doch jede Einkaufsabteilung überzeugen.

Das ist das vielleicht Spannendste an der Geschichte, ein offenes Ende. Das Handelsministerium hat die Lizenzen nach dem Test wieder eingesammelt, und ein Kauf danach ist bis heute nicht belegt. Das Arbeitsministerium stellt seiner Belegschaft seit über einem Jahr nur noch die kostenlose Chat-Variante bereit. Wer wirklich jeden Tag neunzehn Minuten gewinnt, verhält sich anders.

Die praktische: Bei vielen Hörern liegt die Verlängerung der Lizenzen gerade auf dem Tisch. Was macht man Montag früh?

Weder blind kündigen noch blind verlängern, beides wäre wieder eine Entscheidung nach Gefühl. Man misst selbst, und zwar klein und billig. Wie genau, kommt gleich in der Empfehlung.

Dann die unbequeme: Wenn das alles so dünn belegt ist, lassen wir es einfach bleiben?

So einfach ist es nicht, und das zeigt ausgerechnet die strengste Studie. Beim Einsammeln dieser Lizenzen gab es übrigens echten Kummer, am stärksten bei Beschäftigten mit Behinderungen. Für sie war das Werkzeug eine spürbare Stütze im Arbeitsalltag.

Der belegte Nutzen liegt also woanders, als die Werbung ihn hinmalt.

Genau. Das spricht für gezielte Lizenzen dort, wo sie nachweislich helfen. Es spricht nicht für die Flatrate für alle, begründet mit einer Minutenzahl aus einem Fragebogen.

[warm] Zeit für das Lagerfeuer. Und heute, zur Premiere des neuen Aufbaus, mit einem Fall aus Ihren eigenen Mandaten?

Anonymisiert wie immer, aber echt. Ein Onlinehändler, rund dreihundertfünfzig Beschäftigte. Die Geschäftsführung wollte, dass KI Aufgaben und Abläufe vereinfacht, und hat der gesamten Belegschaft den Copiloten bereitgestellt. Flächendeckend, mit gutem Willen und echtem Budget.

Das klingt erst einmal nach genau dem, was der Hersteller empfiehlt.

Nur fehlten zwei Dinge: eine Gesamtstrategie und Rahmenbedingungen. Kein benanntes Ziel, keine Messlatte, keine Verabredung, welche Abläufe das Werkzeug eigentlich vereinfachen soll. Jeder bekam den Flügelmann. Den Flugplan bekam keiner.

Und was ist dann passiert?

Jeder hat mehr für sich gearbeitet. Der eine baute sich Mailentwürfe, die andere ihre Auswertungen, jeder optimierte den eigenen Schreibtisch. Die Abläufe zwischen den Menschen, und genau dort entsteht im Handel die Produktivität, blieben wie sie waren. Von Erfolg gekrönt war das nicht.

Also im Kleinen genau das Muster der grossen Studien. Gefühlte Erleichterung am einzelnen Arbeitsplatz, kein messbarer Gewinn für das Ganze.

Genau. Und die Lehre heisst nicht, das Werkzeug abzuschaffen. Die Lehre heisst: erst das Ziel, dann die Regeln, dann die Lizenz. Wer verteilt, bevor er entschieden hat, was besser werden soll, kann am Ende nicht einmal sagen, ob etwas besser geworden ist.

Dann die Empfehlung. Drei Schritte, diese Woche machbar, ohne Budget. Erstens?

Stoppuhr statt Fragebogen. Nehmen Sie fünf Leute und drei echte Aufgaben, ein Angebot schreiben, ein Protokoll zusammenfassen, eine Kundenmail beantworten. Zwei Wochen lang, einmal mit und einmal ohne Werkzeug, und die Zeit stoppt jemand anderes als der, der arbeitet. Das Ergebnis passt auf eine Seite: Aufgabe, Minuten vorher, Minuten nachher, fertig.

Zweitens?

Das Versprechen wörtlich ins Protokoll. Notieren Sie die Werbezahl Ihres Anbieters und daneben die Messart. Steht dort Umfrage, behandeln Sie die Zahl als Stimmungsbild, nicht als Ersparnis.

Und drittens?

Rechnen Sie Ihren eigenen Break-even. Lizenzkosten im Monat geteilt durch den Minutenlohn, dann wissen Sie, wie viele Minuten je Woche zusammenkommen müssen. Erst mit dieser Zahl und Ihrer eigenen Stoppuhr entscheiden Sie über die Verlängerung.

Bleibt die letzte neue Pflicht dieser Folge: eine Prognose, mit Termin, öffentlich, und wir halten sie nach. Frank?

Auch am ersten März nächsten Jahres wird es keine von Microsoft unabhängige Studie mit Stoppuhr und Kontrollgruppe geben, die für den Copiloten die beworbenen sechsundzwanzig Minuten Ersparnis pro Tag belegt.

Steht ab heute in unserem Mess-Sheet, mit Kriterien und Stichtag. Wenn der Tag kommt, lesen wir hier vor, ob Sie recht hatten.

Und wenn ich falsch liege, ist das die beste Nachricht der Folge. Dann gibt es endlich eine saubere Messung, und wir tragen sie hier nach.

Bleibt die Titelfrage. Spart Copilot wirklich sechsundzwanzig Minuten am Tag? Nach allem Nachmessen lautet die ehrliche Antwort: unbelegt. Die Minuten stammen aus Fragebögen, und überall dort, wo eine Uhr mitlief, sind sie verschwunden.

Lassen Sie sich vom Flügelmann gern den Rücken freihalten, aber nicht die Kalkulation. Was zählt, steht nicht in der Ankündigung, sondern im Messprotokoll. Und wenn keines existiert, schreiben Sie es diese Woche selbst.