Zum Inhalt springen

Bringt ein Chatbot mehr Umsatz? Conversion mit A/B-Test messen

Ob ein Chatbot mehr Umsatz bringt, lässt sich nicht an der Zahl der Gespräche ablesen. Die ehrliche Antwort liefert nur ein Vergleich: Besucher mit Chat gegen Besucher ohne Chat, im selben Zeitraum. Hier steht, wie so ein A/B-Test funktioniert und wann sein Ergebnis belastbar ist.

Aktualisiert am 09.11.2026 · 4 Minuten Lesezeit · Tarife ab 79 € netto im Monat

Warum einfache Zahlen in die Irre führen

Zwei Messungen liegen nahe, sind aber beide trügerisch.

Vorher-nachher-Vergleich: Du schaltest den Chat im Oktober ein und vergleichst mit September. Steigt der Umsatz, kann das am Chat liegen, aber auch am Wetter, an einer Rabattaktion, an Google oder am nahenden Weihnachtsgeschäft. Den Effekt des Chats kannst du davon nicht trennen.

Chat-Nutzer gegen Nicht-Nutzer: Wer den Chat nutzt, kauft oft häufiger. Das heißt aber nicht, dass der Chat den Kauf ausgelöst hat. Wer eine Frage zu einem Produkt stellt, war meist schon interessiert. Statistiker nennen das Selbstauswahl.

Beide Zahlen sind interessant, beweisen aber nichts. Für eine belastbare Aussage zur Chatbot-Conversion brauchst du eine Kontrollgruppe.

So funktioniert ein A/B-Test mit Kontrollgruppe

Beim A/B-Test teilst du deine Besucher zufällig in zwei Gruppen:

  • Gruppe mit Chat: sieht den Assistenten wie gewohnt.
  • Kontrollgruppe ohne Chat: sieht ihn nicht. Bei ShopLyra standardmäßig 10 % der Besucher, einstellbar zwischen 5 und 50 %.

Weil der Zufall entscheidet, sind beide Gruppen im Schnitt gleich. Sie erleben dieselben Aktionen, dasselbe Wetter, dieselbe Saison. Der einzige Unterschied ist der Chat. Kauft die Gruppe mit Chat häufiger, liegt es am Chat.

Damit ein Besucher nicht mal mit, mal ohne Chat surft, wird seine Gruppe 30 Tage im Browser gespeichert.

Was verglichen wird

Im Dashboard siehst du für beide Gruppen:

  • Kaufrate: Anteil der Besucher, die gekauft haben
  • Umsatz pro Besucher: Gesamtumsatz geteilt durch Besucher
  • Durchschnittlicher Bestellwert

Dazu den Unterschied in Prozent. Zusätzlich zeigt das Dashboard, wie oft Besucher kaufen, die den Chat tatsächlich genutzt haben. Diese Zahl ist wegen der Selbstauswahl nur ein Hinweis, kein Beweis.

Wie Käufe erkannt werden

Der Assistent erkennt Käufe auf drei Wegen:

  1. über das Google-Analytics-Ereignis purchase mit Bestellwert,
  2. über die Bestellbestätigungsseite, zum Beispiel /checkout/finish,
  3. per Code-Zeile auf der Bestätigungsseite, falls du kein Analytics nutzt.

Details im Handbuch unter Was der Assistent darf.

Video abspielen (1:57): ShopLyra kurz erklärt Vorschaubild: ShopLyra-Chat berät Kunden in einem Onlineshop
ShopLyra kurz erklärt: Chat-Beispiele, Einrichtung, Dashboard und Preise.

Wann das Ergebnis aussagekräftig ist

Auch bei einem Münzwurf kommt fünfmal hintereinander Kopf vor. Kleine Unterschiede zwischen den Gruppen können Zufall sein. Deshalb prüft ShopLyra mit einem statistischen Test, ob der Unterschied bei der Kaufrate groß genug ist, um nicht mehr als Zufall durchzugehen. Erst dann steht im Dashboard „Aussagekräftig“. Sonst heißt es „Noch kein klarer Unterschied“.

Bevor der Test überhaupt ein Urteil abgibt, braucht er mindestens:

  • 300 Besucher mit Chat,
  • 100 Besucher ohne Chat,
  • 20 Käufe in beiden Gruppen zusammen.

Das sind Untergrenzen. Ob ein Ergebnis klar wird, hängt vor allem davon ab, wie groß der Effekt ist und wie viele Käufe du hast.

Rechenbeispiel zur Besucherzahl

Angenommen, 2 % deiner Besucher kaufen. Steigt die Kaufrate mit Chat auf 2,4 %, ist das ein Plus von einem Fünftel, aber nur 0,4 Prozentpunkte. Um so einen Unterschied sicher zu erkennen, brauchst du nach gängiger Faustformel rund 20.000 Besucher pro Gruppe.

Daraus folgt:

  • Kleine Shops brauchen Geduld oder eine größere Kontrollgruppe. Mit 30 % statt 10 % kommt die Kontrollgruppe schneller auf genug Besucher.
  • Große Unterschiede zeigen sich schneller als kleine.
  • Mindestens einige Wochen solltest du den Test laufen lassen, damit Wochentage und Aktionen sich ausgleichen.

Brich den Test nicht ab, sobald das Ergebnis gerade gut aussieht. Zwischenstände schwanken, besonders am Anfang.

Einwilligung: Der A/B-Test braucht Zustimmung

Der Chat selbst speichert vor dem ersten Klick nichts im Browser. Beim A/B-Test ist das anders: Die Gruppe muss schon beim Seitenaufruf feststehen und wird 30 Tage im lokalen Speicher abgelegt. Das braucht eine Einwilligung.

Schalte deshalb zusätzlich Chat erst nach Cookie-Einwilligung laden ein. Dann nimmt nur teil, wer zugestimmt hat. Fertige Bausteine für Usercentrics, Cookiebot und Borlabs Cookie liegen im Konto unter Einbindung. Mehr dazu im Ratgeber Chatbot DSGVO-konform im Onlineshop.

So startest du den A/B-Test

  1. Tarif Pro oder höher wählen. In der 28-tägigen Testphase sind alle Pro-Funktionen enthalten.
  2. Unter Einstellungen den A/B-Test einschalten und den Anteil der Kontrollgruppe festlegen.
  3. Chat erst nach Cookie-Einwilligung laden aktivieren und das Consent-Tool anbinden.
  4. Prüfen, ob Käufe ankommen: über Analytics, Bestätigungsseite oder Code-Zeile.
  5. Einige Wochen laufen lassen und das Ergebnis im Dashboard ansehen.

Was du mit dem Ergebnis machst

  • Klarer Gewinn: Kontrollgruppe verkleinern oder den Test beenden, damit alle Besucher den Chat sehen.
  • Kein klarer Unterschied: Verbessere Begrüßung, Startfragen und Was verkauft dein Shop? und teste erneut. Prüfe auch, ob der Chat auf den wichtigen Seiten sichtbar ist.
  • Weniger Käufe mit Chat: Selten, aber möglich, etwa wenn der Chat zu früh automatisch aufgeht. Schalte das automatische Öffnen ab und teste neu.

Was der Chatbot kostet und ab wann er sich rechnet, steht im Ratgeber Was kostet ein KI-Chatbot?.

Häufige Fragen

Wie messe ich, ob ein Chatbot mehr Umsatz bringt?

Mit einem A/B-Test: Ein zufälliger Teil der Besucher sieht den Chat nicht. Dann vergleichst du Kaufrate und Umsatz pro Besucher beider Gruppen im selben Zeitraum.

Wie viele Besucher brauche ich für einen A/B-Test?

Das hängt von deiner Kaufrate und der Größe des Effekts ab. ShopLyra gibt erst ab 300 Besuchern mit Chat, 100 ohne Chat und 20 Käufen ein Urteil ab. Kleine Unterschiede brauchen deutlich mehr Besucher.

Verliere ich durch die Kontrollgruppe Umsatz?

Möglicherweise ein wenig, falls der Chat wirkt. Deshalb ist die Kontrollgruppe standardmäßig nur 10 % groß. Dafür weißt du am Ende, was der Chat wirklich bringt.

Ab welchem Tarif gibt es den A/B-Test?

Ab Pro. In der kostenlosen Testphase ist er enthalten.

Weitere Ratgeber-Themen

Ratgeber nach Shopsystem