Bringt ein Chatbot mehr Umsatz? Conversion mit A/B-Test messen
Ob ein Chatbot mehr Umsatz bringt, lässt sich nicht an der Zahl der Gespräche ablesen. Die ehrliche Antwort liefert nur ein Vergleich: Besucher mit Chat gegen Besucher ohne Chat, im selben Zeitraum. Hier steht, wie so ein A/B-Test funktioniert und wann sein Ergebnis belastbar ist.
Warum einfache Zahlen in die Irre führen
Zwei Messungen liegen nahe, sind aber beide trügerisch.
Vorher-nachher-Vergleich: Du schaltest den Chat im Oktober ein und vergleichst mit September. Steigt der Umsatz, kann das am Chat liegen, aber auch am Wetter, an einer Rabattaktion, an Google oder am nahenden Weihnachtsgeschäft. Den Effekt des Chats kannst du davon nicht trennen.
Chat-Nutzer gegen Nicht-Nutzer: Wer den Chat nutzt, kauft oft häufiger. Das heißt aber nicht, dass der Chat den Kauf ausgelöst hat. Wer eine Frage zu einem Produkt stellt, war meist schon interessiert. Statistiker nennen das Selbstauswahl.
Beide Zahlen sind interessant, beweisen aber nichts. Für eine belastbare Aussage zur Chatbot-Conversion brauchst du eine Kontrollgruppe.
So funktioniert ein A/B-Test mit Kontrollgruppe
Beim A/B-Test teilst du deine Besucher zufällig in zwei Gruppen:
- Gruppe mit Chat: sieht den Assistenten wie gewohnt.
- Kontrollgruppe ohne Chat: sieht ihn nicht. Bei ShopLyra standardmäßig 10 % der Besucher, einstellbar zwischen 5 und 50 %.
Weil der Zufall entscheidet, sind beide Gruppen im Schnitt gleich. Sie erleben dieselben Aktionen, dasselbe Wetter, dieselbe Saison. Der einzige Unterschied ist der Chat. Kauft die Gruppe mit Chat häufiger, liegt es am Chat.
Damit ein Besucher nicht mal mit, mal ohne Chat surft, wird seine Gruppe 30 Tage im Browser gespeichert.
Was verglichen wird
Im Dashboard siehst du für beide Gruppen:
- Kaufrate: Anteil der Besucher, die gekauft haben
- Umsatz pro Besucher: Gesamtumsatz geteilt durch Besucher
- Durchschnittlicher Bestellwert
Dazu den Unterschied in Prozent. Zusätzlich zeigt das Dashboard, wie oft Besucher kaufen, die den Chat tatsächlich genutzt haben. Diese Zahl ist wegen der Selbstauswahl nur ein Hinweis, kein Beweis.
Wie Käufe erkannt werden
Der Assistent erkennt Käufe auf drei Wegen:
- über das Google-Analytics-Ereignis
purchasemit Bestellwert, - über die Bestellbestätigungsseite, zum Beispiel
/checkout/finish, - per Code-Zeile auf der Bestätigungsseite, falls du kein Analytics nutzt.
Details im Handbuch unter Was der Assistent darf.
Wann das Ergebnis aussagekräftig ist
Auch bei einem Münzwurf kommt fünfmal hintereinander Kopf vor. Kleine Unterschiede zwischen den Gruppen können Zufall sein. Deshalb prüft ShopLyra mit einem statistischen Test, ob der Unterschied bei der Kaufrate groß genug ist, um nicht mehr als Zufall durchzugehen. Erst dann steht im Dashboard „Aussagekräftig“. Sonst heißt es „Noch kein klarer Unterschied“.
Bevor der Test überhaupt ein Urteil abgibt, braucht er mindestens:
- 300 Besucher mit Chat,
- 100 Besucher ohne Chat,
- 20 Käufe in beiden Gruppen zusammen.
Das sind Untergrenzen. Ob ein Ergebnis klar wird, hängt vor allem davon ab, wie groß der Effekt ist und wie viele Käufe du hast.
Rechenbeispiel zur Besucherzahl
Angenommen, 2 % deiner Besucher kaufen. Steigt die Kaufrate mit Chat auf 2,4 %, ist das ein Plus von einem Fünftel, aber nur 0,4 Prozentpunkte. Um so einen Unterschied sicher zu erkennen, brauchst du nach gängiger Faustformel rund 20.000 Besucher pro Gruppe.
Daraus folgt:
- Kleine Shops brauchen Geduld oder eine größere Kontrollgruppe. Mit 30 % statt 10 % kommt die Kontrollgruppe schneller auf genug Besucher.
- Große Unterschiede zeigen sich schneller als kleine.
- Mindestens einige Wochen solltest du den Test laufen lassen, damit Wochentage und Aktionen sich ausgleichen.
Brich den Test nicht ab, sobald das Ergebnis gerade gut aussieht. Zwischenstände schwanken, besonders am Anfang.
Einwilligung: Der A/B-Test braucht Zustimmung
Der Chat selbst speichert vor dem ersten Klick nichts im Browser. Beim A/B-Test ist das anders: Die Gruppe muss schon beim Seitenaufruf feststehen und wird 30 Tage im lokalen Speicher abgelegt. Das braucht eine Einwilligung.
Schalte deshalb zusätzlich Chat erst nach Cookie-Einwilligung laden ein. Dann nimmt nur teil, wer zugestimmt hat. Fertige Bausteine für Usercentrics, Cookiebot und Borlabs Cookie liegen im Konto unter Einbindung. Mehr dazu im Ratgeber Chatbot DSGVO-konform im Onlineshop.
So startest du den A/B-Test
- Tarif Pro oder höher wählen. In der 28-tägigen Testphase sind alle Pro-Funktionen enthalten.
- Unter Einstellungen den A/B-Test einschalten und den Anteil der Kontrollgruppe festlegen.
- Chat erst nach Cookie-Einwilligung laden aktivieren und das Consent-Tool anbinden.
- Prüfen, ob Käufe ankommen: über Analytics, Bestätigungsseite oder Code-Zeile.
- Einige Wochen laufen lassen und das Ergebnis im Dashboard ansehen.
Was du mit dem Ergebnis machst
- Klarer Gewinn: Kontrollgruppe verkleinern oder den Test beenden, damit alle Besucher den Chat sehen.
- Kein klarer Unterschied: Verbessere Begrüßung, Startfragen und Was verkauft dein Shop? und teste erneut. Prüfe auch, ob der Chat auf den wichtigen Seiten sichtbar ist.
- Weniger Käufe mit Chat: Selten, aber möglich, etwa wenn der Chat zu früh automatisch aufgeht. Schalte das automatische Öffnen ab und teste neu.
Was der Chatbot kostet und ab wann er sich rechnet, steht im Ratgeber Was kostet ein KI-Chatbot?.
Häufige Fragen
Wie messe ich, ob ein Chatbot mehr Umsatz bringt?
Mit einem A/B-Test: Ein zufälliger Teil der Besucher sieht den Chat nicht. Dann vergleichst du Kaufrate und Umsatz pro Besucher beider Gruppen im selben Zeitraum.
Wie viele Besucher brauche ich für einen A/B-Test?
Das hängt von deiner Kaufrate und der Größe des Effekts ab. ShopLyra gibt erst ab 300 Besuchern mit Chat, 100 ohne Chat und 20 Käufen ein Urteil ab. Kleine Unterschiede brauchen deutlich mehr Besucher.
Verliere ich durch die Kontrollgruppe Umsatz?
Möglicherweise ein wenig, falls der Chat wirkt. Deshalb ist die Kontrollgruppe standardmäßig nur 10 % groß. Dafür weißt du am Ende, was der Chat wirklich bringt.
Ab welchem Tarif gibt es den A/B-Test?
Ab Pro. In der kostenlosen Testphase ist er enthalten.
Weitere Ratgeber-Themen
- Chatbot & DSGVOWelche Daten die KI sieht, Cookies und Einwilligung, AVV, Serverstandort, KI-Hinweis nach AI Act und Textbaustein für die Datenschutzerklärung.
- Chatbot-KostenPro Gespräch, pro Lösung, pro Platz, Pauschale oder eigener API-Schlüssel – Kostenmodelle im Vergleich, mit Rechenbeispielen.
- KI-ProduktberatungWas ein digitaler Verkaufsberater im Dialog besser kann als Filter, Suche und Produktfinder – mit Beispielen und Grenzen.
- Shopware-Chatbot-PluginPlugin mit eigenem API-Schlüssel oder fertiger Dienst – Aufwand, Kosten, Datenschutz und Wartung im neutralen Vergleich.
- Bestellstatus im Chat„Wo ist meine Bestellung?“ automatisch beantworten – mit Sendungsverfolgung und sicherer Prüfung von Bestellnummer und E-Mail oder PLZ.
- KI im KundenserviceWelche Anfragen die KI übernimmt, wann dein Team gefragt ist und wie die Übergabe mit Verlauf an E-Mail oder Helpdesk läuft.
- Chatbot einrichtenSchritt für Schritt vom Konto bis zum ersten echten Kundengespräch – mit Starthilfe, ohne Programmierer.
- Mehrsprachiger ChatbotAntworten in der Sprache des Kunden, automatisch übersetzte Chat-Texte und ein Assistent pro Sprachshop, wenn Sortiment oder Preise abweichen.
- Chatbot vs. Live-ChatUnterschiede bei Kosten, Erreichbarkeit und Beratung – und wie KI-Chat und Team sich nachts, am Wochenende und im Tagesgeschäft ergänzen.
- KI-Chatbot für WebsitesDrei Arten von Website-Chatbots im Vergleich, welche Inhalte die KI braucht, Einbindung mit einer Zeile, Consent, Kosten und eine Checkliste für die Auswahl.
- Live-Chat-ÜbergabeKommt die KI nicht weiter, schreibt der Kunde live mit deinem Team – in der App ShopLyra Chat, mit Push aufs Handy, Mitarbeiter-Zugängen und Themen.
- Chatbot-Vergleich10 Kriterien für den Vergleich von KI-Chatbot-Anbietern: Shopdaten, Kosten, DSGVO, Deutsch, Übergabe ans Team und Testphase.
- Chatbot-BeispieleEchte Dialoge aus dem Demoshop: Produktberatung, Geschenk, Versand ins Ausland, Bestellstatus, Bio-Frage und was die KI bewusst nicht tut.
Ratgeber nach Shopsystem
- Shopware 6Varianten, Erlebniswelten und Bestellstatus über die Store-API – mit der ShopLyra-App, ohne Code.
- Shopware 5Läuft über die REST-API mit Leserechten – Plugin für Shopware 5.2 bis 5.7, ganz ohne Migration.
- WooCommerceProdukte, Seiten und Beiträge ohne Schlüssel lesen, Bestellstatus per REST-API-Schlüssel, WordPress-Plugin inklusive.
- ShopifyShopLyra-App per Link installieren: Katalog, Seiten, Blog und Bestellstatus verbunden, Chat per Schalter im Theme – ohne Code.
- Magento 2Konfigurierbare Produkte, CMS-Seiten und Bestellungen über eine Integration mit Leserechten – für Magento 2.4.
- JTL-ShopPlugin für JTL-Shop 5: Artikel mit Varianten, Bestand, Inhaltsseiten und Bestellstatus live. Alternativ per Exportformat „Google Shopping“.
- Andere ShopsystemePlentymarkets, Gambio, OXID, Wix und Eigenentwicklungen über XML- oder JSON-Feed, Bestellauskunft per eigener Schnittstelle.