Owlat Docs

A/B-Tests

Vergleichen Sie zwei Varianten einer Kampagne an einer Testgruppe und senden Sie die Gewinnerversion anschließend automatisch oder manuell an den Rest Ihrer Zielgruppe.

Mit A/B-Tests vergleichen Sie verschiedene Versionen Ihrer E-Mail, um herauszufinden, was bei Ihrer Zielgruppe am besten ankommt. Statt zu raten, welche Betreffzeile oder welches Layout besser funktioniert, testen Sie beides an einer kleinen Gruppe und senden den Gewinner an alle übrigen.

So funktionieren A/B-Tests

  1. Sie erstellen eine Kampagne mit zwei Varianten — Variante A und Variante B (z. B. unterschiedliche Betreffzeilen).
  2. Ein kleiner Prozentsatz Ihrer Zielgruppe (die Testgruppe) wird zufällig auf Variante A und Variante B aufgeteilt.
  3. Nach der Testdauer wählt Owlat anhand der von Ihnen gewählten Kennzahl die leistungsstärkere Variante (oder Sie bestimmen den Gewinner selbst).
  4. Die Gewinnervariante wird an den Rest Ihrer Zielgruppe gesendet.

So erhält die Mehrheit Ihrer Zielgruppe immer die Version, die am besten abgeschnitten hat.

Einen A/B-Test einrichten

1. Kampagne anlegen

Starten Sie wie gewohnt eine neue Kampagne unter Kampagnen > Alle Kampagnen. Füllen Sie im Einrichtungsschritt die Grunddaten (Kampagnenname, Absendername, Absenderadresse) und die Zielgruppe aus, im Inhaltsschritt dann Ihre Betreffzeile.

2. Varianten hinzufügen

Öffnen Sie im Schritt Einrichtung den Ausklappbereich A/B-Test hinzufügen und wählen Sie einen Testtyp für Variante B:

  • Betreffzeilentest — derselbe E-Mail-Inhalt, eine andere Betreffzeile für Variante B. Das ist der häufigste und am einfachsten durchzuführende Test.
  • Inhaltstest — Variante B nutzt eine andere gespeicherte E-Mail-Vorlage (keinen frei eingegebenen Inhalt). Nutzen Sie das, wenn Sie völlig unterschiedliche Layouts oder Ansätze testen möchten.

Testen Sie immer nur eine Sache. Wenn Sie sowohl Betreffzeile als auch Inhalt ändern, wissen Sie nicht, welche Änderung den Unterschied gemacht hat. Eine klare, einzelne Hypothese pro Test liefert verwertbare Ergebnisse.

3. Den Test konfigurieren

EinstellungWas sie bedeutet
Testaufteilung in ProzentDer Anteil, der jede Variante erhält, per Schieberegler in 10-%-Schritten von 10 % bis 50 % einstellbar. Bei 20 % gehen Variante A und Variante B an je 20 % Ihrer Zielgruppe, die verbleibenden 60 % erhalten den Gewinner.
Wie der Gewinner ermittelt wirdBeste Öffnungsrate, beste Klickrate oder Ich wähle manuell. Wählen Sie Öffnungs- oder Klickrate, damit Owlat automatisch entscheidet; wählen Sie manuell, um den Gewinner im Kampagnenbericht selbst zu bestimmen.
Testdauer (Stunden)Wie lange Owlat wartet, bevor der Gewinner automatisch ermittelt wird. Wählbar aus den Vorgaben 1, 2, 4, 6, 12 oder 24 Stunden. Dieses Feld erscheint nur, wenn der Gewinner über Öffnungs- oder Klickrate ermittelt wird — manuelle Tests haben keinen Timer.
Der Auto-Versand hängt daran, wie der Gewinner bestimmt wird

Es gibt keinen separaten Schalter für „automatisch senden“. Wählen Sie beste Öffnungsrate oder beste Klickrate, wird der Gewinner automatisch versendet, sobald die Testdauer abgelaufen ist. Wählen Sie Ich wähle manuell, läuft kein Timer — die zurückgehaltene Zielgruppe wird erst angeschrieben, wenn Sie im Kampagnenbericht einen Gewinner bestimmen.

4. Den Test starten

Senden oder planen Sie Ihre Kampagne wie gewohnt. Die Testgruppe erhält ihre Varianten sofort. Bei automatischen Tests startet der Countdown der Testdauer; bei manuellen Tests wartet die Kampagne darauf, dass Sie einen Gewinner wählen.

Die richtigen Einstellungen wählen

Größe der Testgruppe

  • 10–20 % funktionieren gut bei großen Zielgruppen (10.000+ Kontakte). Sie erhalten belastbare Daten und behalten die meisten Empfänger für den Gewinner.
  • 30–50 % sind bei kleineren Zielgruppen besser. Bei wenigen Kontakten braucht es eine größere Stichprobe für aussagekräftige Ergebnisse.

Testdauer

  • 2–4 Stunden genügen meist für Betreffzeilentests, bei denen die meisten Öffnungen schnell erfolgen.
  • 12–24 Stunden eignen sich besser für klickbasierte Tests, da Klicks tendenziell langsamer eintreffen.
  • Für einen monatlichen Newsletter reicht ein Testfenster von 4 Stunden in der Regel aus, um klare Unterschiede bei den Öffnungsraten zu sehen.

Eine zu kurze Testdauer kann zu unzuverlässigen Ergebnissen führen. Wenn nur eine Handvoll Menschen die E-Mail geöffnet hat, ist der „Gewinner“ womöglich bloß Zufallsrauschen. Geben Sie den Empfängern genug Zeit zur Interaktion. Zeigt beim Ablauf des Timers keine der Varianten Interaktion, greift Owlat auf Variante A zurück, damit die verbleibende Zielgruppe in jedem Fall angeschrieben wird.

Ergebnisse auswerten

Nach Ablauf des Auswertungsfensters prüfen Sie Ihre Testergebnisse:

  1. Gehen Sie zu Kampagnen > A/B-Ergebnisse, um die Resultate über alle Tests hinweg zu sehen.
  2. Öffnen Sie den Bericht der jeweiligen Kampagne für detaillierte Kennzahlen Variante für Variante.

Für jede Variante sehen Sie:

  • Gesendet-Anzahl
  • Öffnungsrate
  • Klickrate
  • Gewinner-Kennzeichnung — welche Variante ausgewählt wurde

Bei einem manuellen Test zeigt der Bericht die Schaltflächen Variante A wählen und Variante B wählen, solange der Test noch läuft. Eine Auswahl bestimmt den Gewinner und sendet ihn an die verbleibende Zielgruppe.

Bewährte Praktiken

  • Mit Betreffzeilen anfangen — sie sind am einfachsten zu testen und haben den größten Einfluss auf die Öffnungsraten.
  • Eine Variable pro Test — ändern Sie zwischen den Varianten nur eine Sache, um klare, verwertbare Ergebnisse zu erhalten.
  • Regelmäßig testen — was bei Ihrer Zielgruppe funktioniert, entwickelt sich mit der Zeit. Regelmäßiges Testen hält Ihre E-Mail-Strategie scharf.
  • Erkenntnisse festhalten — notieren Sie, welche Stile von Betreffzeilen, welche inhaltlichen Ansätze oder Handlungsaufforderungen bei Ihrer Zielgruppe am besten funktionieren.
  • Nicht übertreiben — nicht jede Kampagne braucht einen A/B-Test. Setzen Sie sie bei wichtigen Versänden ein, bei denen Optimierung zählt.

Nächste Schritte

WeiterAutomationen