Betreffzeilen-A/B-Test und Listengröße

Größere Listen verwenden, um die Möglichkeit zu verringern, dass der Betreffzeilen-A/B-Test ein zufälliges Ergebnis zur Folge hat

Wenn Sieeinen Betreffzeilen-A/B-Testdurchführen, empfehlen wir, dass Ihre A- und B-Listen jeweils 1.000 Kontakte für insgesamt 2.000 Kontakte haben. Je größer Ihr Publikum, desto besser, weil dadurch die Chancen, dass Ihre Ergebnisse anormal sind, sinken, und Ihr Vertrauen in Ihr Ergebnis gestärkt wird; dies wird als „statistische Signifikanz“ bezeichnet.

Eine hohe statistische Signifikanz bedeutet, dass Sie von Ihren Ergebnissen überzeugt sind und anhand dessen eine bessere Entscheidung treffen können, während eine niedrige statistische Signifikanz bedeutet, dass Ihre Ergebnisse aufgrund anderer Faktoren entstanden sind, die Sie nicht geplant haben.

Beispiel:

Sie führen einen A/B-Test für Ihre Betreffzeile durch und senden zwei Versionen Ihrer Betreffzeile, jeweils an die Hälfte Ihrer Liste. Einer Ihrer Kontakte ruft seine E-Mail ab und steht für eine Minute auf, um sich Kaffee einzuschenken. Während er weg ist, tritt die Katze auf die Tastatur und öffnet versehentlich Ihre E-Mail mit der Betreffzeile B. Wie wichtig ist die Katze für die Ergebnisse Ihres A/B-Tests?  
 

Wie Sie sehen können, je größer Ihre Liste, desto größer die Anzahl der Öffnungen und desto weniger spielt die Katze dabei eine Rolle. Denken Sie daran, wenn Sie Ihren A/B-Test fertigstellen, müssen Sie die Öffnungsrate der E-Mail B dennoch mit E-Mail A vergleichen - wenn Ihre Liste klein ist, könnte die Katze dafür verantwortlich sein, dass Sie den falschen Gewinner verkünden!


 

In diesem Beispiel wissen Sie, dass die Katze ein Faktor ist und Ihre Öffnungsrate beeinflusst, aber Sie wissen niemals mit Sicherheit, warum eine E-Mail geöffnet wird oder nicht, wenn Sie sie an eine reale Kontaktliste senden. Sie können versehentliche Öffnungen nicht verhindern, aber Sie können die Auswirkungen auf Ihre Testergebnisse minimieren, indem Sie mit einer größeren Listengröße testen.

Die Daten zeigen: Ihre Betreffzeile hat eine direkte Auswirkung auf Ihre Öffnungsrate; wenn Ihre Betreffzeile richtig geschrieben ist, weckt dies die Neugier Ihrer Kontakte und sie öffnen Ihre E-Mail, um weitere Einzelheiten zu sehen, wenn Ihre Betreffzeile aber schlecht ist, wird sie von Ihren Kontakten übersprungen. Die Gewinner-Betreffzeile in einem Betreffzeilen-A/B-Test gibt Ihnen einen Einblick darüber, was Ihr Publikum beim Überfliegen Ihrer Inbox sucht. Wenn Sie das nächste Mal eine E-Mail mit Ihrer Gewinner-Betreffzeile als Leitfaden an dasselbe Publikum senden, sollten Sie einen Anstieg bei den Öffnungen bemerken.

Questions?