TL;DR

• Tracking über Gutscheincodes unterschätzt den Kampagnenerfolg. Tracking über Reagiererabgleich (=Gesamtconversions) überschätzt ihn.
• Der wahre Effekt liegt irgendwo dazwischen. Kontrollgruppen ("Hold-Out") machen ihn sichtbar.
• Mit einer sauber definierten Hold-Out-Gruppe misst du den inkrementellen Lift, also den Anteil der Käufe, die wirklich durch Print ausgelöst wurden.
• PostPal automatisiert das komplette Setup: Hold-Out anlegen, ausschließen, tracken, analysieren.
• Direct Mail wird damit zum messbaren Performance-Kanal.

Problem: Warum die meisten Marken Direct-Mail-Erfolg falsch bewerten

Viele Händler sehen nur, wer gekauft hat. Nicht, warum gekauft wurde. Die beiden gängigen Methoden zum Tracking sind:

• Gutscheineinlösungen
• Reagiererabgleich

Beide Methoden haben ihre Berechtigung, da sie einen guten Kompromiss aus Messbarkeit, Genauigkeit und Aufwand darstellen. Aber beide bilden die Realität nicht korrekt ab.

Gutscheine unterschätzen den Effekt regelmäßig

• Manche Käufer lösen den Gutschein nicht ein, wurden aber durch Print aktiviert.
• Andere hätten ohnehin gekauft – der Gutschein closed nur den Sale.

In inaktiven Segmenten (z.B. Winbacks) unterschätzen Gutscheine meist den Erfolg. In sehr aktiven Segmenten (z.B. Zweitkäuferpush) überbewerten sie ihn eher.

Reagierer überschätzen den Effekt

• Jede Bestellung aus dem Zielsegment wird Print zugerechnet.
• Damit entsteht die Obergrenze – oft deutlich zu hoch.

Beide Messmethoden nähern das wahre Kampagnenergebnis nur an und zeigen das typische Problem von Marketing-Attribution ("woran möchte ich glauben?"). Eine Kontrollgruppe löst dieses Problem und zeigt das wahre Ergebnis.

Der Gold-Standard: Kontrollgruppen

Eine Kontrollgruppe ist ein kleiner, repräsentativer Teil deiner Zielgruppe, der das Mailing nicht erhält. Alles andere bleibt identisch, z.B.: Preise, Promotions, Segmentlogik, Messzeitpunkt, Saison. Der einzige Unterschied: Print oder kein Print.

Damit beantwortest du drei Kernfragen:

• Welche Käufe wären ohnehin passiert?
• Welche wurden durch das Mailing ausgelöst, unabhängig von Gutscheinen?
• Wie hoch ist der echte wirtschaftliche Effekt?

Direct Mail wird damit von „gefühlt wirksam“ zu „sauber messbar“.

Exkurs: Automatische Kontrollgruppen in PostPal

Bisher war das Messen mit Hilfe von Kontrollgruppen enorm aufwändig, weswegen meist nur sehr große Teams darauf zurückgegriffen haben: hoher manueller Aufwand, Excel, Segmentpflege, fehleranfällige Auswertungen.

In PostPal kannst du nun bei jeder Kampagne automatisierte Kontrollgruppen erzeugen: 

• Automatische Aufteilung in Mailing vs. Hold-Out
• Kanalübergreifender Ausschluss über Klaviyo möglich
• Tagaktuelles Conversion-Tracking (Shopify, Klaviyo)
• Automatische Lift-Analyse

Damit wird Inkrementalitätsmessung endlich praktikabel.

Beispielrechnung

Zielgruppe

• 50.000 Empfänger
• 10 % Hold-Out = 5.000
• Mailinggruppe = 45.000

Kampagnenergebnis

• Reagierer: 3.740 (8,31 %)
• Gutscheine: 1.485 (3,3 %)
• Kontrollgruppe: 4,78 % (=natürliche Conversion Rate)

Inkrementeller Effekt

• Mailinggruppe: 8,31 %
• Kontrollgruppe: 4,78 %
• Lift = +3,53% (= tatsächliche Conversion Rate des Mailings)

→ 45.000 * 3,53 % = 1.589 zusätzliche Käufer

Für Kampagnen außerhalb starker Promotions sind Gutscheineinlösungen oft eine solide Näherung an das Kontrollgruppenergebnis, so wie im obigen Beispiel. In intensiven Promo-Phasen wie BFCM verändert sich das Bild jedoch deutlich: Die Gutscheineinlösung unterschätzt dann regelmäßig den tatsächlichen Kampagneneffekt. Das Mailing aktiviert den Kunden zwar – der Abschluss erfolgt aber über einen anderen Kanal oder einen anderen Gutschein, der gerade prominenter beworben wird. Genau in solchen Situationen öffnet sich die Lücke zwischen Gutschein-Attribution und echtem inkrementellem Uplift besonders klar.

Saubere Inkrementalitätsmessung

1. Segment definieren

Segment und Offer müssen zusammenpassen. Saubere Segmentierung ist der größte Hebel. Wir empfehlen die Segmentierung anhand vom RFM-Modell. Nur wenn dieser Schritt passt, macht die Kampagne Sinn. Ansonsten werden die Ergebnisse, egal welche Messmethode, enttäuschen.

Mit den Klaviyo- und Shopify-Integrationen von PostPal ist das Segmentieren kinderleicht.

2. Kontrollgruppe bestimmen

Statistisch relevante Größen:

• Minimum: 1.000–2.000
• Ideal: 5.000+
• Anteil: 5–15 %

Zu kleine Hold-Outs → zu viel Rauschen.

Zu große Hold-Outs (>30 %) → du verzichtest unnötig auf Conversion-Uplift.

3. Kontrollgruppe ausschließen

PostPal sorgt dafür, dass:

• Hold-Out keinen Print erhält,
• aber vollständig getrackt wird.

4. Kampagne senden

• gleiche Segmentlogik
• gleiche Zeitpunkte (Kontroll- und Mailinggruppe laufen gleichzeitig los)
• kein Kanal-Leak (Kontrollgruppe bekommt wirklich kein Print)
• Wichtig: Kontroll- und Mailinggruppe werden auf allen anderen Kanälen gleich behandelt.

5. Messzeitraum definieren

Direct-Mail-Response ist länger als viele denken:

• 50–60 % der Käufe in 21 Tagen
• Die Restlichen 40–50 % danach

PostPal nutzt ein 60-Tage-Tracking-Window.

6. Analyse

Wenn die Hold-Out-Gruppe die Mailinggruppe sauber widerspiegelt, kannst du sie hochrechnen.

Dann gilt: Inkrementeller Umsatz = Kampagnenumsatz – (hochgerechneter Umsatz der Hold-Out-Gruppe)

Damit berechnest du dann: CR, AOV, ROAS, CPO

(Info: In unserer nächsten Iteration werden wir dir das Gesamtergebnis automatisch berechnen und ausspielen.)

7. Skalierung

Wenn du das Mailing zum ersten Mal testest, empfehlen wir eine Kontrollgruppe. Nur so erkennst du, ob die Kampagne wirklich inkrementell profitabel ist.

Sobald das Setup validiert ist, kannst du 100 % der Zielgruppe anschreiben. Für bestehende, automatisierte Kampagnen reicht ein jährlicher Kontrollgruppen-Test, um sicherzustellen, dass der Effekt stabil bleibt.

Wann du keine Kontrollgruppe brauchst:

• wenn das Mailing bereits mehrfach validiert wurde
• wenn das Segment sehr klein ist und der Lift ohnehin schwer nachweisbar wäre

Wann eine Kontrollgruppe besonders sinnvoll ist:

• neue Kampagnenideen
• neue Incentives
• neue Segmente
• veränderte Marktbedingungen (z. B. Rabattniveau, Nachfrage, Werbekonkurrenz)

Long story short: Testen, wenn neu. Voll senden, wenn bewiesen. Jährlich verifizieren.

Fazit

• Kontrollgruppen machen Print messbar und wirtschaftlich bewertbar.
• Sie zeigen den wahren ROI – zwischen Coupon-Untergrenze und Reagierer-Obergrenze.
• Mit automatisierten Hold-Outs wird Direct Mail zum datengetriebenen Performance-Kanal.

Wenn du Hilfe beim Setup brauchst oder herausfinden möchtest, ob sich eine Kontrollgruppe für deine Kampagne lohnt, melde dich gern.

‍