Jenseits von Reichweite und Klicks

Katharina Knott, Chief Operating Officer, Mediteo GmbH 

 

Welche Eckpunkte gemessen werden sollten

Welche Kennzahlen sinnvoll sind, hängt von der konkreten Projektfrage ab. Ein Projekt zur Aktivierung von Patientinnen und Patienten benötigt andere Messgrößen als ein Projekt, das auf wiederkehrende Nutzung oder den Abruf bestimmter Informationen ausgerichtet ist.

Typische Kennzahlen können zum Beispiel sein:

• Reichweite: Wie viele Personen konnten einen projektspezifischen Touchpoint grundsätzlich sehen?

• Aktivierung: Wie viele Personen haben auf einen eingeblendeten oder bereitgestellten Inhalt reagiert?

• Nutzungsintensität: Wie häufig wird ein bestimmter Inhalt oder eine Funktion genutzt?

• Wiederkehrende Nutzung: Kehren Nutzerinnen und Nutzer zu einem Angebot zurück?

• Abbruchpunkte: An welcher Stelle endet eine definierte Nutzerstrecke besonders häufig?

• Zielaktionen: Wie viele Nutzerinnen und Nutzer führen die im Projekt definierte Handlung aus?

• Zeitliche Entwicklung: Verändert sich die Nutzung nach Launch, Kampagnenstart oder in späteren Projektphasen?

Und natürlich können auch verschiedene Kohorten miteinander verglichen werden (demographische Kohorten, Betroffene in aktiver Therapie mit einem alternativen Medikament, neue vs. Langzeit-App Nutzerinnen und Nutzer, u. v. m.)

Eine Zuordnung jeder Kennzahl zu einer konkreten Fragestellung sollte von Beginn an feststehen. Eine Klickrate allein sagt wenig aus ohne die Frage, welche Nutzergruppe angesprochen wurde, wo der Touchpoint platziert war und welche Handlung nach dem Klick erwartet wurde. Häufig ist es also ein Zusammenspiel aus Forschungsinteresse und Vision des Pharmaunternehmens und Expertise und Erfahrung des Digital Health Unternehmens.

Flexible Teilhabe in Echtzeit

Das Reporting beginnt nicht mit der ersten Auswertung, sondern bereits bei der Projektplanung. Wenn Ziele und Messgrößen erst nach dem Launch festgelegt werden, fehlen häufig Vergleichswerte oder relevante Events wurden nicht ausreichend berücksichtigt.

1. Projektziel und Messlogik festlegen

Zu Beginn sollte feststehen, welches Verhalten im Projekt beobachtet werden soll.

Bei einem Informationsangebot kann beispielsweise interessant sein, wie viele Nutzerinnen und Nutzer den Inhalt öffnen und ob sie zu weiteren Informationen wechseln. Bei einem Serviceangebot kann stärker interessieren, ob eine Funktion wiederholt genutzt wird oder ob bestimmte Nutzergruppen länger aktiv bleiben. Für die Bestimmung der geeigneten Kennzahlen in einem Projekt ist ein Kick-off-Gespräch oder Workshop zwischen den Fachpersonen im Pharma-Unternehmen und dem Projektmanager auf Seiten der App unerlässlich.

Auf dieser Basis werden die zu messenden Interaktionen und der Reporting-Zeitraum festgelegt.

2. Relevante Interaktionen erfassen

Nach dem Launch werden die zuvor definierten Ereignisse erfasst. Dabei sollte nicht jede technisch messbare Aktion automatisch in das Reporting aufgenommen werden.

Ein sinnvoller Report konzentriert sich auf Ereignisse, die für die Projektentscheidung relevant sind. Bei zehn möglichen Klickpfaden kann es in manchen Fällen ausreichen, drei zentrale Schritte zu betrachten, wenn diese die tatsächliche Patient Journey abbilden.

Das Tracking sollte in jedem Fall DSGVO-konform sein. Bei mediteo werden Aktionen ausschließlich ohne Personenbezug gespeichert, sodass kein Rückschluss auf einzelne Personen mehr möglich ist. Zusätzlich werden die Rohdaten aggregiert, um signifikante Aussagen über die Gesamtpopulation zu erzielen. Dadurch werden die Anonymität der Betroffenen gewahrt, regulatorische Hürden minimiert und Risiken auf Seiten der Auftraggeber gesenkt.

3. Kennzahlen in Relation setzen

Absolute Zahlen reichen für die Interpretation häufig nicht aus.

500 Interaktionen können sehr gut oder sehr schwach sein. Das hängt unter anderem davon ab, wie viele Nutzerinnen und Nutzer den Touchpoint gesehen haben, wie lange er verfügbar war und welche Hürde mit der gewünschten Aktion verbunden war.

Deshalb sollten Berichte Kennzahlen möglichst in Beziehung setzen, zum Beispiel:

• Interaktionen im Verhältnis zur erreichten Nutzerbasis

• Entwicklung im Vergleich zum vorherigen Reporting-Zeitraum

• Nutzung vor und nach einer inhaltlichen Anpassung

• Unterschiede zwischen verschiedenen Touchpoints

• Veränderung der Nutzung über mehrere Wochen oder Monate

Dafür ist es von Vorteil zusätzliche Einflussfaktoren, die dem auftraggebenden Pharma-Unternehmen bekannt sind mit dem Digital Health Unternehmen zu teilen (vergangene Launches, Konkurrenzsituationen, Neuzulassungen, etc.). Dies kann helfen die Analysen so durchzuführen, dass exakt die Fragezeichen angegangen werden, die bestehen.

Wie solche Real World Daten über das einzelne Projekt hinaus für pharmazeutische Fragestellungen genutzt werden können, zeigen wir in unserem Beitrag zu Real World Data und Real World Evidence: https://www.mediteo.com/de/patient-engagement-im-wandel-wie-real-world-data-neue-perspektiven-auf-therapieerfolg-eroeffnen/ .

4. Ergebnisse gemeinsam bewerten

Die reine Bereitstellung von Zahlen ist für Pharma-Projektteams nur begrenzt hilfreich wenn nicht erkennbar wird, welche Schlussfolgerung aus einer Veränderung gezogen werden kann.

Sinkt die Nutzung eines Touchpoints, kommen mehrere Ursachen infrage. Möglich sind eine ungünstige Platzierung, eine zu komplexe Nutzerführung, ein saisonaler Effekt oder eine Veränderung der erreichbaren Nutzergruppe. Ein Reporting sollte diese Möglichkeiten auseinanderhalten und nicht automatisch aus einer einzelnen Kennzahl eine Ursache ableiten.

Insbesondere aufgrund von inhärentem Kohorten-Bias, technischem Verständnisses und möglichen technischen Restriktion, ist es unerlässlich, dass das Digital Health Unternehmen an der Interpretation der Daten mitwirkt. Deshalb werden Daten nicht nur in rohen, komplexen Tabellen geteilt, sondern in anschaulichen Visualisierungen und mit notwendigen Anmerkungen und hilfreichen Interpretationen. Gegebenenfalls können insbesondere für die Zielgruppe im digitalen Kontext aus Facherfahrung auch Handlungsempfehlungen für das Pharma-Unternehmen von großem Wert sein. Aber auch hier ist es essentiell, dass der Auftraggeber auch sein eigenes Wissen einbringt und Rückfragen stellt, um den bestmöglichen Informationsgehalt aus einem Projekt zu ziehen.

Wie ein mediteo-Report aufgebaut sein kann

Der Aufbau sollte sich an den Entscheidungen orientieren, die das Pharma-Team mit den Daten treffen muss.

Management Summary

Die erste Ebene sollte die wichtigsten Entwicklungen knapp zusammenfassen. Dazu gehören nicht alle verfügbaren Kennzahlen, sondern die Veränderungen, die für den Projektverlauf kritisch sind.

Beispiele:

• Aktivierungsrate gegenüber dem vorherigen Zeitraum gestiegen

• Nutzung eines bestimmten Touchpoints deutlich unter Erwartung

• Wiederkehrende Nutzung stabil, obwohl die Reichweite zurückgegangen ist

• Auffälliger Abbruch an einem bestimmten Schritt der Nutzerstrecke

KPI-Übersicht

Im nächsten Schritt werden die zentralen Kennzahlen mit Vergleichswerten dargestellt.

Sinnvoll sind etwa:

• aktueller Wert

• vorheriger Reporting-Zeitraum

• Veränderung absolut und relativ

• vereinbarter Zielwert, falls vorhanden

• kurze fachliche Einordnung

Zusätzlich haben sich Darstellungen des in der App oder Gesundheitsanwendung veröffentlichten Materials oder der User Journey bezahlt gemacht, um das Verständnis für das Medium zu erhöhen.

Detailanalyse

Wenn eine Kennzahl auffällig ist, sollte der Report die Ursache soweit möglich weiter eingrenzen.

Beispielsweise kann geprüft werden:

• Betrifft der Rückgang alle Touchpoints oder nur einen?

• Hat sich die Reichweite verändert oder nur die Interaktionsrate?

• Ist die Nutzung einmalig oder wiederkehrend?

• Trat die Veränderung nach einer Anpassung im Projekt auf?

• Besteht das Muster über mehrere Reporting-Zeiträume?

An dieser Stelle lohnen sich meist gezielte, zusätzliche Analyse, die den Erkenntnissen aus dem Projekt noch mehr Dimension verleihen.

Nächste Maßnahmen

Ein Report wird besonders nützlich, wenn aus den Daten konkrete Prüfaufträge entstehen.

Das kann etwa bedeuten:

• Platzierung eines Touchpoints anpassen

• Text oder Call-to-Action überarbeiten

• einen wenig genutzten Schritt aus einer Nutzerstrecke entfernen

• eine erfolgreiche Interaktion stärker sichtbar machen

• eine Hypothese im nächsten Reporting-Zeitraum gezielt überprüfen

In diesem letzten Schritt sind die Pharma-Unternehmen ganz besonders gefragt, denn wie Ergebnisse und Insights intern genutzt werden und welche Handlungen daraus folgen helfen künftige Projekte besser vorzubereiten, technische Hürden früher zu erkennen und auszumerzen und langfristige Kooperationen bestens aufeinander abzustimmen. Ein ausführliches Feedback- und Abschlussgespräch ist daher oft bereits der Anfang eines neuen Projekts.

Ein Caveat und die passende Lösung

Auch bei einem umfassenden Reporting bleiben methodische Grenzen.

Nutzungsdaten zeigen, dass ein bestimmtes Verhalten stattfindet. Sie erklären nicht automatisch, warum es stattfindet.

Ein Rückgang der Nutzung kann natürlich durch fehlendes Interesse verursacht sein. Ebenso möglich sind eine ungünstige Nutzerführung, eine veränderte Patientensituation oder ein technischer Effekt. Diese Trennung ist wichtig, weil sie verhindert, dass aus einer Korrelation vorschnell eine Erklärung abgeleitet wird.

Wenn die Ursache für eine Beobachtung von Interesse ist, sollte das Tracking deshalb durch weitere Methoden ergänzt werden, etwa durch qualitative Interviews, Tests oder kurze Umfragen. Insbesondere letzteres kann einfach und schnell durch In-App-Umfragen in exakt der Umgebung und des Kontexts der Maßnahmen durchgeführt werden.

Fazit

Performance Tracking bei mediteo soll Pharma-Teams nicht möglichst viele Kennzahlen liefern. Der Nutzen liegt darin, projektrelevante Interaktionen regelmäßig und vergleichbar auszuwerten. Damit können Teams prüfen, welche Touchpoints tatsächlich genutzt werden, wo Nutzerinnen und Nutzer abspringen und ob Anpassungen messbare Effekte haben.

Für Pharmaunternehmen entsteht daraus ein konkreter Steuerungsvorteil: Projektentscheidungen müssen nicht bis zur Abschlussauswertung warten. Sie können auf Basis der laufenden Nutzung überprüft, angepasst und im nächsten Reporting-Zyklus erneut bewertet werden.