Eleven Strategy · Vainqueur d’un hackathon · 2024
The InvitAItion : choisir les bons invités
Le modèle gagnant d’un hackathon, qui a fait passer le gain attendu par événement de luxe d’environ 28 k€ à 49 k€.
- Rôle
- Chef de projet, défi de cinq jours
- Réalisé avec
- Python, scikit-learn, pandas
Le défi
Comment générer la meilleure liste d’invités pour un événement de luxe afin d’augmenter le chiffre d’affaires ? C’est l’objectif qu’Eleven Strategy, un cabinet de conseil parisien de premier plan, a fixé à la moitié de ma promotion de MSc. Après une répartition aléatoire des groupes, nous avions cinq jours pour présenter la proposition de conseil data la plus convaincante. Nous étions face à dix autres équipes, et nous avons gagné.
Contexte et données
Nous disposions d’environ 55 000 transactions de plus de 13 000 clients, ainsi que de 10 000 invitations à des événements, certaines réussies et d’autres non. Notre solution s’adressait à une marque de luxe qui souhaite inviter les meilleurs clients : ceux qui ont le plus de chances d’acheter après avoir assisté à un événement (un modèle de classification) et qui devraient dépenser le plus (un modèle de régression).
La situation de départ
Seules 50 % environ des invitations étaient réussies, c’est-à-dire que le client venait à l’événement : la stratégie d’invitation actuelle ne faisait pas mieux qu’un tirage à pile ou face. La plupart des clients ayant accepté une invitation (93 %) n’avaient participé qu’à un seul événement. Pour obtenir une estimation non biaisée du gain moyen actuel par événement, nous avons exclu les clients ayant participé à plusieurs événements et fixé une fenêtre de 90 jours pour comparer les ventes avant et après chaque événement. Le gain moyen par événement était d’environ 28 k€.
Les KPI de notre solution
- Gain moyen par événement (KPI business)
- Taux de réussite des invitations (KPI business)
- Performance du modèle (KPI technique) : recall pour le modèle de classification, MSE pour le modèle de régression
Mesurer le véritable impact d’un événement
Nous avons d’abord regroupé les clients au comportement d’achat similaire avant tout événement, avec un clustering K-means, pour obtenir une référence. Puis, au sein de chaque cluster, nous avons comparé l’évolution moyenne des achats des clients qui ont assisté à un événement avec celle des clients qui n’y sont pas allés. La différence entre ces deux évolutions est le véritable gain de l’événement.

Six clusters
| Cluster | Clients | Ventes (M€) | Achats | Ancienneté client (mois) |
|---|---|---|---|---|
| Loyal Shoppers | 297 (2 %) | 31 (30 %) | 30 | 16 |
| Women’s Style Enthusiasts | 8 719 (67 %) | 58 (56 %) | 3 | 3 |
| Men’s Fashion Explorers | 2 364 (18 %) | 7 (8 %) | 2 | 2 |
| Rare Shoppers | 1 286 (10 %) | 3 (4 %) | 1 | 1 |
| Tiny Trends | 257 (2 %) | 0,5 (0,5 %) | 2 | 2 |
| Timepieces Lovers | 163 (1 %) | 2 (1 %) | 2 | 3 |
Nous avons construit les clusters à partir du comportement d’achat : montant dépensé, nombre d’achats, catégories achetées et ancienneté du client. Ce sont de bons indicateurs du comportement futur, à privilégier ; les variables démographiques servent plutôt à atteindre et à trouver les clients.
Un événement réussi
Dans les deux clusters, les dépenses moyennes ont évolué après l’événement. Prenons le cluster 1 : participants et non-participants ont dépensé davantage, mais les dépenses des participants ont augmenté plus fortement. Comme les deux groupes appartiennent au même cluster, ils avaient un comportement d’achat similaire avant l’événement : la différence entre le gain des participants et le gain de référence peut donc être attribuée à l’événement lui-même (en surbrillance). En répétant l’opération pour chaque cluster et en additionnant les résultats, on obtient le véritable gain total de l’événement. Cet événement est réussi, car il existe un gain dû à l’événement.
Un événement qui n’a pas marché
Ici, les deux groupes d’un même cluster ont augmenté leurs dépenses du même montant. Cette hausse vient de facteurs externes, comme une meilleure conjoncture économique ou des événements saisonniers tels que Noël, et non de l’événement.
Noter les invités
Pour trouver les meilleurs invités, nous avons attribué un score à chaque client en multipliant deux valeurs : le montant d’achat attendu après un événement (modèle de régression) et la probabilité de venir après avoir été invité (modèle de classification). Les clients sont ensuite classés par score décroissant.
Une plateforme automatisée
Nous avons prototypé une plateforme entièrement fonctionnelle qui prend en entrée les caractéristiques d’un nouvel événement et renvoie la liste d’invités optimale. Le client peut choisir le type d’événement, le produit à promouvoir, le canal d’invitation, le nombre d’invités, le coût par invité présent et d’autres variables liées au produit. La liste contient les clients aux scores les plus élevés, et le gain total est la somme de leurs scores moins le coût attendu de l’événement (nombre d’invités × coût par invité).

En tant que cabinet de conseil orienté data, nous avons aussi proposé des services complémentaires : des formations hebdomadaires pour faciliter la prise en main, la maintenance du modèle et du tableau de bord, une meilleure collecte des données et un réentraînement continu du modèle avec les nouvelles données.
Résultats
Le taux de réussite initial des invitations était d’environ 50 % ; notre modèle a atteint 89 % de précision, avec 91 % de recall sur les invitations réussies. Notre modèle prévoyait un gain moyen attendu par événement d’environ 49 k€, contre 28 k€ au départ.
Le concours ne visait pas un modèle parfait : nous n’avions que cinq jours. L’objectif était de construire la proposition de conseil data la plus convaincante, celle qu’un client choisirait. Dans la réalité, une solution solide pour un tel projet demanderait des mois de travail et d’analyse approfondie.
Diriger l’équipe
Le hackathon a été à la fois exigeant et gratifiant, et la répartition aléatoire des équipes le rendait encore plus proche d’un vrai environnement de travail. J’ai eu la chance de travailler avec des personnes tout aussi motivées et compétentes, sans qui la victoire aurait été bien plus difficile.
En tant que chef de projet, j’ai motivé chacun, nous ai fait avancer vers notre objectif commun et j’ai présenté notre solution finale.
Chaque membre d’une équipe a besoin d’un environnement où il se sent valorisé, écouté et motivé. C’est pourquoi je crois que les grands leaders sont de grands créateurs d’environnement.