Comment faire quand la CAH est dépassée?

3 solutions pour faire des clusters avec de gros volumes de données

lovely analytics CAH.png

La CAH permet de créer des groupes d’individus homogènes, c’est une méthode de clustering et elle donne vraiment de bons résultats. L’inconvénient de cette méthode c’est que les temps de calcul peuvent être très longs lorsque le nombre de clients à segmenter augmente. Certains outils refusent même de calculer une CAH à partir d’un certain seuil.

Problème : Comment faire un clustering efficace quand le nombre d’individus devient tellement important qu’on ne peut plus utiliser la CAH?

Lire la suite de « Comment faire quand la CAH est dépassée? »

Optimiser un modèle avec Grid Search

Grid Search 3La plupart des modèles de machine learning doivent être paramétrés pour donner les meilleurs résultats. Par exemple pour un Random Forest, on doit choisir le nombre d’arbres à créer et le nombre de variables à utiliser à chaque division d’un noeud. Si on paramètre à la main, cela peut vite s’avérer très coûteux en temps (et pas forcément très intéressant) …

C’est là que le Grid search intervient. C’est une méthode d’optimisation (hyperparameter optimization) qui va nous permettre de tester une série de paramètres et de comparer les performances pour en déduire le meilleur paramétrage.

Lire la suite de « Optimiser un modèle avec Grid Search »

Random Forest, tutoriel pas à pas avec R

Apprenez à utiliser un Random Forest avec R

lovely analytics Random Forest

L’algorithme Random Forest (forêt aléatoire) fait partie de la famille des modèles d’agrégation et donne de très bons résultats dans la plupart des problématiques de prédiction. Je vous propose dans ce tutoriel de voir comment appliquer un algorithme Random Forest avec R de la préparation des données jusqu’à la restitution des résultats.

Lire la suite de « Random Forest, tutoriel pas à pas avec R »

Réseaux de neurones comment ça marche ?

lovelyanalytics Réseaux de neuronesS’il y a un algorithme qui fait parler de lui en ce moment, un algorithme que tout le monde veut afficher fièrement sur son CV, c’est bien celui des réseaux de neurones (Neural Network). C’est l’algorithme de base qui se cache derrière le Deep Learning et les intelligences artificielles. Il est souvent utilisé pour les reconnaissances d’image et de voix. Mais sans aller jusque là, je vous propose de comprendre comment les réseaux de neurones fonctionnent pour pouvoir les utiliser. Alors accrochez vous, à la fin de l’article vous saurez comment ça marche.  Lire la suite de « Réseaux de neurones comment ça marche ? »

Ni boîte noire Ni usine à gaz

Simplifiez la Data science !

lovelyanalytics_boite_noire

Un data scientist doit maitriser de nombreux aspects : la collecte, la préparation des données, l’analyse, les algorithmes, les outils, la dataviz, la restitution, … Les sujets ne sont pas simples, c’est sûr et cela demande un réel effort de comprendre et d’expliquer simplement le fonctionnement des algorithmes comme les réseaux de neurones ou les forêts aléatoires. Souvent face à ces difficultés on rencontre 2 comportements : la boîte noire et l’usine à gaz qui sont tous 2 de très mauvais choix. Je vous explique ce que c’est et comment éviter de tomber dans ces pièges.

Lire la suite de « Ni boîte noire Ni usine à gaz »

Classification ascendante hiérarchique comment ça marche?

Apprenez à utiliser simplement une CAH en comprenant le fonctionnement de l’algorithme.

lovely analytics CAH

La CAH est un algorithme de machine learning qui permet, comme les K-means d’identifier des groupes homogènes dans une population. C’est par exemple la méthode de prédilection pour faire des segmentations clients sur des volumes de données acceptables (sinon on préférera utiliser la méthode mixte qui combine CAH et k-means). C’est une méthode que j’adore parce qu’elle m’a toujours surprise par son efficacité et sa capacité à mettre en avant des groupes très cohérents d’un point de vue métier. Typiquement avec la CAH on se dit toujours « Mais c’est tellement évident » en voyant les résultats.

Regardons de plus près comment ça marche :

Lire la suite de « Classification ascendante hiérarchique comment ça marche? »

Comment identifier les spécificités d’une sous-population ?

L’indice base 100 est mort, vive la valeur test

lovely-analytics-sous-populationLe profiling c’est un grand classique de l’analyse de données. L’objectif est de décrire le profil d’une population et de mettre en avant ses spécificités par rapport à une population de référence. Par exemple on peut analyser le profil de nos clients par rapport à la population française pour identifier le coeur de cible de notre marque. Ou on peut comparer les différents segments d’une segmentation client (pour en savoir plus sur la segmentation : ici, ou ici )

Souvent les chargés d’études utilisent les indices base 100 pour comparer les populations. Je suis absolument contre l’utilisation de ces index qui ne prennent absolument pas en compte la significativité. J’utilise toujours les valeurs tests. Je vous dis pourquoi et comment les calculer.

Lire la suite de « Comment identifier les spécificités d’une sous-population ? »