Statistiques et analyses de données (data mining) avec R

Comprendre les principes théoriques de la statistique est une chose ; savoir les mettre en pratique en est une autre, et le fossé peut être large entre les deux. C'est pour vous aider à le franchir que l'auteur a écrit un ouvrage de "travaux pratiques" de la statistique décisionnelle et de la data science, qui fait suite à son ouvrage Data Mining et Statistique Décisionnelle paru dans la même collection. Ce nouvel ouvrage présente une étude de cas réalisée de A à Z à partir du même jeu de données, et répondant de façon complète et cohérente à deux importantes problématiques : la construction d'une segmentation de clientèle et l'élaboration d'un score d'appétence à l'achat d'un produit ou la souscription d'un contrat. Les données utilisées sont à la fois réelles et complètes. Elles proviennent du secteur de l'assurance, mais l'étude qu'elles permettent de réaliser peut se transposer a de nombreux autres domaines. Ces données sont disponibles sur le Web, notamment sur le site des Editions Technip où elles sont accompagnées des programmes présentés dans l'ouvrage. Ceci permettra au lecteur de compléter sa lecture par des exercices personnels, par le test de variantes, mais aussi d'utiliser ces programmes pour les appliquer à ses propres données et ses propres projets. L'étude de cas est menée avec le logiciel SAS, qui est à la fois le plus complet et le plus répandu des logiciels statistiques commerciaux, et qui permet de traiter tous les sujets abordés dans l'ouvrage, et même d'optimiser et d'automatiser les traitements. Tout au long de l'ouvrage, une bonne partie des procédures classiques de SAS/STAT est passée en revue, en mentionnant les améliorations des versions récentes, mais, au-delà des questions de programmation, nous souhaitons surtout montrer au lecteur qu'il est souhaitable et possible de conjuguer rigueur et productivité. Pour le scoring, quatre méthodes classiques de modélisation sont mises en oeuvre et comparées, l'analyse discriminante linéaire, les arbres de décision, la régression logistique et le classificateur bayésien naïf, de même que le bagging et deux méthodes plus avancées mises en oeuvre par l'appel de code R dans le programme SAS : les forêts aléatoires et le gradient boosting.

Cet ouvrage est le fruit d'une longue expérience d'enseignement des probabilités-statistiques au sein de l'Institut d'Informatique d'Entreprise et de l'ESCPI Ingénieurs 2000 (CNAM). Il s'adresse aux élèves des écoles d'ingénieur, aux étudiants en mathématiques appliquées et aux ingénieurs et techniciens non-spécialistes en la matière. Son contenu et sa forme pédagogique facilitent l'assimilation de la théorie probabiliste, en particulier de certains thèmes difficiles tels le calcul de loi, le conditionnement et les notions d'asymptotique. Le livre introduit également au domaine des applications en statistiques et en fiabilité. Après des rappels de cours, les exercices abordent des sujets classiques comme les lois usuelles et les vecteurs gaussiens et d'autres plus spécifiques comme la détection de rupture, sujet actuellement leader en matière de recherche.

Le data mining et la data science sont de plus en plus répandus dans les entreprises et les organisations soucieuses d'extraire l'information pertinente de leurs bases de données, qu'elles peuvent utiliser pour expliquer et prévoir les phénomènes qui les concernent (risques, production, consommation, fidélisation...). Cette cinquième édition, actualisée et augmentée de 90 pages, fait le point sur le data mining, ses méthodes, ses outils et ses applications, qui vont du scoring jusqu'au text mining, objet d'un chapitre complètement remanié. Nombre de ses outils appartiennent à l'analyse des données et à la statistique "classiques" (analyse factorielle, classification automatique, analyse discriminante, régression logistique, modèles linéaires généralisés, régression pénalisée, régression clusterwise...) mais certains sont plus spécifiques au data mining, comme les réseaux de neurones, les algorithmes génétiques, les SVM, les arbres de décision, les forêts aléatoires, le boosting et la détection des règles d'associations. Les avancées les plus récentes du machine learning et les applications les plus actuelles des Big Data sont présentées, qui vont des algorithmes de reconnaissance d'image aux méthodes de plongement de mots en text mining. Les chapitres sur les réseaux de neurones et les SVM sont illustrés par la reconnaissance de l'écriture manuscrite. Ces outils sont disponibles dans des logiciels de plus en plus puissants et complets, à commencer par le logiciel libre R, que nous comparons en détail aux logiciels SAS et IBM SPSS dans un chapitre spécifique. Ces logiciels sont utilisés pour illustrer par des exemples précis les explications théoriques données. Les aspects méthodologiques vont de la conduite des projets jusqu'aux facteurs de réussite et aux pièges à éviter, en passant par l'évaluation et la comparaison des modèles, leur intégration dans les processus opérationnels. Un chapitre est consacré à une étude de cas complète de credit scoring, de l'exploration des données jusqu'à l'élaboration de la grille de score.