{"id":10290,"date":"2014-04-05T13:03:15","date_gmt":"2014-04-05T11:03:15","guid":{"rendered":"http:\/\/flaven.fr\/?p=10290"},"modified":"2026-09-16T10:07:46","modified_gmt":"2026-09-16T08:07:46","slug":"mysql-xml-bigdata-resorber-la-dette-technique-et-unifier-les-donnees-pour-le-marketing","status":"publish","type":"post","link":"https:\/\/flaven.fr\/2014\/04\/mysql-xml-bigdata-resorber-la-dette-technique-et-unifier-les-donnees-pour-le-marketing\/","title":{"rendered":"MySQL, XML, BigData – R\u00e9sorber la dette technique et unifier les donn\u00e9es pour le marketing"},"content":{"rendered":"\n


\n \t<\/p>\n

Il est beaucoup question du ph\u00e9nom\u00e8ne du Cloud, de la big data. Toutefois, la consolidation des donn\u00e9es dans un espace viable et optimale n’est pas une tache ais\u00e9e. Comme il existe de la dette technique, il existe des adh\u00e9rences fortes dans la manipulation des donn\u00e9es li\u00e9es \u00e0 des pesanteurs historiques (donn\u00e9es sous diff\u00e9rents formats, donn\u00e9es non structur\u00e9es). La premi\u00e8re phase avant d’envisager de structurer les donn\u00e9es, il faut d’abord les r\u00e9colter et d’auditer l’existant.<\/p>\n

Il faudra donc souvent manipuler des fichiers physiques qu’il faut traiter et cela souvent \u00e0 moindre frais. Bref, uniformiser rapidement avec une contrainte financi\u00e8re et de temps forte (pas de thune, peu de temps).<\/p>\n

En substance, on va transf\u00e9rer des donn\u00e9es mortes “dump\u00e9s” au format XML pour les injecter dans une BDD MySQL, ce qui consiste \u00e0 explorer la commande SQL LOAD DATA LOCAL INFILE<\/code> <\/b> <\/p>\n

Note : Le test de transfert de donn\u00e9es \u00e0 \u00e9t\u00e9 fait via un client MySQL sur MAMP dont la version est la suivante MySQL 5.5.33<\/i><\/p>\n\t\t\t\t\t

\n\n\t\t\t\t\t
\n\t\t\t\t\t \"MySQL<\/a>\n\t\t\t\t\t <\/div>\n\t\t\t\t\t\t
\n\t\t\t\t\t\t\t

MySQL Cookbook 2e<\/a><\/h2>\n\t\t\t\t\t\t\t\n\t\t\t\t\t

Un livre vraiment complet pour \"masteriser\" le format de base de donn\u00e9es le plus r\u00e9pandu sur le Web : MySQL. Un livre tr\u00e8s pratique, truff\u00e9 de cas pratiques avec des solutions cl\u00e9 en main notamment les bonnes lignes de commande pour parfaire votre maitrise de la console MySQL.<\/p>\n\t\t\t\t\t\t\t\tGenre(s) : Base de donn\u00e9es<\/a>, MySQL<\/a>, NoSQL<\/a>, PHP<\/a>
Auteur(s) : Paul Dubois<\/a>
\n\t\t\t\t\t

<\/i>+ d'infos<\/span><\/a><\/div>\n\t\t\t\t\t\t<\/div>\n\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t\t\t\t\n

The XML Transfert<\/h4>\n

Bon, il est vrai que notre exemple est relativement facile, on triche un peu. Notre source de donn\u00e9es est \u00e0 la base, d\u00e9j\u00e0 dans un format quelque peu structur\u00e9 (donn\u00e9es structur\u00e9s au format XML) et pr\u00eat \u00e0 l’\u00e9change ! Cela pourrait \u00eatre tout aussi bien des fichiers statiques de JSON, des tableurs excel au format CSV… La question de la consolidation devient beaucoup plus probl\u00e9matique lorsque on a une h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 de format de donn\u00e9es, de structure ! Comment mapper, comment structurer, comment tirer la substantifique moelle de tout ce “fatras” digital, quelle socle technologique pour requ\u00eater l’ensemble (NoSQL, RDBM)… Bref, des questions \u00e9minemment importantes car la qualit\u00e9 informationnel d\u00e9pend des recoupements pertinents et de la facilit\u00e9 \u00e0 agr\u00e9ger\/consolider d’autres sources de donn\u00e9es en cours de projet, appelons cela la scalabilit\u00e9 de pertinence.<\/p>\n

Bon, laissons tomber les concepts, donnons plut\u00f4t une petite recette.
\nLa base de donn\u00e9es MYSQL qui va recevoir les donn\u00e9es du XML<\/b>
\n\"MySQL,<\/p>\n

Dans la client MySQL, le mot de passe sur Mac et sur MAMP<\/code> est g\u00e9n\u00e9ralement root<\/code><\/b><\/p>\n

\/Applications\/MAMP\/Library\/bin\/mysql -u root -p<\/pre>\n
\"MySQL,<\/p>\n
Dans la client MySQL, s\u00e9lection de la base via la commande<\/b><\/p>\n
USE le_nom_votre_base; <\/pre>\n
Bien s’assurer que la table est vide avant de lancer l’import<\/b><\/p>\n
TRUNCATE TABLE person;<\/pre>\n
\"MySQL,<\/p>\n
\"MySQL,<\/p>\n
\"MySQL,<\/p>\n
Histoire de cr\u00e9er la table qui va bien. La BDD se nomme le_nom_votre_base<\/code> et la table member_list_index<\/code><\/b><\/p>\n
\r\n  -- --------------------------------------------------------\r\n\r\n  --\r\n  -- Structure de la table `member_list_index`\r\n  --\r\n\r\n  CREATE TABLE member_list_index (\r\n     id int(11) NOT NULL AUTO_INCREMENT,\r\n     email varchar(255) NOT NULL DEFAULT '',\r\n     firstname varchar(255) NOT NULL DEFAULT '',\r\n     lastname varchar(255) NOT NULL DEFAULT '',\r\n     PRIMARY KEY (id)\r\n  ) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;\r\n\r\n  --\r\n  -- Full text search email, firstname, lastname\r\n  --\r\n\r\n\r\n\r\n  CREATE FULLTEXT INDEX ind_full_email\r\n  ON member_list_index (email);\r\n\r\n  CREATE FULLTEXT INDEX ind_full_firstname\r\n  ON member_list_index (firstname);\r\n\r\n  CREATE FULLTEXT INDEX ind_full_lastname\r\n  ON member_list_index (lastname);\r\n\r\n  CREATE FULLTEXT INDEX ind_full_ema_fir_las\r\n  ON member_list_index (email, firstname, lastname);\r\n<\/pre>\n
Le fichier person_dump_1.xml<\/b><\/p>\n
\r\n  <?xml version=\"1.0\"?>\r\n  <list>\r\n         <person>\r\n             <PersonId num=\"1\"><\/PersonId>\r\n             <FirstName>Mikael<\/FirstName>\r\n             <LastName>Ronström<\/LastName>\r\n         <\/person>\r\n         <person>\r\n             <PersonId num=\"2\"><\/PersonId>\r\n             <FirstName>Lars<\/FirstName>\r\n             <LastName>Thalmann<\/LastName>\r\n         <\/person>\r\n   <\/list>\r\n<\/pre>\n
\r\n  LOAD DATA LOCAL INFILE '\/le-chemin\/vers-votre\/fichier\/person_dump_3_1.xml'\r\n   INTO TABLE person\r\n   CHARACTER SET binary\r\n   LINES STARTING BY '<person>' TERMINATED BY '<\/person>'\r\n   (@person)\r\n   SET\r\n     person_id = ExtractValue(@person:=CONVERT(@person using utf8), 'PersonId\/@num'),\r\n     fname = ExtractValue(@person, 'FirstName'),\r\n     lname = ExtractValue(@person, 'LastName')\r\n   ;\r\n  \r\n<\/pre>\n
Conclusion : Il existe bien une t\u00e2che ingrate, celle de devoir consolider des donn\u00e9es provenant de sources diverses et d’y trouver une coh\u00e9rence en vue d’une exploitation future. C’est le sens d’une API mais avant de se lancer dans un projet aussi ambitieux, “N’oubliez pas de nettoyer les chiottes num\u00e9riques et d’\u00e9teindre la lumi\u00e8re ?”, ce qui en novlangue digito-consultant signifie “Avez-vous une strat\u00e9gie claire dans la consolidation des vos donn\u00e9es, la cible \u00e9tant le bigdata, afin d’en tirer des m\u00e9triques significatifs pour une pertinence informationnelle optimale ?”.<\/b><\/p>\n
<\/p>\n
En savoir plus<\/h2>\n