Digitalisation de l'information et des process

Transformation des données/ETL

Chez LGM Digital, nous regroupons les différentes compétences mises à contribution pour transformer les données techniques dans les différents contextes évoqués :

  • transformation de données non structurées en données structurées :;
  • migration de données
  • Contrôle qualité des données

Les spécialistes des données métiers, experts des normes et Data managers de LGM Digital se complètent, ce qui permet de proposer des solutions de conversions de données en :

  • optimisant les coûts de réalisation,
  • maîtrisant les contraintes de structuration
  • et garantissant la qualité des données traitées.

Enjeux des données

Cette information, le cœur-même de nos compétences, ces données, font l’objet actuellement d’un enjeu majeur pour nous tous, grands comptes industriels, et sociétés qui les accompagnent.
Cet enjeu majeur est que nos données, nous avons besoin de les rendre accessibles… pour être exploitables, et pour ce faire, elles doivent être structurées.

Les données doivent être rendues accessibles afin de pouvoir les exploiter pour :

  • optimiser ses processus métiers grâce à des outils dédiés comme :
    • les ERP,
    • les MES, GPAO, GMAO,
    • les ALM et PLM,
    • ou tout autre solution logicielle métier.
  • partager ces informations dans une chaîne industrielle comprenant des clients, des partenaires et des fournisseurs.
  • les interpréter, et en déduire des tendances, exploiter notre retex, tirer des conclusions et prendre les décisions stratégiques).

Structuration

Pour les partager et les exploiter, nous avons besoin de les structurer.

Cela fait plusieurs années maintenant que la normalisation des données s’est développée afin de proposer, à nous tous, des formats, structurés, nous permettant de répondre à cet enjeu de partage et d’exploitation des données.

Cette normalisation nous la proposons en nous appuyons sur les standards et les normes (OSLC pour l’ingénierie du cycle de vie, ASD pour le soutien, AIXM pour le trafic aérien, IFC pour le BIM, etc.)
Il s’agit d’autant de normes sur lesquelles nos spécialistes au sein de LGM Digital apportent à nos clients leur expertise pour les accompagner sur la mise en place de ces normes, ou pour produire de l’information dans le respect de ces normes ou pour les adapter à un format dit « propriétaire », pour des contexte métier industriel spécifique.

Conversion

C’est en accompagnant nos clients dans la mise en place de chaîne de continuité numérique en déployant ces formats pivots au travers des normes que nous avons pu faire le constat suivant :

Quels que soient les formats de données cibles, la problématique que nous rencontrons tous, à un moment donné, est « maintenant que j’ai défini, spécifié, la manière dont j’ai besoin de structurer mes données, mes informations, que ce soit selon des normes ASD ou autres, ou selon un format propriétaire, comment je migre mes informations qui sont aujourd’hui en l’état, peu ou pas structurées, voire même dispersées dans des sources et des formats différents, comment les migrer les transformer vers le format et selon la structuration cible, normalisée, et spécifiée ? »

C’est le constat que nous faisons depuis un certain temps, puisque nous accompagnons nos clients sur la mise en place des normes de structuration de données ou bien sur des projets de refonte de référentiels techniques, et nous avons été plusieurs fois amenés à répondre à cette problématique récurrente et on ne peut plus actuelle.

Méthode

Pour répondre à cette problématique du « comment faire ? »

Les différentes solutions qui s’offrent à un acteur de l’industrie qui souhaite migrer ces données d’un état non structuré vers un état structuré ou d’un format obsolète vers un nouveau format sont :

  • soit : faire ressaisir les informations par des équipes métiers, ce qui va prendre du temps, être onéreux, et introduire un nombre d’erreurs important dans les informations, et donc dégrader leur qualité
  • ou bien : ce qui va être beaucoup plus rapide et fiable, nous allons plutôt développer des outils adaptés, sur mesure, qui vont interpréter les informations en masse, selon des règles spécifiées et développées, et transformer la data vers le format cible. Selon les cas :
    • nous confions ce développement à une équipe de développement informatique qui va développer des scripts de transformation de données (ou migration). De tels développements peuvent être réalisés par nos équipes de développement.
    • ou bien nous confions cette transformation à une équipe spécialisée en Data Management (ETL, RPA)

Sur cette dernière solution, LGM Digital a développé des compétences particulières nous permettant de réaliser ces transformations de manière optimisée.

Le Data Management est une spécialité qui fait appel à l’utilisation de Base de Données et d’outil ETL jusqu’au RPA.

Nous avons des équipes de Data Management qui sont composées de consultants maîtrisant les outils ETL et RPA.

Alors qu’est-ce qu’un ETL, ETL signifie Extract Tranform and Load, c’est un applicatif qui comme son nom l’indique, va être capable, d’extraire de la donnée, de la transformer, et la charger dans une base de données cible ou de générer des fichiers de sortie au format attendu. Il s’agit d’outils qui sont habituellement utilisés par les spécialistes du Big Data, et qui sont très puissants, robustes et fiables.

Ils sont plus habituellement utilisés dans les domaines de la finance, ils sont encore rarement (sauf dans les DSI mais pour manager les flux d’information, pas pour convertir de l’information technique) utilisés dans des contextes métiers techniques comme les nôtres, mais ils s’avèrent pourtant extrêmement pertinents pour transformer le type de données et informations techniques que nous tous, ici présents, manipulons.

Autrement dit, nous ne redéveloppons pas à chaque fois des outils spécifiques pour chaque problématique, nous paramétrons des ETL. Ce qui a l’avantage de prendre moins de temps.

Les solutions RPA, pour Robotic Process Automation consiste à automatiser des tâches répétitives au travers de la programmation de robots. Cette solution permet de s’affranchir des tâches vécues comme les plus lourdes et peuvent même recourir à l'intelligence artificielle pour reproduire un comportement humain.

L’organisation

Pour vous présenter l’organisation d’un projet de transformation de données.

Au sein de LGM Digital nous avons :

  • des spécialistes des données métiers de nos clients,
  • des experts des différentes normes cibles de structuration de données,
  • et des Data Manager.

Nous sommes donc en mesure de :

  • analyser les données de nos clients en l’état, puisque nous connaissons ces données ;
  • spécifier comment les transformer pour les rendre compliant avec une structuration cible, puisque nous connaissons les normes cibles ;
  • mettre en œuvre la conversion de ces données ainsi spécifiée, grâce à notre maîtrise des outils de conversion.

L’ensemble de ces compétences nous permettent de proposer des solutions clés en main partant du conseil, passant par la spécification, et allant jusqu’à la mise en œuvre.

Pour donner quelques exemples pour illustrer l’application concrète de notre solution :

Projet Word → S1000D

Sur la norme S1000D, LGM Digital possède une très grande expertise. Nos équipes d’experts sont composées de spécialistes qui participent au groupe miroir du GIFAS sur la norme S1000D et nous réalisons de nombreuses prestations d’accompagnement à la mise en place de la S1000D pour nos clients.

La problématique la plus récurrente à laquelle nous apportons nos solutions aujourd’hui est : « Comment migrer l’ensemble de mon fonds documentaire, potentiellement composé de dizaines de milliers de pages de document Word non structuré, comment puis-je le convertir en Data Modules XML S1000D exploitables par mon IETM ? »

Analyse : nos experts vont analyser la documentation source en Word, cartographier les données à migrer.

Spécification : nos spécialistes de la norme vont spécifier les règles de transformation, indiquant où se trouve l’information source et où et comment la migrer dans le fichier cible normalisé.

Conversion : nos spécialistes en Data Management vont paramétrer l’applicatif ETL, pour effectuer les migrations et transformation spécifiée, des différentes sources vers les cibles définies, ce qui va réaliser la transformation en XML S1000D.

Les données ainsi obtenues sont ensuite exploitées par un viewer web de documentation électronique afin de pouvoir exploiter l’information documentaire dans un portail web ergonomique et fonctionnel plutôt que sous forme de documentation papier ou PDF.

Les scripts de transformation ainsi développés, peuvent être utilisés une fois pour un besoin ponctuel : la transformation d’un fonds documentaire en One Shot.

Si cette transformation doit être rejouée régulièrement à l’avenir par notre client, nous pouvons mettre à disposition un exécutable, compatible avec les contraintes DSI, qui rejouera la même transformation. De cette manière, nos clients pourront les réutiliser à chaque fois qu’ils en ont besoin.

Projet ATA2200 → S1000D

Pour une documentation de maintenance, notre client disposait d’un fond documentaire déjà structuré, mais selon la norme ATA2200. Nous avons pu l’accompagner dans la conversion de l’intégralité de ce fonds documentaire en S1000D 4.1.

Nos spécialistes des normes ATA2200 et S1000D ont spécifié la manière dont les données présentes selon une norme doivent être retranscrites pour être compliant selon la norme cible.

Nos équipes de Data Management ont mis en œuvre les transformations ainsi spécifiées pour produire les Data Modules XML en S1000D.

Reprise de données

Ces exemples de projet montrent un certain type de conversion d’un format source vers un autre format. On est sur du mono-format : Word → XML, XML → XML, Excel → XML, Word → XLS, Word → BdD

Mais nous pouvons également réaliser des transformations multi-formats.

Lorsque la complétude d’une information cible dépend des informations contenues dans 2 sources de formats différents.

Par exemple :
Plusieurs informations contenues dans des fichiers Excel, des bases Access, des XML, des bases de données, des Word doivent toutes être extraites et chargées dans une même base de données cible ou vers un fichier XML défini.

La qualité des données

Il y a un enjeu sous-jacent à cette ambition de rendre nos données exploitables. Nous avons besoin que l’information que l’on exploite soit exacte, cohérente, et intègre.

Or la donnée que l’on souhaite exploiter peut être non structurée.

Elle peut être sous deux sources potentiellement contradictoires, car maintenues différemment, non gérée en configuration.

Aussi, lorsque nous réalisons des transformations, ou lorsque nous structurons les données, nous pouvons en profiter pour les nettoyer, effectuer des contrôles de cohérence, relever des erreurs dans les données, les rapporter aux responsables métiers et les corriger.

Nous pouvons mettre en place des contrôles permettant de garantir la bonne migration et la qualité des données manipulées et vérifier la complétude de la migration.

Nos experts peuvent le faire à l’occasion d’une transformation, mais également sur toute base de données ou fichiers de données existants.