Du thème du magazine à la pratique des projets
Pages de services et techniques pertinentes pour l'article
Beaucoup d’entreprises cherchent à obtenir de meilleurs rapports via de nouveaux tableaux de bord, des KPI supplémentaires ou un autre outil BI. En pratique, le problème se situe souvent en amont : qui veut améliorer la qualité des données doit stabiliser les données là où elles sont produites, transmises, consolidées et interprétées. La mauvaise qualité des données ne se manifeste pas seulement par des « chiffres erronés », mais au quotidien : les métiers discutent de la source au lieu de la décision, l’IT reçoit des tickets « le rapport est incorrect », et chaque analyse nécessite des corrections manuelles dans Excel.
La bonne nouvelle : des améliorations perceptibles ne nécessitent pas un programme massif. Avec une démarche claire sur 30 jours — focalisée sur quelques contrôles efficaces — il est possible de stabiliser les rapports de manière mesurable. L’essentiel est que les contrôles ne soient pas considérés comme un nettoyage ponctuel, mais comme un système de contrôle opérationnel : avec des seuils, des responsables, de la documentation et des voies d’escalade.
Ce billet décrit des contrôles de qualité des données pragmatiques que vous pouvez mettre en place en quatre semaines, sans « réinventer » le paysage système. L’accent est mis sur les conséquences pour l’exploitation, l’administration, les interfaces, les flux de données et la collaboration entre l’IT et les métiers.
Pourquoi les rapports échouent malgré des outils modernes : causes typiques dans les paysages d’entreprise
Dans des environnements évolutifs, les données naissent à travers de nombreuses étapes : ERP, CRM, entrepôts, portails, logiciels d’entreprise spécifiques, processus d’import/export, interfaces de prestataires. Chaque étape peut modifier le sens d’un champ. Un exemple classique est « Kunde » : dans le système A il s’agit du client facturé, dans le système B de l’adresse de livraison, dans le système C du site. Dès que ces notions sont réunies dans une analyse, apparaissent des indicateurs apparemment « faussés » — alors que techniquement tout a été chargé correctement.
Causes typiques rendant les rapports peu fiables :
- Sémantique ambiguë : les champs portent le même nom mais ont une signification différente selon le système. Ici, la sémantique désigne la signification métier — pas le format de données.
- Ruptures silencieuses d’interface : un champ est modifié dans une source (p. ex. nouveaux codes d’état), la trajectoire cible le reprend « comme avant » jusqu’à ce que les analyses se dégradent.
- Données de référence faibles : doublons, adresses obsolètes, référentiels produits inconsistants — et affectations incorrectes qui en résultent.
- ETL/ELT sans portes de qualité : ETL (Extract, Transform, Load) désigne les flux de chargement et de transformation vers un DWH. Sans contrôles, les éléments erronés sont simplement chargés.
- Corrections manuelles : les corrections dans Excel créent une logique parallèle. Le rapport peut sembler « correct », mais n’est pas reproductible.
La conséquence est toujours la même : il manque un mécanisme fiable qui détecte et trace les écarts tôt, avant qu’ils n’atterrissent dans les rapports de direction.
Mesurable en 30 jours : ce que signifie concrètement « meilleure qualité des données »
« Mieux » doit être mesurable, sinon ce n’est que du ressenti. Pour un plan sur 30 jours, il est utile de se concentrer sur quelques indicateurs acceptés à la fois par l’IT et les métiers. Trois niveaux se sont avérés efficaces :
- Qualité à l’entrée : part des enregistrements valides à la source (p. ex. commandes avec adresse de livraison complète).
- Qualité du pipeline : part des jobs de chargement contrôlés avec succès sans violation de qualité (p. ex. pas d’anomalies, pas de valeurs NULL inattendues).
- Qualité des rapports : nombre de réclamations sur les rapports, délai de résolution, nombre de corrections manuelles.
Misez sur un périmètre de démarrage restreint : deux à trois rapports critiques utilisés régulièrement (p. ex. chiffre d’affaires/marge contributive, respect des délais de livraison, indicateurs de stock). Pour ces rapports, définissez des « champs critiques » et implémentez les contrôles précisément à ces endroits. Cela évite que la qualité des données ne devienne un chantier sans fin.
Améliorer la qualité des données avec 5 catégories de contrôles qui fonctionnent dans tout environnement
Les catégories de contrôles ci‑dessous ont été choisies pour fonctionner indépendamment de l’outil BI utilisé. Elles peuvent être réalisées dans la base de données, dans la pipeline ETL ou comme tâches de contrôle séparées. L’important n’est pas l’outil, mais l’application systématique.
1) Contrôles de complétude : les champs obligatoires sont vraiment renseignés
La complétude est le levier le plus rapide, car elle se vérifie souvent sans logique complexe. Exemples typiques : ID client, numéro d’article, date de comptabilisation, centre de coûts, statut, devise. Piège pratique : « pas NULL » ne suffit pas. Un champ peut être techniquement rempli mais vide sur le plan métier (p. ex. « 0 », « – », «inconnu»).
Règles pratiques :
- Définissez par rapport 10–20 champs obligatoires réellement pertinents pour les indicateurs.
- Distinguez strict (le rapport ne doit pas se mettre à jour) et souple (le rapport se met à jour, mais avec alerte et ticket).
- Suivez le taux : « X% des enregistrements satisfont à tous les champs obligatoires » – c’est mesurable en 30 jours.
2) Contrôles de validité : plage de valeurs, format et conventions métier
La validité signifie qu’une valeur n’est pas seulement présente, mais plausible dans le cadre autorisé. Cela peut être technique (date au format ISO) ou métier (le statut est l’une des valeurs autorisées). Ce sont surtout les interfaces qui introduisent de nouveaux valeurs « inattendues ». Un contrôle de validité agit comme un système d’alerte précoce pour de tels changements.
Exemples de vérifications de validité robustes :
- Énumérations (listes de valeurs) : valeurs de statut, types de documents, types d’écriture.
- Plages de valeurs : quantités >= 0, remises entre 0 et 100, date de comptabilisation pas dans le futur (avec exception définie).
- Règles de format : longueur du code postal par pays, format IBAN, règles d’e‑mail (avec tolérance pour ne pas bloquer des cas particuliers légitimes).
Il est important de gérer consciemment les exceptions : un contrôle trop strict entraîne des contournements (« alors on mettra 999 »). Définissez donc une classe d’exception avec raison documentée et date d’expiration.
3) Contrôles de consistance : la même chose est identique dans toutes les tables
La consistance est la cause la plus fréquente de rapports contradictoires. Cas typiques : une commande est « terminée », mais des positions ouvertes existent encore. Un client est « inactif », mais enregistre de nouvelles écritures. Un article est « bloqué », mais est quand même approvisionné. Les contrôles de consistance vérifient les relations entre champs et tables.
Contrôles de cohérence pratiques, efficaces rapidement :
- Logique de statut : un statut final exige une date de fin ; l’annulation exige un motif d’annulation.
- Intégrité référentielle : chaque écriture a un centre de coûts valide ; chaque poste a une fiche article valide. (Même si la base de données n’impose pas de clés étrangères, le contrôle peut les surveiller.)
- Concordance des totaux : somme des postes = total du document (avec tolérance pour l’arrondi).
Ces contrôles sont particulièrement utiles car ils rendent visibles des ruptures sémantiques qui n’apparaissent autrement qu’en réunion. Pour l’exploitation informatique et la direction de projet, les contrôles de cohérence constituent un bon indicateur pour savoir si les changements dans le système source se répercutent.
4) Contrôles de doublons et d’identité : « un client » est vraiment un client
Les doublons apparaissent presque toujours aux frontières des processus et des systèmes : nouveaux canaux de vente, portails, création manuelle, migrations. Le métier les constate sous forme de ventes doublées, de segmentation erronée ou d’incertitude sur les responsabilités. L’informatique voit le plus souvent seulement des clés différentes.
Approche pragmatique sans grand projet de Master Data Management :
- Définissez une à deux règles de rapprochement pour les domaines maîtres les plus importants (p. ex. client : nom+code postal+rue ; fournisseur : numéro de TVA ou IBAN).
- Mettez en place un rapport « suspicion de doublon » : pas pour suppression automatique, mais comme liste de travail avec un responsable.
- Définissez un jeu de règles de reprise : quelle source de données est principale (System of Record) pour l’adresse, les conditions de paiement, la classification ?
L’effet mesurable après 30 jours n’est pas « plus de doublons », mais : les doublons sont trouvés plus rapidement, les responsables les traitent, et les rapports essentiels sont moins faussés par des comptages en double.
5) Contrôles d’anomalies et de dérive : quand les chiffres deviennent « anormaux » avant que cela n’escalade
Beaucoup d’erreurs de données ne sont pas « NULL », mais progressives : une interface fournit soudain 20 % d’enregistrements en moins, un statut est utilisé différemment, un site enregistre en devise incorrecte. Les contrôles de dérive examinent les tendances et les distributions. Ils sont particulièrement utiles pour les indicateurs opérationnels qui sont calculés quotidiennement ou hebdomadairement.
Mécanismes faciles à mettre en œuvre :
- Contrôle de volume : nombre d’enregistrements par jour/semaine dans un corridor (p. ex. minimum/maximum, moyenne mobile).
- Contrôle de distribution : la part de certains statuts ou catégories reste dans la fourchette attendue (p. ex. « annulé » ne devient pas soudainement 10× plus élevé).
- Contrôle de latence : temps entre l’événement dans le système source et la disponibilité dans le DWH/rapport (important pour le pilotage journalier).
Pour que les contrôles de dérive soient acceptés, ils ont besoin de règles d’alerte claires. Sinon, apparaît la « fatigue d’alerte » : beaucoup d’avertissements, peu d’actions. Définissez donc quelles déviations sont seulement consignées et lesquelles déclenchent un ticket.
Le plan sur 30 jours : comment l’informatique et le métier mettent en place des contrôles sans projet pharaonique
Les quatre semaines qui suivent constituent un rythme pragmatique. Il convient aussi bien aux architectures DWH/ETL classiques qu’aux plateformes de données modernes. L’objectif n’est pas la perfection, mais une boucle de qualité opérationnelle.
Semaine 1 : établir le focus – périmètre, sources de données, responsabilités
Commencez par une réunion conjointe entre l’IT et le service métier (60–90 minutes). Le résultat n’est pas un cahier des charges, mais une mission de travail aux limites clairement définies.
- Choisissez 2–3 rapports qui sont critiques pour l’activité et utilisés régulièrement.
- Définissez les sources de données et le chemin jusqu’au rapport : système source → interface → staging/ODS → DWH → BI. (ODS signifie Operational Data Store, soit une zone intermédiaire pour les données opérationnelles.)
- Désignez des Owner : pour chaque rapport, un Owner métier (signification/règles) et un Owner technique (pipeline/exploitation).
- Mesurer les baselines : taux d’erreur actuel, nombre de réclamations, causes typiques.
Même à ce stade, une petite « liste des concepts de données » est utile : quel indicateur signifie quoi, et quels champs sont en jeu ? Cela réduit les débats ultérieurs.
Semaine 2 : construire des contrôles – d’abord complétude et validité
La semaine 2 voit naître les premiers contrôles automatisés. L’objectif est d’obtenir rapidement un signal sans bloquer le quotidien opérationnel.
- Implémentez des contrôles de complétude pour les champs obligatoires des rapports sélectionnés.
- Ajoutez des contrôles de validité pour les valeurs de statut, les plages de dates, les formats de base.
- Définissez les résultats de contrôle comme des événements : « OK », « Avertissement », « Erreur ». Cette classification est opérationnellement plus importante que le texte technique détaillé.
Important : conservez historiquement les résultats de contrôle. Sinon, au bout de deux semaines vous ne pourrez pas dire si la situation s’améliore. Un simple journal d’audit par contrôle (horodatage, source concernée, nombre de violations) suffit pour commencer.
Semaine 3 : cohérence et dérive – stabiliser les flux de données plutôt que seulement nettoyer
Il s’agit maintenant d’attaquer les causes qui rendent les rapports « fragiles ». Les contrôles de cohérence révèlent les ruptures entre tables/systèmes, les contrôles de dérive mettent au jour les changements progressifs.
- Mettez en place 3–5 contrôles de cohérence qui impactent directement les indicateurs du rapport (p. ex. rapprochement des totaux, logique de statut).
- Définissez 1–2 contrôles de dérive par source de données (volume et latence sont généralement le meilleur point de départ).
- Convoquez une courte revue hebdomadaire (30 minutes) : quelles violations se répètent ? Quelles sont des erreurs « réelles », lesquelles nécessitent un ajustement des règles ?
C’est le point où la collaboration porte ses fruits : de nombreux « problèmes de données » sont des problèmes de processus (p. ex. gestion des statuts, champs obligatoires dans la vente). Lorsque le service métier est Owner, des mesures concrètes émergent au lieu de tickets sans effet.
Semaine 4 : opérer – escalade, tickets, validations, hygiène du reporting
Sans ancrage opérationnel, les contrôles s’étiolent après le pilote. La semaine 4 apporte routine et chemins clairs.
- Règles d’alerte et de ticketing : quelle classe de contrôle génère automatiquement un ticket ? Qui est destinataire ? Quel délai de réaction est réaliste ?
- Protection des releases : en cas de modifications d’interfaces ou de modèles de données, un ensemble minimal de contrôles est vérifié avant la mise en production (quality gate).
- Listes de travail des Data Owner : suspicion de doublons, classifications manquantes, exceptions avec date d’expiration.
- Hygiène des rapports : Supprimez les parcours de correction manuels ou marquez-les clairement comme « temporaire », avec date d’expiration et responsable.
Au terme des 30 jours, vous devriez disposer d’une fiche de résultats courte : baseline vs. état actuel (taux d’erreur, réclamations, délai de résolution). Cela crée de la confiance — et rend le déploiement suivant planifiable.
Où les contrôles sont-ils techniquement les plus pertinents : source, interface, DWH ou BI ?
Une question fréquente dans les projets est : « Où implémentons-nous les vérifications ? » La réponse dépend de l’impact et de l’exploitation. Règle empirique : vérifiez aussi tôt que possible, mais aussi près du rapport que nécessaire.
- Dans le système source : Idéal pour les champs obligatoires et les règles de processus (p. ex. logique des statuts). Avantage : les erreurs n’apparaissent pas. Inconvénient : les modifications requièrent une validation métier et peuvent impacter les processus.
- Dans l’interface : Adapté aux contrôles de format et de mapping. Avantage : protège les systèmes en aval. Inconvénient : en cas d’aborts stricts, des blocages de données peuvent se produire.
- Dans le DWH/Staging : Pertinent pour les contrôles de cohérence, les rapprochements de totaux, les contrôles de volume et de dérive. Avantage : centralisé, bien monitorable. Inconvénient : les erreurs sont déjà « entrées » et doivent être traitées rétroactivement.
- Dans la BI : Plutôt comme couche de protection finale (p. ex. avertissements). Avantage : rapidement visible par les utilisateurs. Inconvénient : trop tard pour corriger proprement les causes.
Pour un démarrage de 30 jours, le DWH/Staging est souvent l’emplacement pragmatique, car l’IT y a le contrôle sans intervenir dans les processus opérationnels. À moyen et long terme, il est pertinent de déplacer certains contrôles en amont dans le système source.
Data Governance allégée : rôles qui assurent réellement la qualité des données au quotidien
« Data Governance » fait penser à des comités et des directives. Pour des améliorations rapides, un modèle léger qui clarifie les responsabilités suffit. Trois rôles se sont avérés pertinents dans les projets :
- Data Owner (métier) : Responsable du sens, des règles et des exceptions. Décide si une valeur est acceptée d’un point de vue métier.
- Data Steward (opérationnel) : Traite les listes de travail (p. ex. doublons, classifications manquantes) et assure la maintenance continue.
- Technical Owner (IT) : Exploite les contrôles, le monitoring, les interfaces et les escalades ; garantit la traçabilité (logs, historique, reproductibilité).
Il est essentiel que les escalades ne disparaissent pas dans le néant : si une vérification est violée à répétition, il faut soit modifier le processus, adapter l’UI du logiciel métier, soit décider explicitement de changer la règle. « Ignorer » n’est pas une option, sinon le système de contrôle perd sa crédibilité.
Pièges typiques — et comment les éviter
Trop de contrôles en même temps
Si les équipes définissent 100 règles mais n’en exploitent aucune de manière cohérente, rien n’est gagné. Commencez par quelques contrôles qui agissent directement sur les rapports sélectionnés. Élargissez uniquement lorsque l’exploitation est stable.
Contrôles sans chemin d’action
Un contrôle qui n’affiche que « rouge » engendre de la frustration. Chaque règle nécessite un responsable, une forme de traitement (ticket, liste de tâches, processus) et une décision sur l’effet : bloquer le rapport ou simplement avertir.
« Nous nettoyons une fois » au lieu de corriger les causes
Un nettoyage ponctuel peut aider à améliorer les bases de référence. Ce n’est durable que lorsque la cause est traitée : champs obligatoires, masques de saisie, contrats d’interface, logique des statuts, migrations. Sinon, le problème réapparaîtra.
Absence de traçabilité de l’origine des données
Pour les incertitudes récurrentes, une vue simple de la traçabilité des données vaut l’effort : d’où provient un champ, quelles transformations s’appliquent, qui a modifié quelque chose en dernier ? La traçabilité des données désigne précisément cette chaîne d’origine. Elle n’a pas besoin d’un gros outil — une vue soignée pour chaque rapport suffit souvent.
Comment une meilleure qualité des données améliore les décisions — au-delà de « beaux tableaux de bord »
L’utilité ne se manifeste pas seulement par moins d’erreurs, mais par des décisions plus rapides et plus fiables :
- Moins d’efforts de coordination : Les réunions portent à nouveau sur les mesures plutôt que sur les sources de chiffres.
- Analyse des causes plus rapide : Les historiques des contrôles montrent quand une erreur a commencé (p. ex. après un déploiement ou un changement d’interface).
- Planification plus stable : Les prévisions et décisions liées aux stocks sont moins biaisées par des artefacts de données.
- Moins d’informatique parallèle : Lorsque les rapports officiels sont fiables, la pression pour créer des univers Excel indépendants diminue.
Pour la direction IT et les responsables de projet, il est crucial : la qualité des données est un enjeu opérationnel transversal. Elle relie l’architecture (flux de données), l’exploitation (monitoring, tickets), les processus (obligations de maintenance) et la modernisation (interfaces, modèles de données).
Conclusion : en 30 jours, du conflit sur les chiffres à un processus de qualité pilotable
Améliorer la qualité des données est moins une question d’outil que de discipline : termes clairs, quelques contrôles efficaces, mesures historisées et un chemin d’action qui fonctionne au quotidien. Si vous commencez avec 2–3 rapports critiques, automatisez rapidement l’exhaustivité et la validité puis complétez par la cohérence et la dérive, vous obtiendrez en un mois une stabilité mesurable des rapports — et une base pour développer la gouvernance des données sans surcharge.
Si vous souhaitez vérifier quels contrôles dans votre paysage système produiront l’effet le plus rapide et comment les ancrer proprement dans l’exploitation, vous pouvez en discuter de manière structurée lors de l’étape suivante :
Pour ce sujet, l’amélioration du reporting et la qualité des données de référence sont également importantes. L’article situe ces aspects de manière compréhensible et montre ce qui compte au quotidien.
Étape suivante
Lorsque le sujet devient un projet réel, l'architecture, l'existant et l'exploitation doivent être examinés ensemble dès le départ.
Nous n'intervenons pas seulement sur des questions ponctuelles, mais aussi lorsque des fragments de code source, des problématiques liées aux systèmes legacy ou des concepts de portail doivent se transformer en un projet d'entreprise robuste.
- L'état des lieux, l'état cible et les risques techniques sont évalués conjointement.
- REST, l’accès aux données, les portails et le déploiement ne sont pas reportés à des phases ultérieures.
- Vous identifiez tôt quelle voie est viable économiquement et opérationnellement.