Cette note propose un regard critique sur le phénomène des « open data » dans l’eGovernment, à l’heure où une directive européenne récemment parue en 2013 en encourage la diffusion. Une question cruciale sera omniprésente : la qualité des « open data » eu égard à leurs usages attendus, qualité potentiellement douteuse, dans la mesure où celles-ci prolifèrent dans l’environnement ouvert et non contrôlé du web. Après une définition du concept d’open data sur la base d’exemples, l’objet de la directive ainsi que ses implications en termes financiers et juridiques sont évoqués. Une typologie des open data, selon que celles-ci sont publiques, statiques ou dynamiques, plus ou moins contrôlées à la source ou restreintes à un public donné est ensuite évaluée. Les aspects fonctionnels des open data, depuis les formats jusqu’aux normes d’interopérabilité sémantique et à la mise en place de plateformes de « citizen engagement » sont alors évoqués et suivis, en guise de conclusion, de plusieurs recommandations pratiques.

Deze nota biedt een kritische blik op het fenomeen “open data” in het eGovernment op het moment dat een Europese richtlijn, die onlangs in 2013 verscheen, de verspreiding ervan aanmoedigt. Een cruciale kwestie zal alomtegenwoordig zijn: de kwaliteit van de “open data” hangt af van het verwacht gebruik er van en is eerder onzeker, aangezien “open data” vooral gebruikt worden in de open en niet-gecontroleerde omgeving van het web. Na een definitie van het concept open data aan de hand van voorbeelden worden het doel van de richtlijn alsook de implicaties ervan op financieel en juridisch vlak besproken. Daarna wordt een typologie van open data geëvalueerd naarmate deze een publiek, statisch of dynamisch karakter hebben en naargelang ze in mindere of meerdere mate aan de bron gecontroleerd worden of beperkt worden tot een bepaald publiek. Vervolgens komen de functionele aspecten van open data aan bod, gaande van de formaten tot de semantische interoperabiliteitsnormen en de opstelling van “citizen engagement”-platformen. Tot slot zullen er meerdere praktische aanbevelingen gegeven worden.

Avec la dématérialisation de l’information et la mise en place croissante de synergies entre administrations, employeurs, entreprises et citoyens, la qualité des adresses e-mail devient stratégique. En effet, une bonne gestion de celles-ci peut, dans le cadre de l’egovernment, contribuer à l’amélioration des services rendus et à la réduction des coûts.

C’est le cas par exemple lorsque les adresses e-mail sont utilisées en vue de l’envoi de notifications, dans le cadre des recommandés électroniques. Si les adresses e-mail sont incorrectes, les notifications des envois recommandés doivent s’effectuer par voie postale. Dans certains cas, les coûts cumulés sur 5 ans peuvent atteindre plusieurs millions d’euros. À ces éléments s’ajoutent les gains indirects associés : respect de la législation, service rendu au citoyen et crédibilité…
Dans de nombreux pays, (Danemark, Suède, Norvège, Canada, …), le recours à l’adresse e-mail se généralise au sein de l’egovernment. En 2012, le ROI sur 15 ans d’une telle approche est estimé en Norvège à environ 250 millions d’euros. Les adresses e-mail se caractérisent toutefois par un cumul d’incertitudes : volatilité des usages, dynamique des noms de domaines, syntaxes non standards… En vue d’en assurer la maîtrise, le document présente :
– Les éléments syntaxiques, de validation (tests d’existence) et de « data matching »;
– Un ensemble de bonnes pratiques et une organisation en vue de maintenir la qualité d’une vaste source d’adresses e-mail dans le temps.
Cette étude repose sur plus de dix ans d’expérience au sein de la « Data Quality Cell » de la section « recherche » de Smals, sur un ensemble de tests pratiques et sur un prototype concret et original

Avec la dématérialisation de l’information et la mise en place croissante de synergies entre administrations, employeurs, entreprises et citoyens, la qualité des adresses e-mail devient stratégique. En effet, une bonne gestion de celles-ci peut, dans le cadre de l’egovernment, contribuer à l’amélioration des services rendus et à la réduction des coûts.

C’est le cas lorsque les adresses e-mail sont utilisées en vue de l’envoi de notifications, même après authentification, dans le cadre des recommandés électroniques, par exemple. Si les adresses e-mail sont incorrectes, les notifications des envois recommandés doivent s’effectuer par voie postale, après traitement éventuel des cas erronés. Cela peut accroître les coûts cumulés sur 5 ans de plusieurs millions d’euros, selon la taille de la base de données. À ces éléments s’ajoutent les gains indirects associés (qui sont mentionnés également dans le secteur privé et « marketing ») : respect de la législation, service rendu au citoyen et crédibilité dans les campagnes de communication.

Dans de nombreux pays, (Danemark, Suède, Norvège, Canada, …), le recours à l’adresse e-mail authentifiée dans le cadre des échanges entre administrations et citoyens se généralise au sein de l’egovernment. En 2012, le ROI sur 15 ans d’une telle approche est estimé en Norvège à environ 250 millions d’euros. Largement utilisées de nos jours et pour un certain temps encore, les adresses e-mail se caractérisent toutefois par un cumul d’incertitudes : qu’il s’agisse de la volatilité des usages, de la dynamique des noms de domaines ou de la présence de syntaxes non standards.

En vue d’en assurer la maîtrise, l’exposé présentera :

• Les éléments syntaxiques, de validation (tests d’existence) et de « data matching » applicables en batch et « on line », selon les cas ;
• Un ensemble de bonnes pratiques et une organisation en vue de maintenir la qualité d’une vaste source d’adresses e-mail dans le temps.

L’egovernment repose sur la gestion de vastes bases de données dont les enjeux sont stratégiques sur les plans sociaux, financiers et juridiques. Ces bases de données sont alimentées par des flux d’information (entre citoyens, entreprises, employeurs et administrations) véhiculant un grand nombre d’anomalies formelles (valeurs déviantes par rapport aux valeurs attendues) dont la gestion est coûteuse.

Le « data tracking » est une technique permettant de détecter les causes structurelles de ces anomalies et d’y remédier durablement à la source. Appliqué aux États-Unis dans les laboratoires d’AT&T, le « data tracking » a également été mis en œuvre dans le secteur de la sécurité sociale belge avec un ROI important. Ce rapport en développe les modalités d’application, les gains et les possibilités de généralisation à tout type de base de données.

E-government baseert zich op het beheer van uitgebreide databases die een strategische rol spelen op sociaal, financieel en juridisch vlak. Deze databases worden verrijkt door informatiestromen (tussen burgers, bedrijven, werkgevers en besturen) die een groot aantal formele anomalieën met zich meebrengen (afwijkende waarden ten opzichte van de verwachte waarden) waarvan het beheer duur is.

“Data tracking” is een techniek waarmee de structurele oorzaken van deze anomalieën kunnen opgespoord worden en die een duurzame oplossing aan de bron aanbiedt. In de VS wordt “data tracking” toegepast in de laboratoria van AT&T en het werd eveneens ingevoerd in de sector van de Belgische sociale zekerheid met een belangrijke ROI. Dit document bespreekt de toepassingsmodaliteiten, de voordelen en de mogelijkheden om de techniek te veralgemenen naar elk type database.

Comme le confirment les consultances de terrain, ou encore les résultats des travaux scientifiques ou « marketing », comme ceux de Gartner en 2010, la qualité des données revêt toujours des enjeux stratégiques pour l’egovernment. Par exemple, en Belgique, la DmfA (Déclaration Multifonctionnelle – Multifunctionele Aangifte) permet le prélèvement annuel d’environ 40 milliards d’euros de cotisations et prestations sociales. Or la DmfA est composée de données. On peut en conclure que leur qualité revêt des enjeux fondamentaux en termes de coûts-bénéfices. La question est d’autant plus sensible quand on sait que la législation et les procédures associées à la gestion de ces données sont complexes, évolutives et s’inscrivent dans des organisations hétérogènes. Face à cette réalité, Smals a créé un « data quality competency center » depuis cinq ans environ en vue de réaliser des travaux de consultance destinés à évaluer, à améliorer pratiquement la qualité des bases de données dans le domaine de l’egovernment et à réaliser des études en la matière. Le présent rapport propose plusieurs retours d’expérience originaux issus des travaux du DQ Competency Center. Ceux-ci sont présentés à travers la question des anomalies, ces valeurs déviantes par rapport au modèle attendu d’une base de données et dont on estime que le coût de traitement peut atteindre environ 15 % du revenu des entreprises dans les secteurs privé et public. Le but poursuivi dans cette étude consiste à clarifier la problématique et à présenter des solutions concrètes en vue de diminuer le nombre d’anomalies et d’en faciliter la gestion. Parmi les nouveautés de l’étude, citons les points suivants (chacun étant accompagné d’un modèle organisationnel adapté incluant des rôles métier et techniques) :

• La présentation d’un prototype permettant de suivre l’historique des anomalies et de leur traitement (correction, validation…) : celle-ci a été conçue sur la base de propositions originales du DQ Competency Center. Accompagnée d’un travail d’analyse, elle peut donner le jour à un développement grandeur nature adapté à un cas spécifique. Sur cette base, le rapport montre, à partir de « case studies », comment concevoir des indicateurs de suivi de la qualité des données et comment appliquer des stratégies de gestion en vue de diminuer structurellement le nombre d’anomalies en agissant sur la source de leur émergence.
• La présentation des aspects documentaires indispensables en vue d’accompagner le traitement des anomalies. Notamment, à partir d’une expérience de terrain, l’étude montre comment un système de gestion des connaissances généralisable permet de faciliter la correction des anomalies par les agents de l’administration.
• Un retour d’expérience issu de l’application des Data Quality Tools, acquis par Smals en 2009, à plusieurs bases de données de l’administration fédérale. À partir d’exemples concrets, l’étude montre comment ces outils facilitent la détection semi-automatique d’incohérences formelles et l’accompagnement de leur correction. Elle montre leur apport indéniable par rapport à un développement « home made » et les perspectives d’application.

Comme le confirment les consultances de terrain, ou encore les résultats des travaux scientifiques ou « marketing », comme ceux de Gartner en 2010, la qualité des données revêt toujours des enjeux stratégiques pour l’egovernment. Par exemple, en Belgique, la DmfA (Déclaration Multifonctionnelle – Multifunctionele Aangifte) permet le prélèvement annuel d’environ 40 milliards d’euros de cotisations et prestations sociales. Or, la DmfA est composée de données. On peut en conclure que leur qualité revêt des enjeux fondamentaux en termes de coûts-bénéfices. La question est d’autant plus sensible quand on sait que la législation et les procédures associées à la gestion de ces données sont complexes, évolutives et s’inscrivent dans des organisations hétérogènes. Face à cette réalité, Smals a créé un « data quality competency center » depuis cinq ans environ en vue de réaliser des travaux de consultance destinés à évaluer, à améliorer pratiquement la qualité des bases de données dans le domaine de l’egovernment et à réaliser des études en la matière. Le présent rapport propose plusieurs retours d’expérience originaux issus des travaux du DQ Competency Center. Ceux-ci sont présentés à travers la question des anomalies, ces valeurs déviantes par rapport au modèle attendu d’une base de données et dont on estime que le coût de traitement peut atteindre environ 15 % du revenu des entreprises dans les secteurs privé et public. Le but poursuivi dans cette étude consiste à clarifier la problématique et à présenter des solutions concrètes en vue de diminuer le nombre d’anomalies et d’en faciliter la gestion. Parmi les nouveautés de l’étude, citons les points suivants (chacun étant accompagné d’un modèle organisationnel adapté incluant des rôles métier et techniques) :

• La présentation d’un prototype permettant de suivre l’historique des anomalies et de leur traitement (correction, validation…) : celle-ci a été conçue sur la base de propositions originales du DQ Competency Center. Accompagnée d’un travail d’analyse, elle peut donner le jour à un développement grandeur nature adapté à un cas spécifique. Sur cette base, le rapport montre, à partir de « case studies », comment concevoir des indicateurs de suivi de la qualité des données et comment appliquer des stratégies de gestion en vue de diminuer structurellement le nombre d’anomalies en agissant sur la source de leur émergence.
• La présentation des aspects documentaires indispensables en vue d’accompagner le traitement des anomalies. Notamment, à partir d’une expérience de terrain, l’étude montre comment un système de gestion des connaissances généralisable permet de faciliter la correction des anomalies par les agents de l’administration.
• Un retour d’expérience issu de l’application des Data Quality Tools, acquis par Smals en 2009, à plusieurs bases de données de l’administration fédérale. À partir d’exemples concrets, l’étude montre comment ces outils facilitent la détection semi-automatique d’incohérences formelles et l’accompagnement de leur correction. Elle montre leur apport indéniable par rapport à un développement « home made » et les perspectives d’application.

La qualité des données représente pour beaucoup d’organisations un défi de taille. Elle est considérée par les bureaux d’analystes Gartner et Butler Group comme un point critique pour le succès des initiatives SOA, la mise en place de systèmes de Business Intelligence, de Customer-Relationship Management, entre autres. Mais surtout, comme l’a souligné le premier deliverable consacré à cette thématique (« Data Quality : Best Practices »), la qualité de l’information est stratégique car elle désigne l’adéquation relative des données aux objectifs qui leur ont été assignés. De fait, au sein des administrations, des données inadéquates ou non pertinentes peuvent entraîner des effets extrêmement négatifs sur les plans financiers ou « business ». Ces effets peuvent toucher le traitement des dossiers des citoyens, les décisions stratégiques du management, les initiatives de données entre administrations, ou encore la construction de sources authentiques, pour ne citer que quelques exemples.
Comme l’a montré l’étude « Data quality : Best practices », il est primordial d’agir, de manière continue, à la source des concepts et flux d’information alimentant un système d’information. En effet, si l’on se contente de corriger les données inadéquates, sans traiter les causes, on se trouve face à un travail aussi inutile qu’infini. Un système d’information est un fleuve et un travail exclusif de correction des valeurs inadéquates n’endigue pas l’arrivée régulière de nouvelles données non pertinentes. Toutefois, en complément de cette approche, il peut être crucial de disposer d’outils intervenant au sein des bases de données pour deux raisons. D’une part, il faut pouvoir traiter le passé : données inadéquates (doubles, incohérences) déjà incluses dans les bases de données. D’autre part, le traitement à la source ne garantit pas dans l’absolu l’absence de saisie de valeurs inadéquates (émergence de doubles suite à des erreurs orthographiques, par exemple).

Dans ce contexte, un marché d’outils dédiés à l’analyse et à l’amélioration de la qualité des bases de données s’est fortement développé depuis plusieurs années. Il a d’ailleurs été reconnu comme un marché à part entière par Gartner, qui lui a consacré un premier « Magic Quadrant » en avril 2006. Ce rapport détaille l’offre actuelle en la matière : « profiling » (audit formel d’une base de données), « standardisation » des données et « matching » (détection de doublons et d’incohérences au sein d’une ou plusieurs sources). Sur la base d’un case study relatif à une base de données administrative « grandeur nature », il montre les avantages des « data quality tools » par rapport à un développement « in house » : qu’il s’agisse du temps de développement, de la richesse algorithmique (quantité de règles réutilisables) ou encore, du recours à des bases de connaissances multilingues régulièrement mises à jour (concernant les adresses, par exemple). En conclusion, ces outils, qui offrent également un traitement plus souple et rapide en cas de « change request », paraissent indispensables pour toute organisation au sein de laquelle la qualité de l’information est considérée comme un facteur crucial.