Ce WP démarre juste après les WP 1 et 2, car il requiert certaines des ressources qu’ils permettront de produire. En effet, il exploite la base de données constituée lors du WP 1, et plus particulièrement la vérité terrain, et il repose sur les méthodes développées lors du WP 2. Ce WP est applicatif, et a trois objectifs. Premièrement, évaluer en détail la performance des méthodes proposées, en prenant comme référence notre vérité terrain (Tâche 3.1). Deuxièmement, intégrer ces méthodes dans un logiciel grand public permettant de visualiser de façon lisible les résultats produits (Tâche 3.3). Troisièmement, analyser et discuter les résultats obtenus avec notre outil, afin d’identifier quels critères pourraient être utilisés pour améliorer les pratiques relatives aux marchés publics (également Tâche 3.3).

Responsable : R. Figueiredo (LIA)

Tâche 3.1 : Évaluation qualitative et analyse

Dans le WP 2, nous proposons de nouvelles méthodes pour la détection automatique de fraude, et évaluons quantitativement leur performance sur la base de notre vérité terrain. Cette Tâche 3.1 suit directement ce travail, puisqu’elle consiste à réaliser une évaluation qualitative des résultats obtenus. We allons examiner attentivement ces résultats du point de vue du droit et de l’économie. Les méthodes du WP 2 permettent d’attribuer des red flags de façon endogène, ainsi que de leur assigner des priorités et d’étudier leur interdépendance. Nous allons exploiter cela pour proposer une grille analytique normative en mettant en évidence les principaux facteurs que les autorités publiques devraient tout particulièrement surveiller. Cette étude complétera l’analyse descriptive réalisée au WP 1 sur notre base de données. En particulier, l’un de nos objectifs ici est d’identifier quel attribut exactement, parmi les nombreuses données collectées, est la plus pertinente pour la détection de fraude et de corruption. Nous comparerons également nos résultats aux opinions expertes collectées durant la Tâche 1.3, afin de mettre en perspective leurs préconceptions sur la fraude et la corruption. Nous réaliserons aussi une comparaison des caractéristiques de la fraude en France avec celles observées dans les autres pays.

De plus, cette évaluation qualitative fait aussi partie d’un processus itératif visant à améliorer nos méthodes de classification proposées au WP 2. En, effet, le retour obtenu au cours de cette application nous permettra de déterminer si nos résultats font sens, du point de vue du droit et de l’économie, et nous aiderons à identifier les possibles limites de nos méthodes. Le cas échéant, nous retournerons au WP 2 pour proposer des améliorations afin de résoudre ces problèmes. Puis, retour au WP 3 pour évaluer ces modification et étudier les effets sur les résultats. Ce processus sera répété jusqu’à satisfaction. Ce travail d’interprétation sera réalisé principalement par Datactivist et le LBNC.

• Livrables : rapports intermédiaire et final.
• Indicateurs de réussite : publications scientifiques.
• Partenaires impliqués : LIA, LBNC, CRA, Datactivist.

Tâche 3.2 : RGPD, données ouvertes et prédiction automatique

De part la nature même des problèmes que DeCoMaP vise à résoudre et des données mobilisées, le projet est soumis à des contre-injonctions. D’une part, la vérité terrain constituée de cas corrompus de marchés publics possède un intérêt scientifique intrinsèque, et sera donc rendu accessible librement à la communauté scientifique. D’autre part, le règlement général européen sur la protection des données pousse à la prudence lors de l’utilisation de données personnelles (en particulier si elles sont personnelles ou légales). Cette tâche consistera à étudier la performance d’outil de détection lorsqu’on limite volontairement les données exploitables. Cette limitation est double. Les données pouvant être utilisées dans un contexte de recherche scientifique ne sont pas les mêmes que celles appropriées à la dissémination scientifique. Nous réaliserons une enquête de terrain pour comparer la manière avec laquelle des individus possédant leurs propres notions préconçues sur la fraude dans les marchés publics jugent si un marché est frauduleux ou pas, quand ils ont accès à l’outil non-dégradé (utilisant toutes les données possibles), et quand ils ont accès à l’outil restreint tout en ayant connaissance de ces restrictions. Ceci nous aidera également pour identifier et prioritiser les attributs essentiels à la détection de cas frauduleux, et de produire des recommandations normatives relatives aux formats de publication des marchés publics.

• Livrables : rapports finaux, prototype de prédicteur.
• Indicateurs de réussite : publications scientifiques.
• Partenaires impliqués : LIA, LBNC, CRA, Datactivist.

Tâche 3.3 : Visualisation et bonnes pratiques

Cette tâche peut être considérée comme l’étape finale du projet entier, en ce qu’elle tire parti de tout le travail réalisé auparavant. Nous développerons un logiciel incluant les méthodes les plus pertinentes, suivant l’évaluation qui en aura été faite lors des Tâches 3.1 et 3.2. Il inclura une interface graphique et sera conçu pour le grand public. Il sera publié sous licence libre, et sera librement accessible à tous. Cependant, notre but est aussi de fourni un outil aux professionnels concernés par la transparence des marchés publics : journalistes, universitaires (tout particulièrement économistes, juristes et politistes), enquêteurs, ONG. L’outil sera notamment utilisé par Transparency International France. Cette partie du travail sera réalisée par l’ingénieur recruté par le LBNC, en collaboration avec Transparency International France.

En plus de ce logiciel, nous élaborerons deux guides. Le premier présentera les bonnes pratiques de la publication de données, à la fois pour ce qui concerne les procédures légales et les standards recommandés. Le second décrira les bonnes pratiques d’achat pour les acheteurs publics et les régulateurs. Ce guide résumera les méthodes de détection des fraudes et détaillera les procédure d’achat qui les moins susceptibles de corruption. Il visera aussi à fournir un aperçu de la fiabilité des données pour refléter le niveau de transparence dans les marchés publics.

• Livrables : rapports finaux, logiciel complet avec interface graphique.
• Indicateurs de réussite : publications scientifiques, performance du logiciel.
• Partenaires impliqués : LIA, LBNC, CRA, Datactivist.