Sources de Données Publiques
Toutes les données de CLAIR viennent de sources publiques. Aucune n'exige de clé d'API, à l'exception des deux services d'IA (Mistral, Tavily). Chaque source a un client dédié dans services/ingestion/src/sources/.
📊 Sources suivies (source_states)
Chaque source est identifiée par une clé organisme:type, définie dans services/ingestion/src/utils/source-freshness.ts et reprise comme clé dans la table source_states. Les 24 premières lignes du tableau sont lues par le batch nocturne, dans l'ordre donné sur la page Orchestrateur d'ingestion.
« Toujours » signifie que la source n'expose aucun en-tête exploitable (ETag, Last-Modified) : elle est relue à chaque passage.
| Clé | Ressource | Format | Ce qui est ingéré |
|---|---|---|---|
assemblee_nationale:commissions | data.assemblee-nationale.fr, AMO30_tous_acteurs_tous_mandats_tous_organes_historique.json.zip (organes actifs et clos), plus l'AMO10 pour les mandats en cours | ZIP / JSON | Organes : commissions, délégations, offices, missions, groupes d'études et d'amitié… |
assemblee_nationale:deputes | data.assemblee-nationale.fr, AMO10_deputes_actifs_mandats_actifs_organes.json.zip | ZIP / JSON | Députés, mandats, groupes politiques, circonscriptions |
assemblee_nationale:scrutins | Scrutins.json.zip | ZIP / JSON | Scrutins publics et votes nominatifs |
assemblee_nationale:amendements | Amendements.json.zip | ZIP / JSON | Amendements, auteurs, cosignataires, métadonnées de séance |
assemblee_nationale:dossiers | Dossiers_Legislatifs.json.zip | ZIP / JSON | Dossiers législatifs, actes, saisines de commissions |
assemblee_nationale:interventions | syseron.xml.zip (comptes rendus de séance) | ZIP / XML | Prises de parole en séance, situées dans le débat (article, amendements nommés, orateur) |
assemblee_nationale:reunions | Agenda.json.zip | ZIP / JSON | Agenda : réunions de commission et séances |
assemblee_nationale:seances_odj | seances_publique_excel.csv | CSV | Ordre du jour des séances publiques |
assemblee_nationale:videos | videos.assemblee-nationale.fr | HTML | Liens vers les vidéos des séances et réunions |
senat:senateurs | senat.fr/api-senat/senateurs.json | JSON | Sénateurs en exercice et groupes. Ses commissions du jour servent de contrôle à senat:fonctions |
senat:senateurs_histo | data.senat.fr ODSEN (ODSEN_ELUSEN.csv et fichiers associés) | CSV | Anciens sénateurs, mandats clos, groupe d'époque |
senat:fonctions | export_sens.zip de data.senat.fr (dump de la base des sénateurs) | ZIP (dump SQL) | Fonctions datées : bureau du Sénat, commissions permanentes et affaires européennes (membre, président, rapporteur général…), fonctions de groupe ; présidences du Sénat depuis 1959 (presidences_chambre) |
assemblee_nationale:gouvernements | même archive AMO30 que les commissions, téléchargée une seule fois pour les deux | ZIP / JSON | Gouvernements depuis 2007, postes ministériels, présidences de la République et de l'Assemblée |
senat:scrutins | pages scrutin-public de senat.fr, dosleg.zip de data.senat.fr | HTML + dump SQL | Scrutins publics et votes nominatifs |
senat:amendements | ameli.zip de data.senat.fr, puis un CSV par texte sur senat.fr | ZIP + CSV | Amendements, cosignataires et article visé (colonne « Subdivision » du CSV, sinon amd.subid → sub d'AMELI) |
senat:dossiers | dosleg.zip de data.senat.fr | ZIP (dump SQL) | Dossiers législatifs |
senat:interventions | cri.zip de data.senat.fr et comptes rendus HTML de senat.fr | ZIP + HTML | Prises de parole en séance |
clair:bilan_gouvernement | la base (dossiers, scrutins, débats, postes ministériels) et dosleg.zip de data.senat.fr | calcul + dump SQL (toujours) | Bilan des gouvernements depuis juin 2017 : projets de loi et leurs signataires (les ministres d'un projet déposé au Sénat viennent des auteurs de son texte de dépôt dans DOSLEG), recours au 49.3, motions de censure, réponses en séance rattachées au poste |
senat:agenda | API agenda de senat.fr (/api/v1/agenda/events) | JSON | Séances publiques et réunions de commission |
senat:reunions | comptes rendus de commission sur senat.fr | HTML (toujours) | Comptes rendus rattachés aux réunions, sénateurs cités |
senat:dossier_commissions | pages dossier législatif de senat.fr | HTML (toujours) | Commissions saisies des dossiers du Sénat |
senat:videos | videos.senat.fr | HTML (toujours) | Liens vers les vidéos des séances et réunions |
hatvp:lobbyistes | hatvp.fr, répertoire des représentants d'intérêts | ZIP / CSV | Représentants d'intérêts, actions déclarées, secteurs |
interieur:candidatures | data.gouv.fr, jeu « élections sénatoriales 2026, candidatures » publié par le ministère de l'Intérieur | CSV (toujours) | Listes et candidats aux sénatoriales 2026 |
dila:legi | echanges.dila.gouv.fr, base LEGI (droit consolidé, Licence Ouverte) : un dump global, puis un incrément par jour | TAR.GZ / XML | Index des textes et des articles de loi : identifiants Légifrance, numéros, dates de vigueur, titres. Ni le contenu ni la structure des textes. Sert à lier les références des amendements à Légifrance. Son état (dernière archive appliquée) est tenu par sync-index-legi, pas par source-freshness.ts ; le premier chargement, celui du dump global (1,1 Go), se lance à la main |
dila:interventions | echanges.dila.gouv.fr | TAR / XML | Ancienne source des débats de l'Assemblée. Plus rien n'y est publié depuis janvier 2026 : elle est sortie du batch nocturne et n'est plus lue que par la commande manuelle sync --in |
Le batch nocturne ne lit que la législature courante de l'Assemblée (17e) et une fenêtre récente des sessions du Sénat. L'historique (15e et 16e législatures, Sénat depuis la session 2006) a été chargé par des commandes ponctuelles et ne bouge plus : voir Commandes CLI.
🔍 Sources lues par le batch sans suivi de fraîcheur
| Source | Ressource | Usage |
|---|---|---|
| HATVP, déclarations | hatvp.fr/livraison/opendata/liste.csv | Déclarations d'intérêts et de patrimoine des parlementaires. Relue à chaque batch où au moins une source a changé |
| Assemblée, pages de scrutin | assemblee-nationale.fr/dyn/<législature>/scrutins/<uid> | Scrutins des 30 derniers jours encore sans amendement rattaché, pour relier scrutin et amendements |
| Sénat, pages de scrutin | senat.fr/scrutin-public/... | Même rôle, pour les nouveaux scrutins du Sénat |
| Assemblée, comptes rendus de commission | page de notice assemblee-nationale.fr/dyn/docs/<ref>.html, puis le PDF qu'elle référence (lu avec pdftotext) | Débats de commission et avis de commission sur les amendements, pour les réunions des 60 derniers jours |
| Assemblée, textes législatifs | assemblee-nationale.fr/dyn/opendata/<texteRef>.html | Texte des articles de chaque nouvelle version de texte, fourni au modèle pour les résumés de scrutins. Une version déjà ingérée n'est pas relue |
| Wikipedia FR et Wikidata | API MediaWiki de fr.wikipedia.org et wikidata.org | Biographie et faits datés, en entrée des fiches parlementaires générées par IA |
| Tavily | api.tavily.com, recherche restreinte au domaine vie-publique.fr | Trouver la page vie-publique.fr d'un sujet (liens « contexte »). Chaque nuit ne dépense qu'une part du crédit restant du mois, au prorata des jours restants ; les sujets en attente passent à la nuit suivante |
| Mistral | api.mistral.ai | Génération des résumés (mistral-small-latest) et embeddings (mistral-embed). Voir Enrichissement IA |
🗳️ Élections sénatoriales 2026
| Source | Ressource | Commande | Usage |
|---|---|---|---|
| Ministère de l'Intérieur, candidatures | data.gouv.fr (CSV ; XLSX pour les éditions 2020 et 2023) | batch nocturne (interieur:candidatures) ou sync-candidatures | Listes et candidats |
| Ministère de l'Intérieur, résultats | resultats-elections.interieur.gouv.fr/Senatoriales2026/ (HTML ; l'adresse distingue la casse) | sync-resultats-senatoriales, lancée à la main le soir du scrutin, en boucle | Participation par tour, voix, sièges, élus |
| Répertoire national des élus | data.gouv.fr, republié chaque trimestre (CSV) | sync-mandats-locaux | Mandats locaux des candidats titulaires |
| Résultats des sénatoriales 2020 et 2023 | data.gouv.fr | generer-reference-hemicycle | Composition du Sénat par nuance avant le scrutin, figée dans apps/api/src/modules/senatoriales/hemicycle-reference.json |
Les résultats et les mandats locaux ne font partie d'aucun batch planifié.
🛠️ Sources lues seulement par des commandes manuelles
| Source | Commande | Usage |
|---|---|---|
Sénat, index des débats (debats.zip de data.senat.fr) | segmenter-debats-senat | Situer les prises de parole du Sénat dans la structure du débat |
| DILA, comptes rendus de l'Assemblée | sync --in | Source morte depuis janvier 2026 (voir plus haut) |
📰 Source lue à la demande par l'API
L'onglet presse d'un sujet (GET /api/v1/sujets/:slug/presse) interroge le flux RSS de Google Actualités au moment de la requête ; le résultat est mis en cache 3 h (15 min s'il est vide). Rien n'est stocké en base.
🆔 Identifiants de la source
Les identifiants des sources sont conservés pour permettre de remonter à l'original :
| Donnée | Colonne | Exemple |
|---|---|---|
| Député | parlementaires.source_id | PA795828 |
| Sénateur | parlementaires.source_id (matricule) | 14133K |
| Dossier législatif | dossiers_legislatifs.uid | DLR5L17N50168 |
| Amendement | amendements.uid (tel que publié) et uid_canonique (clé de dédoublonnage) | |
| Organe AN | commissions.uid | PO59048 |
| Gouvernement, présidence de la République | gouvernements.uid, presidences.uid | PO873634 |
| Présidence d'une chambre (mandat au bureau) | presidences_chambre.uid | PM845400 (Assemblée), SENBUR-3122 (Sénat) |
| Poste ministériel (mandat MINISTERE de l'AN) | postes_ministeriels.uid | PM873637 |
| Membre du gouvernement | membres_gouvernement.acteur_uid | PA643210 |
| Intervention AN | interventions.source_uid (id_syceron du paragraphe) | |
| Lobbyiste | lobbyistes.identifiant_national (SIREN, RNA…) |
Le contenu brut reçu de la source est conservé dans les colonnes source_data (JSON) de parlementaires, mandats_parlementaires, dossiers_legislatifs, scrutins et lobbyistes.