À propos du CeSIA
Le Centre pour la Sécurité de l'IA (CeSIA) est une association à but non lucratif qui œuvre à prévenir les risques majeurs liés à l'IA en informant les décideurs, en sensibilisant le public et en menant des recherches sur les politiques publiques. Fondés en janvier 2025 et basés à Paris, nous sommes une équipe de 12 personnes réparties en Europe.
Dans l'Union européenne, nous sommes évaluateur officiel pour le Bureau de l'IA sur la modélisation des risques de manipulation préjudiciable, et nous avons participé à la rédaction du Code de bonnes pratiques pour l'IA à usage général.
À l'international, nous avons lancé le Global Call for AI Red Lines, signé par douze lauréats du prix Nobel, et nous travaillons avec l'OCDE, l'ONU, des instituts nationaux de sécurité de l'IA et des gouvernements.
Nous publions aussi l'AI Safety Atlas et enseignons la sécurité de l'IA dans plusieurs grandes universités françaises.
Le poste
Beaucoup des questions dont dépend la politique de l'IA n'ont toujours pas de réponse solide : dans quelle mesure les développeurs respectent les engagements qu'ils ont signés, à quel point les gouvernements prennent au sérieux les risques catastrophiques, et ce qu'ils font pour y répondre. La gouvernance technique de l'IA peut résoudre une partie du problème en transformant ces questions en mesures appuyées sur des sources fiables.
Nous voulons que vous nous aidiez à construire les outils de données qui y répondent. Exemples de projets sur lesquels vous travaillerez :
- Code of Practice Compliance Tracker. Notre Tracker note les développeurs d'IA au regard du Code lui-même, y compris pour vérifier si leurs mesures d'atténuation correspondent à l'état de l'art exigé par le Code. Une note basse signale donc un possible manquement au droit européen, sur lequel le Bureau de l'IA peut agir. (Publication prévue en novembre)
- Suivi de l'attention des décideurs à l'IA : des déclarations collectées dans les archives parlementaires, les exécutifs et les organisations internationales, transformées en un jeu de données que nous pouvons analyser.
Aujourd'hui, ce travail repose en grande partie sur notre responsable de la gouvernance technique et sur des fellows qui se relaient. Vous serez notre première recrue permanente sur la mesure en gouvernance technique. Vous rendrez solide la méthodologie de nos outils existants, vous les tiendrez à jour, vous tirerez des recommandations de leurs données et vous proposerez de nouveaux outils là où des données publiques pourraient trancher une question de politique publique.
Vous serez rattaché à notre responsable de la gouvernance technique et participerez à l'encadrement de nos fellows de recherche. À mesure que l'équipe grandira, vous pourrez aussi travailler avec un spécialiste technique de la sécurité de l'IA, qui couvre les domaines les plus techniques du Code, et avec un développeur full-stack, qui gère les sites de nos trackers.
Vos missions
- Rendre les chiffres défendables. Vous êtes responsable des indicateurs, des règles de notation et des seuils de nos outils, pour que chaque note puisse être défendue devant une entreprise d'IA ou un agent du Bureau de l'IA. Vous surveillez les façons dont une note peut se tromper : récompenser une entreprise qui nomme une pratique sans l'appliquer, compter une preuve manquante comme un zéro, laisser de bonnes notes sur des points faciles masquer un échec sur un point critique, ou obtenir des résultats qui changent quand on scinde un indicateur en deux. Pour le Code of Practice Tracker, cela implique aussi de lire ce que publient les développeurs (évaluations de capacités dangereuses, analyses de risques, cadres de sécurité, politiques de transparence et de droit d'auteur) et de décider si leurs mesures d'atténuation correspondent à l'état de l'art exigé par le Code.
- Rendre fiables les jugements derrière les chiffres. La plupart de nos outils demandent de porter un jugement à grande échelle. Cette déclaration porte-t-elle sur les risques de l'IA ? Ce cadre de sécurité est-il au niveau requis ? Cette protection est-elle suffisante ? Vous concevez les règles, vous mesurez la fiabilité des jugements en les comparant à des annotations humaines faites à l'aveugle et à des exécutions répétées, et vous trouvez où ils échouent.
- Garder les données traçables. Vous collectez ce que publient les développeurs et les gouvernements à partir de sources publiques désordonnées, et vous maintenez le pipeline en état de marche pour que chaque chiffre publié renvoie au document dont il provient.
- Rédiger les conclusions. Vous produisez régulièrement des notes à partir de nos données : ce que montrent les chiffres, comment les entreprises ou les gouvernements se comparent, ce qu'ils devraient changer, et où des règles comme le Code de bonnes pratiques devraient être renforcées. Vous mettez à jour nos outils quand de nouveaux modèles, cadres de sécurité ou politiques paraissent, et vous publiez les résultats à intervalles réguliers.
- Décider quoi construire ensuite. Vous proposez de nouveaux outils là où des données publiques pourraient répondre à une question qui compte pour les décideurs, et vous défendez ceux qui méritent notre temps.
- Encadrer des fellows. Vous guidez des chercheurs en début de carrière qui rédigent de courtes analyses et tiennent les indicateurs à jour à mesure que l'état de l'art évolue.
Vos six premiers mois
À quoi ressemble la réussite :
- Vous avez revu la méthodologie du Tracker de bout en bout, corrigé les indicateurs qui en avaient besoin et mesuré la fiabilité de sa notation assistée par LLM.
- Vous avez mené au moins un cycle complet de renotation sur un nouveau modèle de pointe.
- Vous avez publié votre première note fondée sur les données, et le Bureau de l'IA l'a lue.
- Vous avez rédigé une courte proposition pour notre prochain outil.
Le profil recherché
Personne n'est aussi solide dans tous les domaines ci-dessous. Nous attendons un niveau avancé dans au moins deux de ces quatre domaines (dont au moins un parmi les évaluations d'IA et la conception de mesures) et le niveau minimum dans les deux autres. Dites-nous lesquels sont vos deux points forts. Ce qui compte pour nous, c'est la compréhension, pas la façon dont vous l'avez acquise : chaque domaine indique donc les parcours qui y mènent le plus souvent.
Évaluations d'IA
- Minimum : vous comprenez ce que mesure une évaluation et quand ses résultats appuient une affirmation de sécurité : validité des benchmarks, contamination, saturation, et dépendance du résultat à l'élicitation (prompting, scaffolding, accès à des outils, fine-tuning, sandbagging). Vous avez utilisé des LLM comme juges ou classifieurs sur une tâche réelle et les avez confrontés à des annotations humaines.
- Avancé : vous avez conçu ou mené vous-même des évaluations, vous connaissez leurs modes d'échec par expérience (sous-élicitation, juges biaisés en faveur d'une famille de modèles, variance d'une exécution à l'autre, formulation du prompt qui oriente le verdict), et vous savez juger la méthodologie d'évaluation d'un développeur de pointe comme le ferait un organisme d'évaluation.
- Parcours typiques : recherche en évaluation d'IA ; organisme d'évaluation, institut de sécurité de l'IA ou équipe sécurité d'un laboratoire de pointe ; conception de benchmarks ; recherche en TAL sur l'annotation de textes.
Conception de mesures
- Minimum : vous avez conçu un indice, un système de notation, une grille ou un benchmark, et vérifié qu'il mesurait bien ce qu'il prétendait mesurer. Vous savez choisir et interpréter des statistiques d'accord, raisonner sur les biais d'échantillonnage et de sélection, et distinguer précision et exactitude.
- Avancé : vous avez validé formellement un instrument de mesure (fiabilité, validité, sensibilité aux choix de conception), propagé l'incertitude à travers une agrégation, et défendu un choix de conception face à des personnes en désaccord. Un plus : une expérience des méthodes de jugement d'experts (élicitation structurée, Delphi, agrégation et calibration de plusieurs évaluateurs).
- Parcours typiques : psychométrie ou méthodologie d'enquête ; indices composites (gouvernance, transparence, ESG) ; analyse de contenu en science politique ou en sciences sociales ; méthodologie d'audit ; recherche empirique en apprentissage automatique avec une évaluation rigoureuse.
Gouvernance de l'IA et gestion des risques
- Minimum : vous comprenez les obligations du règlement européen sur l'IA pour les modèles d'IA à usage général et la façon dont le cadre de sécurité d'un développeur relie seuils et paliers de risque aux mesures d'atténuation. Vous lisez un texte juridique avec précision : ce qui est une obligation, quel standard la satisfait, ce qui doit être public et ce qui est déclaré en privé à un régulateur.
- Avancé : connaissance détaillée du Code de bonnes pratiques et de l'évolution des cadres de sécurité des développeurs, ou expérience au sein ou aux côtés d'un régulateur, d'un institut de sécurité de l'IA, d'un parlement ou d'une organisation internationale.
- Parcours typiques : recherche en politiques de l'IA ; think tanks ; conformité réglementaire dans le secteur technologique ; travail autodidacte attesté par des analyses publiées.
Ingénierie des données
- Minimum : vous avez écrit et maintenu un pipeline Python qui récupère des données de sources que vous ne contrôlez pas (API, pages scrapées, PDF, flux gouvernementaux), que d'autres ont utilisé, et que vous avez maintenu en état de marche après des changements dans les sources.
- Avancé : vous avez conçu un tel pipeline de zéro : le stockage, la traçabilité, la gestion des sources partielles ou cassées, et les contrôles qui détectent les pertes de données silencieuses. Un plus : vous en avez fait tourner plusieurs en parallèle, et d'autres s'appuient sur vos données.
- Parcours typiques : ingénierie de recherche ou ingénierie des données ; sciences sociales computationnelles ; journalisme de données ; jeux de données ouverts ; infrastructure d'évaluation. Nous ne recrutons pas un ingénieur logiciel : notre développeur s'occupe des sites.
Exigences générales
- Une expérience de recherche en sécurité de l'IA, en évaluation d'IA ou en gouvernance technique de l'IA, attestée par des publications, des rapports ou des projets conséquents.
- Un excellent anglais écrit, et la capacité d'écrire pour des décideurs autant que pour des chercheurs.
- Fortement souhaité : résidence en Europe (Royaume-Uni inclus), disponibilité à temps plein.
- Apprécié : une expertise dans l'un des domaines techniques du Code, comme la cybersécurité, le NRBC, le contrôle de l'IA, ou les méthodes d'entraînement et d'alignement ; une expérience d'Inspect ou d'un autre framework d'évaluation.
Ce qui compte pour nous au-delà des diplômes
- Vous jugez sur pièces, et vous êtes aussi prêt à reconnaître les mérites d'une entreprise qu'à la sanctionner.
- Vous dites clairement ce que les données ne montrent pas, autant que ce qu'elles montrent.
- Vous tenez à ce que votre travail change ce que font les régulateurs, pas seulement à ce qu'il soit juste.
Si vous remplissez la plupart de ces critères mais pas tous, postulez. Nous recrutons sur ce que vous savez faire, pas sur une liste de cases à cocher.
Ce que nous offrons
- Lieu : télétravail complet en Europe (Royaume-Uni inclus). Notre bureau parisien est à votre disposition si vous souhaitez travailler sur place.
- Contrat : temps plein.
- Rémunération : 65 000 à 80 000 € brut par an, selon l'expérience et le lieu de résidence.
- Date de début : dès que possible.
Comment postuler
Remplissez ce formulaire avant le 15 décembre (fin de journée, quel que soit le fuseau horaire). Nous examinons les candidatures au fil de l'eau et pourrons commencer les entretiens avant la date limite : postulez tôt.
Le processus :
- Un appel de présélection de 30 minutes.
- Un exercice rémunéré de 2 à 4 heures, par exemple évaluer une section du cadre de sécurité d'un développeur au regard du Code, ou critiquer et améliorer une petite grille de notation.
- Un entretien approfondi avec l'équipe.
- Des prises de références avant toute offre.
Nous nous efforçons de répondre à chaque candidature dans les deux semaines suivant la date limite.
Questions : Florent Berthet (florent@cesia.org).
Candidatures jusqu'au 15 décembre 2026.