Retour sur la présentation de l'outil EVA

Le 18 février Gaëlle Ottan (partenaire innovation RH) nous a présenté l'outil innovant EVA.

en précisant que cet outil était mis à la disposition de l'ensemble des acteurs de l'insertion et de l'emploi. En effet l'état à travers le programme pic de sécurisation des parcours propose des outils innovants développés par des Start-up d'état (PAcéA, Pass numérique, Emile...). Nous avons donc proposé à Gaëlle de rejoindre Fab'RH Savoie il y a quelques semaines afin de nous présenter cet outil.

Pour rappel, Eva est un service public numérique, qui, en s'appuyant sur un serious game, permet de positionner les compétences de base et transversales de manière ludique et rapide, pour les personnes éloignées du marché de l'emploi, notamment les jeunes qui représentent une majorité des utilisateurs du service. Attention il est important de rappeler qu'il s'agit d'un outil d'accompagnement du public et pas d'un outil utilisable en recrutement.

L'outil propose donc 8 "serious games" dont 5 pour mesurer les compétences transversales (vitesse d'exécution, attention et concentration, vigilance et contrôle, comparaison et tri, organisation et méthode, compréhension de la consigne, détection et qualification des dangers) et 3 pour évaluer l'illettrisme (reconnaissance de mots de la langue française, compréhension du sens des mots et des phrases, grammaire, syntaxe et orthographe, numératie...)

En terme méthodologique Gaëlle a précisé deux points importants qui peuvent rendre le score difficile à calculer :

1. L'importance de faire le jeu en une seule fois d'où l'organisation de cession collective avec les candidats (compter entre 1h et 1h30)

2. L'importance de ne pas faire avec eux (même si difficulté de compréhension en français) car risque d'avoir un score erroné. (voir FAQ)

3. Bien préciser les consignes (exemple : utilisation des boutons d'aides s'ils sont bloqués dans une situation de jeu)

A l'issue les deux compétences transversales les plus fortes sont restituées aux candidats. Le rapport complet à destination des conseillers permet quant à lui d'identifier des pistes d'actions et notamment ouvre la réflexion vers des métiers en lien avec les atouts de la personne (voir exemples de rapport)

L'avantage principale de la présentation a été de se rendre compte qu'en dehors de l'outil à proprement parlé un effort considérable a été fait par les équipes de développement pour proposer des tutoriaux dignes de ce nom ainsi qu'une assistante en ligne pour les conseillers(ères) comme pour les candidats. A titre d'exemples les vidéos ci -dessous :

Et encore un guide de prise en main directement en format PDF que ce soit pour l'animation en présentiel

1. Je connecte les tablettes ou PC à et je me connecte à https://eva.beta.gouv.fr et je renseigne le code de campagne dédié à ma structure,

2. Je présente l’atelier et l’outil Eva (CF slide 21),

3. Les candidats remplissent le questionnaire d’auto positionnement,

4. Je supervise les tests et facilite l’atelier auprès des candidats si besoin,

5. J’accède à la restitution détaillée du candidat en entretien individuel (CF slide 22),

6. Je restitue les résultats détaillés du candidat en entretien individuel (CF slides 24 à 28).

ou que ce soit pour l'animation à distance

1. Je demande aux candidats de se connecter sur leur tablette ou sur leur ordinateur, d’entrer l’adresse https://eva.beta.gouv.fr dans le navigateur, et de renseigner le code de campagne dédié à ma structure,

2. Je présente l’atelier et l’outil Eva en session collective par visioconférence (CF slide 21),

3. Je pose les questions du questionnaire d’auto positionnement au candidat à l’oral,

4. Je supervise les tests et facilite l’atelier auprès des candidats si besoin,

5. J’accède à la restitution détaillée du candidat en entretien individuel (CF slide 22),

6. Je restitue les résultats détaillés du candidat en entretien individuel (CF slides 24 à 28).

---

Si dessous la liste de questions à propos d'EVA :

• Existe t-il des niveaux d’aide sur les exercices ? Pour les candidat·es en difficulté, certains exercices proposent un niveau d’aide. Par exemple, la situation inventaire et sécurité propose une aide située en bas de l’écran (bouton « j’ai besoin d’aide »). Ces niveaux d’aide ont deux fonctions. Premièrement, ils permettent aux candidat·es d’être évalué·es sur toutes les parties d’un exercice (de sorte qu’un échec dans une première partie n’entraîne pas forcément un échec dans une seconde partie). Deuxièmement, ils permettent de limiter les frustrations liées aux échecs en accompagnant les candidat·es jusqu’à la fin des exercices, dans l’optique de les mettre dans les meilleures dispositions pour les exercices suivants.

• Peut-on passer un exercice sans l’avoir terminé ? Pour disposer d’un maximum de données sur les candidat·es (et donc pour s’assurer de la fiabilité des résultats), il est préférable de terminer les exercices. Mais dans le cas où les candidat·es sont bloqués et ne peuvent pas poursuivre, ils ou elles peuvent quitter l’exercice et passer au suivant en cliquant sur le bouton « arrêter la situation » en bas à droite de l’écran.

• Est-ce que je peux modifier l’ordre des mises en situation dans le parcours ? Il n’est pas préférable de modifier l’ordre des exercices car les tests de fiabilité d’eva ont été réalisés sur la base du parcours type. En modifiant l’ordre des exercices, on risque de perdre en fiabilité dans la mesure des compétences.

• A quel public s’adresse eva ? eva s’adresse à toutes les personnes éloignées de l’emploi. Si le public jeune représente la majorité des utilisateurs, eva s’adresse à toutes les personnes en insertion, chômeuses de longue durée, bénéficiaires du RSA… eva permet de détecter les personnes potentiellement en situation d’illettrisme. Si la situation d’illettrisme d’une personne est déjà confirmée, alors le parcours eva n’est pas particulièrement indiqué.

• A quel moment dans le parcours d’accompagnement est-il indiqué de faire passer eva ? eva est souvent mobilisé en entrée de parcours. C’est un outil polyvalent qui répond à un ensemble de cas d’usage, que ce soit lors d’accompagnement à l’orientation, à l’emploi ou en entrée de formation par exemple.

• Est-il possible de refaire le test plusieurs fois ? Les résultats d’eva ne sont fiabilisés que pour une unique passation, lorsque le ou la candidate découvre les mises en situation. Ainsi, pour limiter les biais et donc obtenir un diagnostic le plus juste possible, il est préférable de n’utiliser eva qu’une seule fois. Par exemple, l’habituation aux mises en situation peut participer à l’amélioration des résultats à la deuxième passation. Cependant, dans une visée plus pédagogique, notamment pour encourager les candidat·es dans leurs progrès, vous pourriez utiliser eva à nouveau.

• Peut-on découper la passation en plusieurs temps ? Aujourd’hui, eva ne permet pas de découper la passation en plusieurs temps, car les calculs de fiabilité ont été réalisés à partir de données de participants ayant passé le parcours complet d’une seule traite. Ainsi, en réalisant le parcours de façon « découpée », nous pourrions perdre en fiabilité des mesures et donc diminuer la qualité des résultats. Si cela constitue un frein pour vous en tant qu’accompagnant·e, n’hésitez pas à nous écrire contact@eva.beta.gouv.fr et nous dire pourquoi.

• Est-ce que je peux réaliser des passations à distance ? Il est tout à fait possible de réaliser des sessions à distance. Nous avons même créé un petit guide pour vous accompagner dans l’utilisation d’eva à distance : Guide du distanciel

• Est-ce qu’eva peut être passé sur des tablettes ou des téléphones portables ? eva est compatible avec tous les types de matériel : ordinateur, tablettes ou téléphone portable. Cependant, certains exercices, comme l’inventaire, nécessitent de faire des manipulations assez précises. Plus l’écran est petit, plus la tâche peut être difficile. Quand cela est possible, il est préférable de privilégier l’usage d’un ordinateur.

• Puis-je partager les restitutions complètes avec les candidats ? Il existe deux types de restitution. La restitution pour les candidat·es est délivrée en fin de parcours (bâtiment « résultats »), et présente les deux compétences transversales les plus fortes, afin de valoriser les potentialités des candidat·es. Les accompagnant·es disposent quant à eux, en se connectant à l’interface d’administration, d’une restitution plus complète sur les compétences transversales mais également sur les compétences de base. Cette restitution est disponible en PDF et peut être tout à fait partagée avec les candidat·es, si cela s’y prête.