"Le lapin mange une..."
Romane a répondu carotte sans réfléchir.
J'ai demandé pourquoi. Elle a haussé les épaules. "Ben, les lapins mangent des carottes."
C'est exactement pour ça qu'une IA répondrait la même chose. Non pas parce qu'elle connaît les lapins. Parce qu'elle a lu des millions de phrases où "le lapin mange une" finit par "carotte". Elle a appris ce qui vient après, pas ce qui est vrai.
Mais ce n'était pas encore l'activité.
Ce que l'IA fait avec les mots
Quand une IA lit une phrase, elle ne lit pas les mots dans l'ordre et s'arrête. Elle essaie de comprendre lesquels comptent le plus pour les autres.
Dans "le chien mange le gâteau de Romane", le mot "mange" explique tout le reste. Sans lui, le chien et le gâteau n'ont plus de rapport. Les IA modernes apprennent à repérer ces mots et leur accordent plus d'attention qu'aux autres.
Ce mécanisme s'appelle l'attention. C'est une des idées centrales derrière les grands modèles de langage.
L'activité
J'avais préparé des phrases sur des feuilles : des simples ("le lapin mange une carotte", "la sorcière a perdu sa baguette rouge") et des plus personnelles ("Méryl a caché son doudou sous son lit", "Tonton Yann est beaucoup plus grand que papa", "quand je serai grande, je voudrais devenir prof de danse").
Consigne : barrer les mots qui ne sont pas les plus importants. On teste ensuite : si on relit la phrase sans le mot barré, est-ce qu'elle veut encore quelque chose ?
Les phrases de départ. Certaines simples, d'autres tirées de la vraie vie.
Ce qui s'est vraiment passé
Romane a commencé avec "la sorcière a perdu sa baguette rouge". Elle a barré "rouge". On a relu : "la sorcière a perdu sa baguette." Elle a hoché la tête. Ça marchait.
"Tonton Yann est beaucoup plus grand que papa." Elle a barré "Yann". Résultat : "Tonton est beaucoup plus grand que papa." J'ai montré qu'on pouvait aussi enlever "beaucoup" : "Tonton est plus grand que papa." Toujours debout.
"Mamie adore faire du vélo en ville." Elle a barré "en ville". On a relu. Ça tenait.
Elle a fini par nommer la règle : les mots qui restent sont ceux sans lesquels la phrase s'effondre. Elle les a appelés les mots-colle.
Après passage de Romane. Les mots barrés sont les siens.
Puis : "Quand je serai grande, je voudrais devenir prof de danse."
Romane a posé le feutre. "On peut rien enlever."
J'ai barré "quand je serai grande" pour lui montrer que "je voudrais devenir prof de danse" voulait encore quelque chose.
Elle n'était pas convaincue. Pour elle, enlever "quand je serai grande", c'était enlever quelque chose d'autre que la phrase.
Romane avait raison. Certains mots ne portent pas du sens dans la phrase. Ils portent de l'identité. Le cerveau enfant fait cette distinction très tôt. Il ne sait pas la nommer. Mais il sait qu'on ne touche pas à ces mots-là.
Pour finir
J'ai expliqué que les chercheurs qui ont inventé le mécanisme d'attention dans les IA avaient travaillé des années sur cette même question : quel mot compte pour quel autre.
Romane a haussé les épaules.
L'IA peut repérer les mots-colle dans une phrase sur un lapin. Mais "quand je serai grande", ce n'est peut-être pas un mot qu'on enlève.