Perception
Ce qu'un modèle de langage perçoit réellement d'une page web, et pourquoi une capture d'écran seule ne suffit pas. Des connaissances générales — utiles même si vous n’installez jamais rien.
Un modèle de langage ne voit pas une page web. Il en reçoit une description, et la forme de cette description décide de ce qu’il peut faire ensuite.
Donnez-lui une capture d’écran, il reçoit des pixels : il peut vous dire que la page a l’air cassée, mais il ne peut agir sur rien, parce que rien dans une image ne se désigne. Donnez-lui le HTML brut, il reçoit tout à la fois — y compris les centaines de lignes de balisage qu’aucun œil humain n’aurait jamais remarquées.
Ni l’un ni l’autre n’est ce dont il a besoin.
Trois vues, et là où elles divergent
Diwall rend la même page de trois façons. La capture montre ce que voit une
personne. Set-of-Mark encadre chaque élément interactif et le numérote, si
bien que cliquer devient {"type": "cliquer_som", "id": 3} plutôt qu’un
sélecteur CSS deviné d’après une description. L’arbre d’accessibilité est
la structure que le navigateur construit pour les lecteurs d’écran — titres,
rôles, liens, en texte, pour une fraction du coût en tokens d’une image.
Les bogues intéressants se logent là où les trois divergent.
La mesure qui a rendu cette rubrique nécessaire
La page pivot de cette rubrique a démontré son propos aux dépens de son auteur.
Le menu des langues est un élément natif <details>, et il était fermé. Une
personne voit un bouton. L’arbre d’accessibilité signale un groupe.
Diwall a numéroté quatre éléments interactifs sans le moindre texte —
quatre entrées de la forme {"id": 10, "texte": ""} — parce que les éléments
du menu fermé étaient toujours dans le DOM, et toujours mesurables. Inutiles
pour un agent, invisibles pour un humain, et trouvés seulement parce que
l’outil a été pointé sur notre propre page.
Une ligne de CSS a corrigé la page. La leçon, elle, n’avait rien à corriger : ce que perçoit un modèle est la réponse honnête à la question que pose la page, pas la réponse que la page voulait donner.
Refaites-le
Les chiffres de cette rubrique viennent de cette commande, lancée sur des pages que vous pouvez ouvrir vous-même. Rien n’est mis en scène.
diwall-shot --url https://diwall.davalan.fr/fr/ --som --a11y --guide-version 1.3