Wahrnehmung
Was ein Sprachmodell tatsächlich von einer Webseite wahrnimmt und warum ein Screenshot allein nicht ausreicht. Allgemeines Wissen – nützlich, auch wenn Sie nie etwas installieren.
Ein Sprachmodell sieht keine Webseite. Es erhält eine Beschreibung davon, und die Form dieser Beschreibung entscheidet, was es als Nächstes tun kann.
Geben Sie ihm einen Screenshot, erhält es Pixel: Es kann Ihnen sagen, dass die Seite falsch aussieht, aber es kann auf nichts einwirken, weil in einem Bild nichts adressierbar ist. Geben Sie ihm das rohe HTML, erhält es alles auf einmal – einschließlich der Hunderte Zeilen Markup, die kein menschliches Auge je wahrgenommen hätte.
Keines von beiden ist, was es braucht.
Drei Ansichten, und wo sie sich widersprechen
Diwall stellt dieselbe Seite auf drei Arten dar. Die Aufnahme zeigt, was
ein Mensch sieht. Set-of-Mark umrahmt jedes interaktive Element und
nummeriert es, sodass ein Klick zu {"type": "cliquer_som", "id": 3} wird
statt zu einem CSS-Selektor, der aus einer Beschreibung erraten wurde. Der
Barrierefreiheitsbaum ist die Struktur, die der Browser für Screenreader
aufbaut – Überschriften, Rollen, Links, als Text, zu einem Bruchteil der
Token-Kosten eines Bildes.
Wo die drei sich widersprechen, stecken die interessanten Fehler.
Die Messung, die diese Rubrik nötig machte
Die zentrale Seite dieser Rubrik hat ihre eigene These auf Kosten ihres Autors
bewiesen. Das Sprachmenü ist ein natives <details>-Element, und es war
geschlossen. Ein Mensch sieht eine Schaltfläche. Der Barrierefreiheitsbaum
meldet eine Gruppe.
Diwall nummerierte vier interaktive Elemente ganz ohne Text – vier Einträge
der Form {"id": 10, "texte": ""} –, weil die Einträge des geschlossenen
Menüs noch im DOM standen und noch messbar waren. Nutzlos für einen Agenten,
unsichtbar für einen Menschen, und nur gefunden, weil das Werkzeug auf unsere
eigene Seite gerichtet wurde.
Eine Zeile CSS hat die Seite repariert. Die Lektion brauchte keine Reparatur: Was ein Modell wahrnimmt, ist die ehrliche Antwort auf die Frage, die die Seite stellt, nicht die Antwort, die die Seite geben wollte.
Machen Sie es nach
Die Zahlen dieser Rubrik stammen aus diesem Befehl, ausgeführt gegen Seiten, die Sie selbst öffnen können. Nichts ist inszeniert.
diwall-shot --url https://diwall.davalan.fr/de/ --som --a11y --guide-version 1.3