Ormai sono considerati una sorta di pre-processing per i transformer, ma gli embedding, apparsi quasi quindici anni fa, ne costituiscono la parte essenziale: infatti forniscono il dato numerico, l'unico che un transformer, come una qualsiasi altra rete neurale, sia in grado di manipolare.

Quando ci spiegano come un LLM "vede" il mondo, di solito ci parlano di vettori, distanze del coseno (che poi distanze non sono) e altre nozioni di base che si insegnano da decenni in tutti i corsi di geometria delle facoltà scientifiche.

Ma la grande trovata cartesiana di algebrizzare la geometria scrivendo coordinate per i punti ed equazioni per curve e superficie collima con la nostra intuizione solo in dimensione 2 e 3. Cosa succede in uno spazio con 1000 dimensioni, come quelli dove vivono i vettori usati dai transformer?

La risposta potrebbe sorprendervi