macfranc@fedisky.it@fedisky.itUn piccolo modello con soli 109 milioni di parametri avrebbe surclassato, in termini di comprensione del mondo reale, un colosso da 72 miliardi di parametri.
Il paper di Randall Balestriero e Yann LeCun dimostra matematicamente la Platonic Representation Hypothesis, trasformandola in un teorema.
Secondo lo studio, i modelli basati su JEPA (Joint-Embedding Predictive Architectures) addestrati su modalità diverse convergono verso la stessa rappresentazione del mondo condivisibile (a meno di una rotazione), purché utilizzino viste positive coerenti. Inoltre, spiega perché il next-token prediction (usato dai modelli linguistici) sia meno efficiente nell'allineamento rispetto ai JEPA.