En tensor i en AI-modell är en ordnad samling av data (i "N dimensioner") som används för att representera information. Matematiskt är "tensor" en generalisering och innehåller bland annat skalärer (ingen dimension - ett enskilt nummer), vektorer (1 dimension) och matriser (2 dimensioner). I praktiken används ordet tensor för att beskriva en samling information i mer än 2 dimensioner. År 2024 var det vanligt förekommande med AI-modeller med tensorer i så mycket som 256 eller 1024 dimensioner, och det finns ingen teoretisk övre gräns för hur informationen kan ordnas.

En tensor kan innehålla olika typer av data såsom text, bilder och numeriska värden som lagras och bearbetas av AI-modellen, men datat är i de flesta fall generaliserat och normaliserat (till tal) för att bearbetas matematiskt.

En liknelse för en tensor i en AI-modell kan vara att tänka på det som en låda där olika typer av information sorteras och organiseras för att skapa struktur i modellen.