W LLM (np. w architekturze Transformer), każda potencjalna relacja między tokenami jest już "wyliczona" przez mechanizm Attention. Kiedy waga zmienia się z 0 na 0.1, nie powstaje nowe połączenie, a jedynie modyfikowana jest istniejąca macierz, która od początku miała zarezerwowane miejsce w pamięci (VRAM). Jakby to napisać, w AI architektura jest gęsta (dense) lub z góry zdefiniowana jako rzadka. Zasoby (pamięć) są alokowane statycznie. W mózgu połączenie, które nie istnieje, fizycznie nie zajmuje miejsca i nie zużywa energii. To jest moim Zdaniem kluczowe. 5Pojawienie się nowej synapsy to akt "stworzenia" infrastruktury tam, gdzie jej wcześniej nie było. Mózg nie ma "macierzy wszystkiego ze wszystkim", bo musiałby ważyć tonę i zużywać energię małej elektrowni.