@Pawe94467621 To jest cenna uwaga. Nagraliśmy … 14 godzinny wywiad. Mój kręgosłup przez trzy dni umierał. Zrobiłem z tego 3 godzinny wywiad.
Już 3 stycznia na naszym kanale najmocniejszy materiał, jaki stworzyliśmy. Tak naprawdę powstawał 1,5 roku. Materiał o czarnej stronie postępu, technologii, o inwigilacji. Shoshana Zuboff to postać, którą najmocniej można opisać jako "prorokinię cyfrowej dystopii" lub "Karola Marksa ery algorytmów". Jest ona autorką przełomowej koncepcji kapitalizmu inwigilacji (surveillance capitalism), która na zawsze zmieniła sposób, w jaki patrzymy na technologię i naszą prywatność. Nie zgadzaliśmy się w tylu rzeczach, że zaprosiła mnie do domu. Tak weszliśmy w dyskusję której efektem było 14 godzin nagranego materiału. W sobotę 3 stycznia o 8:30 udostępnimy kilkugodzinny wywiad.
Panie Jakubie, być może więcej. Nie powinienem odpisywać na komentarze które mnie obrażają więc odpowiem raz. To w Indiach w ostrówkach hinduizmu urodził się system dziesiętny oraz koncepcja zera. Wspolwczny filar matematyki. Koncepcja sinus i cosinus oraz obliczenie wartości liczby \pi z dużą dokładnością. Już w V wieku Aryabhata sugerował, że Ziemia obraca się wokół własnej osi i krąży wokół Słońca, wyjaśniając przyczyny zaćmień. Hinduistyczna koncepcja cykli czasu (kalpa) zakłada miliardy lat trwania wszechświata, co – w przeciwieństwie do biblijnych ram czasowych – jest znacznie bliższe współczesnym ustaleniom kosmologicznym (wiek Ziemi ok. 4,5 mld lat). Koncepcja Brahmana jako wszechobecnej, fundamentalnej rzeczywistości przypomina współczesne teorie pola w fizyce. Szkoła filozoficzna Vaisheshika (Kanada, ok. VI w. p.n.e.) postulowała istnienie niepodzielnych atomów (anu), które łączą się, tworząc materię. Joga i Medytacja: To nie tylko praktyka fizyczna, ale systematyczna nauka o umyśle, która dziś jest badana pod kątem neuroplastyczności mózgu i redukcji stresu. Starożytny lingwista Panini sformalizował zasady sanskrytu w sposób tak precyzyjny, że jego prace uważa się za prekursorskie dla nowoczesnej informatyki (składnia języków programowania) i lingwistyki strukturalnej. Proszę wyjść ze swoich ograniczeń i patrzeć na świat jako dzieło wielu kultur, religii, wyznań, światopoglądów. Bez odbioru z mojej strony :)
Po pierwsze nie jest prawdą to, co Pan pisze. Hinduizm jest 2 x starszy od Chrześcijaństwa a kulturze i filozofii wschodu zawdzięczamy co najmniej tyle, ile chrześcijaństwu. PO drugie, na temat Boga stworzyłem cztery materiały i kolejny tworzę w styczniu. Po trzecie, prowadzę kanał This Is World. Kanał dla ludzi na całym świecie, różnych kultur i wyznań i nie jestem na nim wpatrzony w Chrześcijaństwo bo nie ma w nim nic czyniącego go ponad innymi religiami, tylko w świat. W to jesteśmy wpatrzeni.
Już niebawem na naszym kanale This Is It. Przeniesiemy się w świat filozofii buddyzmu. Z serca Nepalu ❤ https://pbs.twimg.com/amplify_video_thumb/2005545362749104129/img/N2HGTJ4RfdMEB6eX.jpg
O ludzkim mózgu nie wiemy nawet, jak podejmuje on decyzję. Jest najbardziej złożoną znaną człowiekowi sferą materii we Wszechświecie. „Jak obwody podejmują decyzje jakie działanie podjąć? Jest to coś, co łatwiej zmierzyć u zwierząt niż ludzi. To nie jest tylko logiczny bieg pewnych działań. Istnieje w tym element losowości i dobrowolności” - Prof. Tom Sudhof, laureat Nagrody Nobla, odkrywca jednego z najważniejszych mechanizmów transportowych w ludzkim mózgu i neurobiolog. Polecam naszą rozmowę w komentarzu.
Miałem na myśli to, że architektura, nad którą pracują Zuza i Adrian, kładzie nacisk na dynamiczne aktualizowanie stanu. To bliższe pojęciu synaps, które wzmacniają się lub słabną w trakcie doświadczania rzeczywistości, a nie w osobnym trybie „offline”. O tym też mówił Adrian. Zobaczymy co nowego opublikują teraz.
@pawel_plx @andrzejdragan @KinasRemek 5 stycznia z Andrew NG i kilkoma programistami tworzymy debatę w SF. Trochę na ten temat. Zobaczymy jak to wyjdzie. Ale Pans pomysł ekstra,
@andrzejdragan @KinasRemek Przy czym w ostatnich latach nacisk kładziono na matematykę. I zdaje się że dziś wiemy ze to było nie wystarczające. Zresztą dziś WSJ o tym trochę pisze wskazując projekt Adriana i Zuzy jako jeden z kluczowych. Być może ktoś też to dostrzegł. Podsyłam na priv.
@andrzejdragan @KinasRemek Nie, masz racje. Nie napisałem ze w tym się myślisz. W tym uważam masz rację. Natomiast mam wątpliwość co do akcentów które nadajesz, które raczej stronią od neuronauk. Być może źle to interpretuje ale tak to odbieram.
Andrzej, z całym szacunkiem uważam że nie masz racji z tym co piszesz ale też mam wrażenie, że nie jestem w mniejszości co do tego jak dziś zaczyna patrzeć na to świat. Hardware vs Software to nie metafora, to fizyczny fakt w krzemie. W architekturze von Neumanna (na której opierasz AI) informacja musi zostać przesłana między procesorem a pamięcią. To generuje koszt energetyczny o rzędy wielkości większy niż w mózgu. Mózg nie „przesyła” danych – on jest strukturą, która oblicza się sama sobą w miejscu. To nie jest „subtelny mechanizm biologiczny”, to fundamentalna przewaga wydajnościowa, której krzem nie przeskoczy bez zmiany swojej fizycznej natury. Plastyczność to nie tylko „dynamiczny proces”, to rekonfiguracja podłoża. Piszesz, że „sieciom do rozumowania wystarczają stany końcowe”. Tak, do rozwiązywania zamkniętych problemów matematycznych – owszem. Ale inteligencja ogólna (AGI) wymaga ciągłej adaptacji strukturalnej do nieprzewidywalnego środowiska. W AI każda zmiana wagi to operacja matematyczna na stałej matrycy. W mózgu to zmiana fizycznego oporu, geometrii i chemii. Twierdzenie, że to nie ma znaczenia, to jak mówienie, że nie ma różnicy między rzeźbieniem w skale a wyświetlaniem obrazu skały na ekranie. To jest błąd. Sugerujesz, że myślenie to czysta matematyka, która jest „agnostyczna względem nośnika”. Fizyka mówi co innego: każde obliczenie ma koszt termodynamiczny (granica Landauera o czym zresztą stworzyliśmy obszerny materiał). Mózg wykorzystuje szum termiczny i fluktuacje molekularne do generowania kreatywności i skojarzeń. Krzem musi z tym szumem walczyć, zużywając gigawaty energii na chłodzenie.
Mówiąc wprost: Różnica między krzemem a węglem to nie tylko liczba elektronów, to architektura. Wiara w to, że na sztywnym, martwym fizycznie krzemie da się odtworzyć proces, którego istotą jest fizyczna samomodyfikacja, jest tak samo „przedwczesna” i kategoryczna, jak moje wątpienie w ten proces. Tak uważam. Trzeba mieć ogromne pokłady pokory interdyscyplinarnego patrzenia by móc ocenić ten proces i na pewno ją nie czuję się do tego zdolny oprócz stwierdzenia które jest faktem, że w AI zaczyna się era biologów.
Andrzej to co piszesz zakłada, że mózg to "software" uruchomiony na biologicznym "hardware". To błąd kategorii. Tak uważam. W mózgu nie ma podziału na software i hardware. To, co nazywamy "myśleniem", nie jest algorytmem wykonywanym na materii, ale jest fizykochemiczną transformacją samej materii. W mózgu proces uczenia się to praca termodynamiczna: fizyczne przesuwanie cząsteczek, synteza białek i zmiana geometrii przestrzennej. W AI "nauka" to nadpisywanie zer i jedynek w tej samej, statycznej strukturze tranzystora. Krzemowy czip jest widzem procesu obliczeniowego; neuron ja sobie tłumaczę że jest jego uczestnikiem. Tak mi się wydaje.
Poiszesz coś o czym sam od dawna myślę. "Ograniczenia są usuwalne". Nie są, tak mi się wydaje, ponieważ AI dąży do determinizmu i eliminacji szumu (błędów bitowych). Tymczasem inteligencja biologiczna wynika z chaosu molekularnego. Z fizyczności plastyczność, o której pisze to zmiana ekspresji genów pod wpływem impulsu. To jest Andrzej proces, w którym informacja z poziomu sieci schodzi do poziomu atomowego i tam przebudowuje fabrykę (jądro komórkowe). Gdzie masz to w AI? Aby AI mogło to "dogonić", musielibyśmy stworzyć komputer, który podczas pracy fizycznie przetapia swoje ścieżki i hoduje nowe tranzystory w czasie rzeczywistym.
Krzem potrzebuje zewnętrznego zasilania i stabilnego chłodzenia; jest "pasywny". Mózg jest systemem autopojeptycznym (samotwórczym). Każdy neuron sam zarządza swoim budżetem energetycznym. To jest magia na maxa.
Porównanie atomu krzemu do węgla na obrazku który wrzuciłeś jest uważam redukcjonistyczną pułapką. Zresztą wielu fizyków mi to wysyła. To tak, jakby twierdzić, że ponieważ rzeźba i żywy człowiek składają się z atomów, to różnica między nimi jest "obecnie skrajnym uproszczeniem", które technologia dłuta kiedyś usunie. To nie usunie Andrzej. Życie nie jest obliczeniem wykonywanym na podłożu, życie jest podłożem, które wykonuje siebie. Choć nie mamy pojęcia e gruncie rzeczy, cz to życie jest.
Prawda jest taka, że słuchanie wyłącznie fizyków i matematyków doprowadziło nas do ściany. To stąd dziś niemal każde laboratorium jakie znam stawia na biologów. O tym 5 stycznia robimy fajny materiał z Adrew NG. Cieszę się że wreszcie przyszedł czas na biologie.
AI nie ma nic lub niemal nic wspólnego z mózgiem. Przez lata słuchałem głównie matematyków, fizyków i programistów którzy lansują myślenie, że w mózgu nie ma nic, czego nie da się przenieść do świata cyfrowego. Dziś uważam, że nie jest to prawdą.
Tomek Czajka podał dziś przykład, który mnie też od dawna chodzi po głowie. Odpowiednikiem neuroplastycznosci mózgu jest pamięć RAM, "random access memory", w której możemy łatwo sięgać w dowolne miejsce pamięci kiedy tylko chcemy. To nie prawda. Mało tego, 90 % znanych mi laboratoriów AI zaczyna dziś to rozumieć. To nie jest zastąpienie neuroplastycznosci mózgu. Ludzki mózg jest wariacją, stale się zmienia, pomiędzy neuronami powstają połączenia, nikną, zmieniają położenie. Tego nie da się zastąpić AI. Kiedy „zmieniamy połączenie” w sieci neuronowej, zmieniamy jedynie adresowanie w pamięci RAM lub wartość liczbową w macierzy. Fizyczne ścieżki na chipie krzemowym (tranzystory, miedziane ścieżki) pozostają identyczne. Neuroplastyczność oznacza fizyczną przebudowę materii. Neurony tworzą nowe wypustki (aksony i dendryty), budują nowe synapsy i fizycznie usuwają te niepotrzebne. Mózg dosłownie „rośnie” w odpowiedzi na doświadczenie.
W modelach AI uczenie ogranicza się niemal wyłącznie do zmiany wag (parametrów numerycznych). W mózgu plastyczność jest wielowymiarowa. Zmiana liczby receptorów na synapsie lub ilości uwalnianego neuroprzekaźnika to zmiana chemii. Aktywność neuronu może zmienić ekspresję genów w jego jądrze, co trwale modyfikuje jego strukturę. To tak, jakby zmieniała treść bazy treningowej w AI. Ale w AI to nie możliwe. Komórki glejowe (niebędące neuronami) aktywnie uczestniczą w modyfikowaniu siły połączeń, czego klasyczne architektury AI nie uwzględniają.
Architektura komputera oddziela procesor od pamięci (architektura von Neumanna). Przesyłanie danych między nimi pochłania ogromne ilości energii.Mózg jest architekturą, w której procesor i pamięć to to samo. Plastyczność mózgu obejmuje także układ krwionośny – naczynia krwionośne fizycznie dostosowują się do najbardziej aktywnych obszarów, aby dostarczać więcej tlenu. AI działa na sztywnej infrastrukturze zasilania, która nie „puchnie” ani nie reorganizuje się lokalnie tam, gdzie dzieje się „myślenie”.
Pamięć RAM, opiera się na sztywnej adresacji. Każdy bit musi być w konkretnym miejscu, a dostęp do niego jest binarny. W mózgu synapsy są „szumne” i niepewne. Plastyczność polega na ciągłym balansowaniu między stabilnością a chaosem. W pewnych obszarach mózgu (jak hipokamp) powstają całkowicie nowe komórki. Współczesne modele AI (np. LLM) mają z góry zdefiniowaną liczbę neuronów i warstw, która nie zmienia się po zakończeniu etapu trenowania (tzw. frozen weights).
Dziś wiemy, że wszystko o czym piszę ma wpływ na jakość działania AI i mózgu. Nie wiemy tylko z każdym detalem jak. Uważam, że brakuje w dyskursie o AI neurobiologów informatyków ale są tacy. Są firmy jak Google, Anthropic i chiński DeepSeek, którzy na nich stawiają. Moim zdaniem to jest jedyny słuszny kierunek. Przez ostatni rok rozmawialiśmy z każdym z ojców AI. Dziś rozumiem głębiej to, co powiedział mi w wywiadzie John Hopfield, noblista, ten od którego zaczął się rozwój AI. „Jedyne czego żałuję, to że AI nie rozwija się w ramach nauk biologicznych”.
Uważam, że natury nie da się zastąpić krzemem.
W LLM (np. w architekturze Transformer), każda potencjalna relacja między tokenami jest już "wyliczona" przez mechanizm Attention. Kiedy waga zmienia się z 0 na 0.1, nie powstaje nowe połączenie, a jedynie modyfikowana jest istniejąca macierz, która od początku miała zarezerwowane miejsce w pamięci (VRAM). Jakby to napisać, w AI architektura jest gęsta (dense) lub z góry zdefiniowana jako rzadka. Zasoby (pamięć) są alokowane statycznie. W mózgu połączenie, które nie istnieje, fizycznie nie zajmuje miejsca i nie zużywa energii. To jest moim
Zdaniem kluczowe. 5Pojawienie się nowej synapsy to akt "stworzenia" infrastruktury tam, gdzie jej wcześniej nie było. Mózg nie ma "macierzy wszystkiego ze wszystkim", bo musiałby ważyć tonę i zużywać energię małej elektrowni.
