On Tuesday, January 12, 2021 at 10:44:57 PM UTC+1, robot wrote:
> W dniu 12.01.2021 o 20:27, M M pisze:
> >>>
> >> Pewien jesteś tych liczb?
> >> Na internetach pisz że jednak mózg bardziej skomplikowany.
> >
> > neuronów można by przeliczać równolegle w sztucznym mózgu.
> > [...]
> No właśnie o to mi chodziło z tymi liczbami. I szybkość też.
> Sa procesory od podstaw zbudowane do wykonywania obliczeń
> na podobieństwo sieci neuronowych, google używa takich między innymi
> "żeby mnie śledzić jak do sklepu ide po piwo":)
>
>
https://en.wikipedia.org/wiki/Tensor_Processing_Unit
>
> Ale nadal nie dorównuje to mózgowi człowieka (nawet mojemu)
Tak naprawdę nie wiadomo czy dorównuje. Wielokrotnie pisywałem, że
ludzkość nadal nie potrafi budować skomplikowanych algorytmów.
Algorytmy które znamy są maleńkie. Wszystkie ważne-znane algorytmy
takie jak np.: mnożenie macierzy, rozwiązywanie równań, wyszukiwanie
minimum, sortowanie przeróżnymi metodami, operacje na drzewach,
tablicach hashujących, rozkład na czynniki pierwsze, optymalizacja
liniowa, przeszukiwanie drzewa gry, całkowanie monte-carllo,
szyfrowanie - mają kilka, kilkanaście, rzadziej kilkadziesiąt
linii. Co by było, gdybyśmy potrafili opracować (sub)optymalne
algorytmy o długości tysięcy linii? Może optymalny program o
długości 20tys instrukcji w połączeniu z 50TB pamięci RAM i 500TB
pamięci na dyskach, znacznie by przewyższał każdego człowieka w
każdym względzie? Taki program naprawdę może być malutki.
Liczby takie jak 86E9 neuronów i 1E15 połączeń naprawdę nie
są duże. Powtarzając, mózg jest nadmiarowy i nieoptymalny,
ponieważ:
1) Musi być odporny na uszkodzenia;
2) Jest ograniczony przez ekspresję genów, chyba 97% ludzkiego
mózgu jest całkowicie zależna od genów;
3) Prawdopodobnie został wylosowany z puli genetycznej, a nie
zaprojektowany przez inżyniera;
4) Musi być dostosowany do możliwości zasilania go przez
pokarm i tlen ze strony organizmu;
5) Musi być dostosowany do oczyszczania go z produktów
przemiany materii;
6) W ogóle jest ograniczony właściwościami białek, ładunków
elektrycznych i substancji chemicznych;
7) Zwykle ogranicza połączenia do połączeń miedzy warstwami;
8) Musi zajmować się utrzymywaniem organizmu przy życiu,
wydzielaniem wewnętrznym, zmysłami, trawieniem pokarmu,
biciem serca, immunologią...
Tymczasem mózg na twardym dysku tylko pobiera dane na wejście,
uczy się i generuje wyjście - np. tylko ogląda i generuje filmy.
Sub-optymalny ośrodek odpowiedzialny za inteligencje może być
relatywnie malutki, może wymagać np. 1E9 neuronów i 1E11 połączeń.
Jeśli neuron da się opisać np. 32 bajtami, to do takiego mózgu
wystarczy 32GB pamięci RAM na stany neuronów, plus 1-2TB na
zapamiętanie synaps no i plus ten mały najgenialniejszy programik o
rozmiarze np. 200kB do uczenia i przeliczania sztucznej sieci
neuronowej.
Co do szybkości: jeśli połączenia są niezależne, to można
przeliczać sieć równolegle. Tyle że połączenia niezależne
oznacza organizowanie neuronów i połączeń w warstwy, a nie
tak jakby było optymalnie - dowolny do dowolnego. Możliwe
że w mózgu nie zorganizowanym w warstwy, średnio w jednym
takcie można by przeliczać np. 100 połączeń. Przy 1E11
połączeń i 1E9 taktów na sekundę, daje to 1E11/1E2/1E9 -
jeden cykl mózgu na sekundę. Nie aż tak wolno, ale to by
musiał robić wyspecjalizowany układ elektroniczny, a nie
szeregowy komputer ogólnego przeznaczenia. Nawet jakby
to było wolno, to taki mózg mógłby się uczyć non-stop, bez
snu, jedzenia, fanaberii, hobby i rozmyślania nie na
zadany temat. Po 10 latach taki mózg można sklonować na
milion komputerów, każdy lekko zaburzyć losowo i uczyć
równolegle miliony różnych mózgów. Potem byłaby tylko
produkcja przełomowych prac naukowych co kilka lat.
Jedyny problem, jaki moim zdaniem stoi na przeszkodzie,
polega na tym, że nie potrafimy napisać takiego algorytmu o
rozmiarze może 50tys instrukcji. Moim zdaniem program o
rozmiarze 50tys instrukcji to zarówno błahostka przy mózgu i
może działać lepiej niż niejeden mózg.
Pozdrawiam