Jest matematyczny odpowiednik neuronu, i tu jest moje pytanie jak programowo wygląda nauczenie takiego neuronu?
Neuron posiada określoną funkcję aktywacji, która mówi w jaki sposób neuron odpowiada na dane wejściowe.
Masz zbiór danych uczących, czyli par dane wejściowe - dane wyjście.
Dla każdego wiersza danych wejściowych obliczasz różnicę, między tym co odpowiada twój neuron a pożądanym wyjściem - czyli błąd.
Mając błąd starasz się tak dopasować parametry funkcji aktywacji, żeby następnym razem, dla tych samych danych błąd był mniejszy (to tak w skrócie, w rzeczywistości w końcu spowoduje to tzw. overfitting).
Robi się to zazwyczaj obliczając pochodną błędu względem wspomnianego parametru, a następnie modyfikacji parametru "w przeciwnym kierunku" niż wskazuje pochodna.
Opisałem proces uczenia jednego neuronu, w praktyce żeby mieć sensowne wyniki należy zastosować sieć z co najmniej kilkoma neuronami.