Neurones

La fonction logistique est une fonction sigmoide de la forme

Elle est purement continue. e(x) tend vers 0 a moins l’infini et plus infini a plus infini. Inversement e(-x) tend vers plus infini a moins l’infini et zero a plus infini. Si bien qu’en croissant, la partie exponentielle devient negligeable et on se retrouve avec 1/1, soit un. Vers moins l’infini la division tend vers zero car le denominateur croit.

Une autre fonction sigmoide est $$tanh(x) = \frac{sinh(x)}{cosh(x)} = \frac{sinh(x)}{cosh(x)}$$

Fonction XOR

Resolvable avec PReLu https://arxiv.org/html/2409.10821v1 🌍⤴

Ou bien avec des couches cachees.