Neural Networks

Software

TensorFlow es la librería de código abierto para el aprendizaje profundo desarrollada por Google.
Keras es una librería popular de redes neuronales basada en TensorFlow. Está especialmente diseñada para facilitar la creación de redes neuronales. Actualmente forma parte de la librería TensorFlow.
Es una librería de Deep Learning diseñada por Facebook. Muchos la consideran superior a Tensorflow por su flexibilidad y facilidad. Además permite su ejecución en GPU (y varias GPUs) para acelerar los cálculos. Es la libreria más usada entre investigadores para probar sus experimentos.
Fast.ai es una librería ¡y un curso! dirigido por Jeremy Howard donde se pretende hacer el Deep Learning accesible a todo el mundo. Su librería, basada en Pytorch, tiene como máxima la simplicidad y facilitar el uso de los modelos más avanzados de redes neuronales.

Problems

Problem Description Output layer Loss
Regression Real number (-∞, ∞) 1 neuron without act Mean Squared Error
(MSE)
Binary
Classification
2 exclusive classes 1 neuron + Sigmoid Binary Cross Entropy
(BCE)
Multi-Class
Classification
N exclusive classes N neurons + Softmax Cross-Entropy
(CE)
Multi-Label
Classification
N non-exclusive classes N neurons + Sigmoid Binary Cross Entropy
(BCE)
  • You can just consider the multi-label classifier as a combination of multiple independent binary classifiers.
  • Cross-Entropy is called Categorical CrossEntropy in Keras.

Backpropagation


References