Capacidade de uma Rede Neural de Hopfield

Resumo do artigo: McEliece, R.; Posner, E.; Rodemich, E.; Venkatesh, S.; “The capacity of the Hopfield associative memory”; In Information Theory, IEEE Transactions on, Vol 33 Issue 4, p. 461 – 482; Julho, 1987. Disponível em: http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?isnumber=22761&arnumber=1057328&count=15&index=7

Uma rede neural com arquitetura de Hopfield é uma rede com n nós todos conectados entre si. A entrada é dada mudando-se os valores de cada nó e a saída são os valores em cada nó, após atualizados. Cada neurônio tem como função de transferência a função sinal, representando assim um bit com valor -1 ou +1.

A arquitetura de Hopfield é chamada também me memória associativa, pois essa rede neural apresenta a característica de "recuperar" os exemplos treinados, cada um sendo um "atrator". É freqüentemente associada à ideia de reconhecimento de imagens.

O artigo ilustra um exemplo de uma rede com m = 3 exemplos e apenas n = 5 nós. É mostrado que, dada uma entrada com apenas distância de Hamming = 1 de um dos pontos fixos, é possível que o ponto resultante da rede não seja a memória mais próxima ou nem nenhuma delas.

O artigo apresenta 2 definições para capacidade da rede com m atratores, cada um atraindo com um raio ρn, 0 < ρ < ½, ou seja, uma entrada com no máximo metade dos valores errados com relação a um dos m atratores (distância de Hamming até ρn) será atraída corretamente. A primeira fórmula designa a capacidade para que exatamente todas as m memórias sejam atratores: m < n / (4ln(n))

Se aceitarmos que apenas a maioria das m memórias sejam atratoras, então a capacidade dobra: m < n / (2ln(n))

Lâmina de Ockham

Como escolher entre as várias hipóteses consistentes?

Lâmina de Ockham: Prefira a hipótese mais simples.

Por Guilherme de Ockham (William of Ockham), filósofo inglês do séc. XIV.