Disponível em: http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf
Este artigo propõe uma modificação à famosa Support Vector Machine (SVM), aqui denominada Relevance Vector Machine (RVM). Essa modificação tem como base o uso de técnicas de aprendizagem Bayesianas e introduz probabilidades na saída.
O artigo cita como desvantagens da SVM:
- Número de Support Vectors aumenta linearmente com o tamanho do conjunto de treinamento;
- Predições não são probabilísticas;
- Necessidade de estimar parâmetro de erro C (desperdício de computação e dados)
- A função de Kernel K(x,xi) deve satisfazer a condição de Mercer.
A RVM não sofre de nenhuma dessas limitações. O artigo apresenta modelos para os problemas de regressão e classificação.
É dita "esparsa" porque tipicamente o modelo aprendido após o aprendizado é uma soma ponderada de funções básicas, e o resultado mais esparso significa mais coeficientes, ou seja, menos funções consideradas (resposta mais simples).
(A teoria é complexa e não será explicitada aqui.)
O autor aplicou alguns testes comparativos entre RVM e SVM e conseguiu resultados que demonstram menor erro e muito menos vetores resultantes. Por exemplo, na regressão de uma função sinc(x), com 100 amostras, SVM apresentou desvio de 0,029 e 29 vetores enquanto o RVM teve um desvio de 0,0245 e apenas 6 vetores usados.
