Relevance Vector Machine

Resumo do artigo: Michael E. Tipping; Sparse Bayesian Learning and the Relevance Vector Machine; Journal of Machine Learning Research Volume 1(Jun):211-244, 2001.

Disponível em: http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf

Este artigo propõe uma modificação à famosa Support Vector Machine (SVM), aqui denominada Relevance Vector Machine (RVM). Essa modificação tem como base o uso de técnicas de aprendizagem Bayesianas e introduz probabilidades na saída.

O artigo cita como desvantagens da SVM:

• Número de Support Vectors aumenta linearmente com o tamanho do conjunto de treinamento;
• Predições não são probabilísticas;
• Necessidade de estimar parâmetro de erro C (desperdício de computação e dados)
• A função de Kernel K(x,xi) deve satisfazer a condição de Mercer.

A RVM não sofre de nenhuma dessas limitações. O artigo apresenta modelos para os problemas de regressão e classificação.

É dita "esparsa" porque tipicamente o modelo aprendido após o aprendizado é uma soma ponderada de funções básicas, e o resultado mais esparso significa mais coeficientes, ou seja, menos funções consideradas (resposta mais simples).

(A teoria é complexa e não será explicitada aqui.)

O autor aplicou alguns testes comparativos entre RVM e SVM e conseguiu resultados que demonstram menor erro e muito menos vetores resultantes. Por exemplo, na regressão de uma função sinc(x), com 100 amostras, SVM apresentou desvio de 0,029 e 29 vetores enquanto o RVM teve um desvio de 0,0245 e apenas 6 vetores usados.