Métodos de Boosting

Aunque en muchas aplicaciones las redes neuronales son una herramienta poderosa, en problemas de difícil resolución una única red resulta insuficiente. Para solventar esta dificultad, los conjuntos de redes neuronales proponen combinar diferentes redes de modo que se forme un conjunto capaz de resolver mejor el problema en cuestión, proporcionando, además, un diseño más sencillo y más fácilmente comprensible. Entre los conjuntos de redes neuronales destacan los métodos de "Boosting" y, especialmente, el algoritmo "AdaBoost".

Esquema de algoritmo Real AdaBoostEl algoritmo AdaBoost propone entrenar iterativamente una serie de clasificadores base, de tal modo que cada nuevo clasificador preste mayor atención a los datos clasificados erróneamente por los clasificadores anteriores, y combinarlos de tal modo que se obtenga un clasificador con elevadas prestaciones. Para ello, durante una serie de iteraciones entrena un clasificador que implementa una función asignándole un peso de salida, y lo añade al conjunto de modo que la salida global del sistema se obtenga como combinación lineal ponderada de todos los clasificadores base.

Comportamiento de la función de énfasis del algoritmos Real AdaBooostPara conseguir que cada nuevo clasificador preste mayor atención a los datos más erróneos se emplea una función de énfasis que pondera la importancia de cada dato durante el entrenamiento del clasificador. El análisis de esta función  de énfasis nos ha permitido descomponerla en el producto de dos términos, uno relacionado con el error cuadrático de las muestras y otro asociado con la proximidad de estas a la frontera y, consecuentemente, generalizar la estructura de la función de énfasis del Adaboost, introduciendo un parámetro de mezcla ajustable, λ, para controlar el compromiso entre los dos términos de énfasis [2].

Siguiendo esta línea de trabajo, se han explorarado dos alternativas para escoger el parámetro de mezcla:

  1. La primera de ellas, publicada en [3], considera una versión generalizada del parámetro de separación del clasificador usado por el algoritmo RA (una correlación ponderada entre las salidas del clasificador y las correspondientes etiquetas), y propone ajustar dinámicamente el parámetro de mezcla durante el crecimiento del conjunto.
  2. La segunda de ellas, propuesta en [4], en lugar de intentar encontrar el mejor valor de λ, combina las salidas de una serie de conjuntos RA-we entrenados con diferentes valores de λ. De este modo, aprovecha la diversidad introducida por el parámetro de mezcla para construir comités de conjuntos RA-we .

En paralelo a este trabajo, y con el fin de reducir el elevado coste computacional que presenta este tipo de redes durante su operación, en [1] se ha propuesto un esquema de aceleración de la clasificación que explota el hecho de que muchos de los patrones son de clasificación sencilla y no requieren, por tanto, la evaluación de todas las subredes para obtener el criterio de la red completa.

Continuando la línea de investigación de construcción de conjuntos de RRNN también se han propuesto algoritmos de ``Boosting'' que presenten una estructura más compacta (con un menor número de elementos) y que sean capaces de reducir el error de clasificación en comparación con conjuntos de máquinas estándar [5,6].

 

REFERENCIAS

 

[1] Arenas-García, J., Gómez-Verdejo, V. y Figueiras- Vidal, A. R. (2007a). Fast evaluation of neural networks via confidence rating. Neurocomputing, 70:2775–2782.

[2] Gómez-Verdejo, V., Ortega-Moral, M., Arenas-García, J. y Figueiras-Vidal, A. R. (2006). Boosting by weighting critical and erroneous samples. Neurocomputing, 69:679–685.

[3] Gómez-Verdejo, V., Arenas-García, J., y Figueiras- Vidal, A. R. (2008). A dynamically adjusted mixed emphasis method for building boosting ensembles. IEEE Transactions on Neural Networks, 19:3–17.

[4] Gómez-Verdejo, V., Arenas-García, J. y Figueiras- Vidal, A. R. (2010). Committees of adaboost ensembles with modified emphasis functions. Neurocomputing, 73:1289–1292.

[5] Mayhua-López, E., Gómez-Verdejo, V. y Figueiras- Vidal, A. R. (2012). Real adaboost with gate controlled fusion. IEEE Transactions on Neural Networks and Learning Systems, 23(12):2003-2009.

[6] Muñoz-Romero, S., Gómez-Verdejo, V. y Arenas- García, J. (2009). Real adaboost ensembles with emphasized subsampling. En Proc. 10th Intl. Work-Conference on Artificial Neural Networks, LNCS 5517, pág. 440–447, Salamanca, España.