Métodos de agregación de modelos y aplicaciones
Palabras clave:
Agregación de modelos, Boosting, Bagging, Random Forest, StackingResumen
Los métodos de agregación de modelos en aprendizaje automático combinan varias hipótesis hechas sobre un mismo conjunto de datos con el fin de obtener un modelo predictivo con una mejor performance. Los mismos han sido ampliamente estudiados y han dado lugar a numerosos trabajos tanto experimentales como teóricos en diversos contextos: clasificación, regresión, aprendizaje no supervisado, etc. El objetivo de este trabajo es en un primer momento repasar varios métodos conocidos de agregación de modelos y luego realizar dos aplicaciones para comparar sus performances. La primera consiste en estudiar sus predicciones sobre distintas bases de datos para la clasificación, en particular en problemas de varias clases, y la segunda en utilizarlos en el contexto de la estimación de la densidad de una variable aleatoria.
Descargas
Citas
[2] Vapnik, V; Statistical Learning Theory, Wiley 1998, New York.
[3] Breiman, L., Friedman, J.,Olshen, R., y Stone, C; Classification and Regression Trees. Belmont, CA 1984: Chapman & Hall.
[4] Breiman, L; Bagging predictors, Machine Learning, 1996. 24(2): p. 123–140.
[5] Bradley, E y Tibshirani, R; An Introduction to the Bootstrap, Chapman & Hall/CRC 1993.
[6] Breiman, L; Random forests, Machine Learning, 2001. 45(1): p. 5–32.
[7] Freund, Y. y Schapire, E; A decision-theoretic generalization of on-line learning and application to boosting, Journal of Computer and System Sciences, 1997. 55(1): p 119-13.
[8] Friedman, J., Hastie, T. y Tibshirani, R; Additive logistic regression: a statistical view of boosting, Annals of Statistics, 2000. 28: p. 337–407.
[9] Breiman, L; Arcing Classifiers, The Annals of Statistics, 1998. 26(3): p. 801 – 849.
[10] Zhu, J., Zou, H. y Rosset, S., Hastie, T; Multi-class Adaboost, Statistics and its Interface, 2009. 2: p. 349 – 360.
[11] Saberian, M. J y Vasconcelos, N; Multiclass Boosting: Theory and Algorithms, Neural information Processing Systems, 2011.
[12] Mukherjee, I. y Schapire, R.E; A theory of multiclass boosting, Neural information Processing Systems, 2010.
[13] Wolpert, D.H; Stacked Generalization, Neural Networks, 1992. 5: p. 241–259.
[14] Breiman, L; Stacked regression, Machine Learning, 1996. 24(1): p. 49–64.
[15] Ting, K.M y Witten, I.H; Issues in Stacked Generalization, Journal of Artificial Intelligence Research, 1999. 10: p. 271 – 289.
[16] Smyth,P. y Wolpert, D.H; Linearly combining density estimators via stacking, Machine Learning, 1999. 36(1-2): p. 59 – 83.
[17] Bourel, M. y Ghattas, B; Aggregating density estimators: an empirical study, Enviado a publicación. 2012.
[18] Rigollet, P. y Tsybakov, A.B; Linear and convex aggregation of density estimators, Math. Methods Statist., 2007. 16(3): p. 260 – 280.
[19] Bourel, M; Apprentissage statistique par agrégation de modèles, tesis doctoral, Universidad de la República, Uruguay-Université d’Aix-Marseille, France. En curso.
