Trabajo Final

Trabajos a realizar:

a) Evalúe los 5 métodos utilizados durante el curso (árboles de decisión, redes neuronales, naive-bayes con normales, naive-bayes con histogramas y k-primeros-vecinos) en el dataset de BBBs, usando una estimación en 10-Folds. Para ello divida el conjunto de entrenamiento en 10 subconjuntos, respetando la proporción original de puntos de cada clase, y utilice alternativamente 9 de ellos para ajustar los métodos y el restante para testear. Cuando sea necesario (por ejemplo, número de unidades en la capa oculta de la red neuronal), optimice los parametros del método utilizado sobre una partición cualquiera de las 10 generadas, y luego aplique para los demás casos los mismos valores. Especifique en el informe qué procedimiento realizó para optimizarlos, y el resultado obtenido. Genere un cuadro con las medias y desviaciones estándar de los resultados en test de cada método.

b) Realice un t-test con 95% de confidencia (sección 5.6, p.145 del Mitchell) entre el método que muestra el "mejor" resultado y el que muestra el "peor". Realice un segundo test entre el que muestra el "mejor" resultado y el "segundo mejor". ¿Hay resultado positivo en algún caso? ¿Qué conclusiones puede extraer?

Entregue un informe en papel con todos los detalles y explicaciones que considere necesarias. El examen final de teoría consistirá principalmente en la discusión de este informe.