Page 1

Validación Cruzada YO SOY EL PAN DE VIDA, EL QUE A MI VIENE, NUNCA TENDRÁ HAMBRE; Y EL QUE EN MI CREE, NO TENDRÁ SED JAMÁS. JESUCRISTO


¿Qué tan bien trabaja h ? 2

 Nos gustaría saber que tan bien nuestra h se desempeñará con

nuevos datos (los cuales tengan el mismo origen que los datos de entrenamiento)  El desempeño de la hipótesis con el conjunto de entrenamiento no es

indicativo de su desempeño con datos nuevos.

Inteligencia Artificial 2010


¿Qué tan bien trabaja? 3

 Nos gustaría saber que tan bien nuestra h se desempeñará con

nuevos datos (los cuales tengan el mismo origen que los datos de entrenamiento)  El desempeño de la hipótesis con el conjunto de entrenamiento no es

indicativo de su desempeño con datos nuevos.  Reserve algunos datos para ser el conjunto de validación;

Inteligencia Artificial 2010


¿Qué tan bien trabaja? 4  Nos gustaría saber que tan bien nuestra h se desempeñará con nuevos datos

(los cuales tengan el mismo origen que los datos de entrenamiento)  El desempeño de la hipótesis con el conjunto de entrenamiento no es indicativo

de su desempeño con datos nuevos.  Reserve algunos datos para ser el conjunto de validación; su

desempeño con h es un estimador razonable de su desempeño con nuevos datos.  D:

conjunto de validación

Inteligencia Artificial 2010


Validación cruzada 5

 Para evaluar el desempeño de un algoritmo como un todo

( en vez de una hipótesis particular): Divida los datos en K subconjuntos  Realizar K veces  Entrene con k – 1 subconjuntos  Evalúe con el subconjunto apartado  Regrese el promedio de puntaje al realizar las k evaluaciones. 

Inteligencia Artificial 2010


Validación cruzada 6  Para evaluar el desempeño de un algoritmo como un todo ( en vez de una

hipótesis particular):  Divida los datos en K subconjuntos  Realizar K veces  Entrene con k – 1 subconjuntos (etapa de aprendizaje)  Evalúe con el subconjunto apartado 

Regrese el promedio de puntaje al realizar las k evaluaciones .

Entrenamiento

h1

Entrenamiento

hk

conjunto de validación Inteligencia Artificial 2010


Validación cruzada 7  Para evaluar el desempeño de un algoritmo como un todo ( en vez de una

hipótesis particular):  Divida los datos en K subconjuntos  Realizar K veces  Entrene con k – 1 subconjuntos  Evalúe con el subconjunto apartado 

Regrese el promedio de puntaje al realizar las k evaluaciones . Entrenamiento

h1

conjunto de entrenamiento

conjunto de validación Entrenamiento

hk

Evaluación 1

Evaluación k

Inteligencia Artificial 2010


Validación cruzada 8

 Para evaluar el desempeño de un algoritmo como un todo ( en vez de

una hipótesis particular):  Divida los datos en K subconjuntos  Realizar K veces  

Entrene con k – 1 subconjuntos Evalúe con el subconjunto apartado

Regrese el promedio de puntaje al realizar las k evaluaciones.

Método útil para decidir que clase de algoritmo usar sobre un conjunto de datos particular.(no para evaluar la calidad de una hipótesis particular)

Inteligencia Artificial 2010


Curva de aprendizaje 1000 dimensiones en las entradas; funci贸n= 0.6 0.5 % de error en el conjunto de evaluaci贸n

0.4 0.3 0.2 0.1 0 0

20

40

60

80

100

Numero de ejemplos de entrenamiento

9 Inteligencia Artificial2010


Curva de aprendizaje 1000 dimensiones en las entradas; funci贸n= ( 6 disyunciones con cuatro conjuntos cada uno) 0.6 0.5 % de error en el conjunto de evaluaci贸n

0.4 0.3 0.2 0.1 0 0

100

200

300

400

500

Numero de ejemplos de entrenamiento

10 Inteligencia Artificial 2010


Dominios 11

 Votación en el congreso:dados los registros de las

votaciones de los congresistas, predecir el partido  Filtrar spam: codificar cada mensaje como un vector de atributos, uno por palabra; un atributo esta on si esa palabra ocurre en mensaje; predecir si o no es spam.  Mercadeo: predecir si una persona comprará un producto basado en compras previas; codifique las compras habituales con una característica para todos los productos, haga 1 si previamente lo ha comprado.  Hélice genética:

Inteligencia Artificial 2010


12

Tomado del  Instituto Tecnológico de Massachusetts www.owc.mit.edu 6.034 Artificial Intelligence 2004 Archivo ch4-learnintro

Inteligencia Artificial 2010


Entrega 2da de Aprendizaje de máquinas 13

 Seleccione uno de los algoritmos presentados y  Codifíquelo en algún lenguaje de programación.  Se evaluará para esta entrega: • • • •

Incorporación de los procedimientos principales del algoritmo Flexibilidad para el cambio de datos (numero y contenidos ) Criterios de parada para el árbol de decisión Corrección de Laplace para NB

Inteligencia Artificial 2010

3.3 Validacion Cruzada (11d) 2011  

YO SOY EL PAN DE VIDA, EL QUE A MI VIENE, NUNCA TENDRÁ HAMBRE; Y EL QUE EN MI CREE, NO TENDRÁ SED JAMÁS. JESUCRISTO  Nos gustaría saber que...

Read more
Read more
Similar to
Popular now
Just for you