Knowledge center Administración pública Transformación digital en Administración pública

Datos para la depuración y entrenamiento de modelos IA

En esta unidad vamos a profundizar en cómo entrenar modelos de inteligencia artificial que posteriormente nos servirán para identificar patrones en nuestros datos o bien realizar las predicciones oportunas.

Para poder entrenar un modelo adecuadamente, es de vital importancia los siguientes 2 aspectos:

1. Volumen

Debemos tener un volumen elevado de datos, ya que los algoritmos a utilizar para el entrenamiento de modelos serán más efectivos cuanto mayor volumen de datos e histórico tengamos. En resumidas cuentas, cuanto mayor volumen de datos tenemos mayor variedad de patrones, tendencias, correlaciones entre variables... podrá identificar el algoritmo para poder realizar las predicciones futuras. Debemos pensar que un modelo no podrá predecir algo que nunca haya visto previamente, es por eso que disponer del mayor histórico posible siempre es lo ideal.

2. Calidad

Disponer de un conjunto de datos de calidad es de especial relevancia, de poco sirve tener un gran volumen de datos si existen múltiples incoherencias, e inconsistencias en los mismos. Además debemos pensar que cuantas más variables de entrada haya correladas con nuestra variable de salida objetivo, más fácil será posteriormente predecir un resultado en base a nuevos valores en esas variables de entrada.

Un aspecto a resaltar en el caso de tratamiento de imágenes, hemos hablado que las redes neuronales convolucionales (CNN) son una excelente técnica para el entrenamiento y predicción de imágenes, pero ¿cuál es el volumen de datos óptimo para realizar predicciones satisfactoriamente? Pues esto depende de múltiples factores como el número de categorías o clases que haya en nuestra variable de salida. No hay un valor concreto, pero se dice que debemos tener al menos 1.000 imágenes por cada posible categoría que tengamos que predecir, por ejemplo, si tenemos una aplicación de inteligencia artificial en la que necesitamos predecir si determinadas imágenes son gatos, perros, o caballos, deberíamos tener al menos 3.000 imágenes balanceadas entre las 3 categorías.

Qué hacer si necesitamos mayores conjuntos de datos

Aunque todo el mundo quiere tener acceso a grandes conjuntos de datos, es más fácil decirlo que hacerlo. Obtener acceso a grandes cantidades de conjuntos de datos de calidad y diversidad es esencial para el éxito del proyecto. A continuación se listan algunas vías para conseguir aumentar el volumen de datos:

1. Datasets abiertos

Los conjuntos de datos abiertos generalmente se consideran una "buena fuente" de datos gratuitos. Si bien esto puede ser cierto, los conjuntos de datos abiertos no son lo que necesita el proyecto en la mayoría de los casos. Hay muchos lugares desde los que se pueden obtener datos, como fuentes gubernamentales, portales de datos abiertos de la UE, exploradores de datos públicos de Google y más. Sin embargo, existen muchas desventajas en el uso de conjuntos de datos abiertos para proyectos complejos.

Cuando utiliza dichos conjuntos de datos, corres el riesgo de caer en datos incorrectos o faltantes. Los métodos de recopilación de datos generalmente no se conocen, lo que podría afectar el resultado del proyecto. La privacidad, el consentimiento y el robo de identidad son inconvenientes significativos del uso de fuentes de datos abiertas.

2. Conjunto de datos aumentado

Cuando tienes algo cantidad de datos de entrenamiento pero no lo suficiente para cumplir con todos los requisitos de su proyecto, necesita aplicar técnicas de aumento de datos. El conjunto de datos disponible se reutiliza para satisfacer las necesidades del modelo.

Las muestras de datos sufrirán varias transformaciones que harán que el conjunto de datos sea rico, variado y dinámico. Un ejemplo simple de aumento de datos se puede ver cuando se trata de imágenes. Una imagen se puede aumentar de muchas maneras: se puede cortar, cambiar de tamaño, reflejar, girar en varios ángulos y se puede cambiar la configuración de color.

3. Datos sintéticos

Cuando no hay datos suficientes, podemos recurrir a generadores de datos sintéticos. Los datos sintéticos son útiles en términos de transferencia de aprendizaje, ya que el modelo puede entrenarse primero con datos sintéticos y luego con el conjunto de datos del mundo real. Por ejemplo, un vehículo autónomo basado en IA puede entrenarse primero para reconocer y analizar objetos en visión de computadora como juegos de video.

Los datos sintéticos son beneficiosos cuando faltan datos de la vida real. Además, también se utiliza cuando se trata de privacidad y sensibilidad de datos.

4. Recopilación de datos personalizados

La recopilación de datos personalizados es quizás ideal para generar conjuntos de datos cuando las otras técnicas no brindan los resultados requeridos. Se pueden generar conjuntos de datos de alta calidad utilizando herramientas de web scraping, sensores, cámaras y otras herramientas. Cuando necesites conjuntos de datos personalizados que mejoren el rendimiento de los modelos, adquirir conjuntos de datos personalizados puede ser la decisión correcta. Varios proveedores de servicios externos ofrecen su experiencia.

En resumidas cuentas, para desarrollar soluciones de IA de alto rendimiento, los modelos deben entrenarse en conjuntos de datos confiables de buena calidad. Sin embargo, no es fácil obtener conjuntos de datos ricos y detallados que impacten positivamente en los resultados. Pero cuando se asocia con proveedores de datos fiables, puede crear un modelo de IA potente con una base de datos sólida.

Esta píldora formativa está extraída del Curso online de Gestión del dato en el municipio, Bigdata e Inteligencia Artificial.

Datos para la depuración y entrenamiento de modelos IA

Qué hacer si necesitamos mayores conjuntos de datos

¿Te gusta el contenido de esta píldora de conocimiento?