Aprendizaje no supervisado: qué es y cómo funciona

Descubra los misterios del aprendizaje no supervisado, una técnica revolucionaria que permite a las máquinas convertirse en analistas de datos autónomos, extrayendo información valiosa sin intervención humana.

Tabla de contenido

• ¿Qué es el aprendizaje no supervisado?
• Aprendizaje no supervisado versus supervisado
• Cómo funciona el aprendizaje no supervisado
• Tipos de aprendizaje no supervisado
• Aplicaciones del aprendizaje no supervisado
• Ventajas del aprendizaje no supervisado
• Desventajas del aprendizaje no supervisado

¿Qué es el aprendizaje no supervisado?

El aprendizaje no supervisado es un tipo de aprendizaje automático (ML) que encuentra patrones y relaciones dentro de los datos por sí solo. El términono supervisadosignifica que el modelo utiliza datos sin etiquetar, lo que significa que no recibe instrucciones de los humanos sobre qué buscar ni orientación sobre lo que está mirando. En cambio, utiliza algoritmos para evaluar conjuntos de datos y encontrar correlaciones, similitudes, diferencias y otras formas de describir los datos mediante matemáticas.

El aprendizaje automático es un subconjunto de la inteligencia artificial (IA) que utiliza datos y métodos estadísticos para construir modelos que imitan el razonamiento humano en lugar de depender de instrucciones codificadas. El aprendizaje no supervisado adopta un enfoque exploratorio basado en datos para sacar conclusiones a partir de grandes conjuntos de datos, como agrupar entidades por características comunes o encontrar qué puntos de datos tienden a coexistir, lo que podría funcionar como clasificar imágenes de árboles de hoja caduca de árboles de hoja perenne, o encontrar que las personas que venPlaza Sésamoprobablemente también veanDaniel Tiger.

Aprendizaje no supervisado versus supervisado

A diferencia de los métodos no supervisados, el aprendizaje supervisado utiliza datos etiquetados que emparejan las entradas con las salidas correctas. Por el contrario, el aprendizaje no supervisado no tiene entradas ni salidas para que el modelo las intuya, sólo datos para analizar.

Las etiquetas proporcionan la llamada supervisión del proceso de aprendizaje del modelo, guiándolo para realizar ingeniería inversa en su camino hacia la respuesta correcta a partir de una entrada determinada. El uso del aprendizaje supervisado tiene sentido cuando se tiene este tipo de datos a los que el modelo puede apuntar y extrapolar, incluidos:

• Decisiones de sí o no , como spam o detección de fraude
• Clasificación , como identificación de objetos dentro de una imagen o reconocimiento de voz.
• Pronósticos , como los precios de las viviendas o el clima.

El aprendizaje no supervisado, por el contrario, no sirve para llegar a la respuesta correcta sino para encontrar patrones o agrupaciones dentro de los datos. Las tres aplicaciones principales son:

• Agrupación , como segmentación de clientes o agrupación de documentos.
• Asociación , como motores de recomendación o anomalías de seguridad.
• Reducción de dimensionalidad , generalmente utilizada para comprimir grandes conjuntos de datos para hacerlos más manejables.

El aprendizaje automático no se limita sólo a métodos supervisados ​​o no supervisados; estos son simplemente dos extremos de un espectro. Otros tipos de métodos de aprendizaje automático incluyen el aprendizaje semisupervisado, de refuerzo y autosupervisado.

Cómo funciona el aprendizaje no supervisado

El aprendizaje no supervisado es conceptualmente simple: los algoritmos procesan grandes cantidades de datos para determinar cómo se relacionan varios puntos de datos. Como los datos no están etiquetados, el aprendizaje no supervisado no tiene contexto ni objetivo. Se trata simplemente de intentar encontrar patrones y otras características.

A continuación se ofrece una breve descripción general del proceso de aprendizaje no supervisado:

1 Recogida y limpieza de datos.El aprendizaje no supervisado evalúa una tabla a la vez, por lo que si tiene varios conjuntos de datos, debe fusionarlos con cuidado. También es importante ordenar los datos lo mejor que pueda, como eliminar duplicados y corregir errores.

2 Escalado de funciones.Los algoritmos no supervisados ​​pueden verse afectados por rangos grandes, así que considere transformar funciones en rangos más ajustados utilizando técnicas que incluyen:

• Normalización: transforma el valor superior a 1, el valor más bajo a 0 y todo lo demás como decimal.
• Estandarización: especifica el valor promedio como 0 y la desviación estándar como 1, con cada punto de datos ajustado en consecuencia.
• Transformación logarítmica: comprime rangos amplios, por lo que con un logaritmo de base 10, 100.000 se convierte en 6 y 1.000.000 se convierte en 7.

3 Selección de algoritmo.Existen múltiples algoritmos para cada tipo de aprendizaje no supervisado, cada uno con fortalezas y debilidades (los analizaremos en la siguiente sección). Puede optar por aplicar diferentes algoritmos al mismo conjunto de datos y comparar.

4 Descubrimiento e identificación de patrones.El algoritmo elegido se pone a trabajar. Esto puede tardar desde segundos hasta horas, según el tamaño del conjunto de datos y la eficiencia del algoritmo. Si tiene un conjunto de datos grande, es posible que desee ejecutar el algoritmo en un subconjunto antes de procesarlo todo.

5 Interpretación.En esta etapa, es hora de que los humanos tomen el control. Un analista de datos puede utilizar gráficos, verificaciones aleatorias y varios cálculos para analizar e interpretar los datos.

6 Aplicación.Una vez que esté seguro de que está obteniendo resultados útiles, póngalo en práctica. Hablaremos de algunas aplicaciones del aprendizaje no supervisado más adelante.

Tipos de aprendizaje no supervisado

Existen varios tipos de aprendizaje no supervisado, pero los tres más utilizados son la agrupación, las reglas de asociación y la reducción de dimensionalidad.

Agrupación

La agrupación crea grupos de puntos de datos. Es realmente útil para agrupar elementos similares entre sí para que luego puedan clasificarse mediante análisis humano. Por ejemplo, si tiene un conjunto de datos que incluye la edad del cliente y el monto promedio en dólares de las transacciones, podría encontrar grupos que lo ayuden a decidir dónde orientar sus dólares publicitarios.

Los tipos de agrupación incluyen:

• Agrupación exclusiva o dura.Cada punto de datos puede pertenecer a un solo grupo. Un enfoque popular conocido como k-means le permite especificar cuántos clústeres desea crear, aunque otros pueden determinar la cantidad óptima de clústeres.
• Agrupación superpuesta o suave. Este enfoque permite que un punto de datos esté en múltiples grupos y tenga un "grado" de membresía en cada uno en lugar de estar puramente dentro o fuera.
• Agrupación jerárquica. Si se hace de abajo hacia arriba, se llama agrupación aglomerativa jerárquica o HAC; De arriba hacia abajo se llama agrupación divisiva. Ambos involucran muchos grupos organizados en grupos cada vez más grandes.
• Agrupación probabilística. Este es un enfoque diferente que calcula el porcentaje de probabilidad de que un dato determinado pertenezca a cualquier categoría. Una ventaja de este enfoque es que puede asignar a un determinado punto de datos una probabilidad muy baja de ser parte de un grupo determinado, lo que podría resaltar datos anómalos o corruptos.

reglas de asociación

También conocido como minería de reglas de asociación o aprendizaje de reglas de asociación, este enfoque encuentra relaciones interesantes entre puntos de datos. El uso más común de las reglas de asociación es determinar qué artículos se compran o usan comúnmente juntos para que el modelo pueda sugerir lo siguiente que se puede comprar o mostrar para ver.

Los tres conceptos centrales de las reglas de asociación son:

• Apoyo.¿Con qué frecuencia se encuentran A y B juntos como porcentaje de todas las instancias disponibles (por ejemplo, transacciones)? A y B pueden ser elementos individuales o conjuntos que representen varios elementos.
• Confianza. ¿Con qué frecuencia si se ve A, también se ve B?
• Elevar. ¿Cuál es la probabilidad de que A y B se vean juntos, en comparación con si no hubiera correlación? El ascensor es la medida del “interés” de una asociación.

Reducción de dimensionalidad

La reducción de dimensionalidad corresponde al número de columnas de una tabla. Otros términos para columnas en este contexto soncaracterísticasoatributos. A medida que crece la cantidad de funciones en un conjunto de datos, analizar los datos y lograr resultados óptimos se vuelve más desafiante.

Los datos de alta dimensión requieren más tiempo, potencia informática y energía para procesarse. También puede dar lugar a resultados deficientes. Un ejemplo particularmente pernicioso es el sobreajuste, la tendencia de los modelos de aprendizaje automático a aprender demasiado de los detalles de los datos de entrenamiento a expensas de patrones más amplios que se generalizan bien a datos nuevos.

Los algoritmos de reducción de dimensionalidad crean conjuntos de datos simplificados condensando los datos originales en versiones más pequeñas y manejables que retienen la información más importante. Funcionan fusionando características correlacionadas y observando la variación de la tendencia general, reduciendo efectivamente la cantidad de columnas sin perder detalles clave.

Por ejemplo, si tuviera un conjunto de datos sobre hoteles y sus servicios, el modelo podría encontrar que muchas características están correlacionadas con la clasificación de estrellas, por lo que podría comprimir atributos como spa, servicio de habitaciones y recepción las 24 horas en una sola columna.

Por lo general, los ingenieros reducen la dimensionalidad como un paso previo al procesamiento para mejorar el rendimiento y los resultados de otros procesos, incluidos, entre otros, el aprendizaje de reglas de agrupación y asociación.

Aplicaciones del aprendizaje no supervisado

Algunos ejemplos incluyen:

• Análisis de la cesta de la compra.Los minoristas hacen un uso abundante de las reglas de asociación. Por ejemplo, si ha puesto salchichas en su carrito de compras, puede sugerirle que compre ketchup y panecillos para salchichas porque se ha observado un gran aumento de estas combinaciones por parte de otros compradores. Los mismos datos también pueden llevarlos a poner ketchup y hot dogs uno al lado del otro en el supermercado.
• Motores de recomendación. Estos analizan sus datos personales (patrones demográficos y de comportamiento) y los comparan con los de otros para adivinar qué le gustaría comprar o ver a continuación. Pueden utilizar los tres tipos de aprendizaje no supervisado: agrupación para determinar qué patrones de otros clientes podrían predecir los suyos, reglas de asociación para encontrar correlaciones entre ciertas actividades o compras y reducción de dimensionalidad para facilitar el procesamiento de conjuntos de datos complejos.
• Segmentación de clientes. Si bien los especialistas en marketing han estado dividiendo sus audiencias en categorías con nombres durante décadas, la agrupación no supervisada puede seleccionar agrupaciones que tal vez no hayan estado en la mente de ningún ser humano. Este enfoque permite el análisis basado en el comportamiento y puede ayudar a los equipos a orientar los mensajes y las promociones de nuevas maneras.
• Detección de anomalías.Debido a que es muy bueno para comprender patrones, el aprendizaje no supervisado a menudo se utiliza para alertar cuando algo es anormal. Los usos incluyen señalar compras fraudulentas con tarjetas de crédito, datos corruptos en una tabla y oportunidades de arbitraje en los mercados financieros.
• Reconocimiento de voz.El habla es complicada de analizar para las computadoras, ya que tienen que lidiar con ruido de fondo, acentos, dialectos y voces. El aprendizaje no supervisado ayuda a los motores de reconocimiento de voz a aprender qué sonidos se correlacionan con qué fonemas (unidades del habla) y qué fonemas se escuchan normalmente juntos, además de filtrar el ruido de fondo y otras mejoras.

Ventajas del aprendizaje no supervisado

• Baja implicación humana.Una vez que se demuestra que un sistema de aprendizaje no supervisado es confiable, ejecutarlo requiere poco esfuerzo más allá de garantizar que las entradas y salidas estén enrutadas adecuadamente.
• Funciona con datos sin procesar. No es necesario proporcionar etiquetas, es decir, especificar qué salida debe resultar de una entrada determinada. Esta capacidad de manejar los datos tal como vienen es extremadamente valiosa cuando se trata de enormes cantidades de datos intactos.
• Descubrimiento de patrones ocultos. Sin otro objetivo o agenda que encontrar patrones, el aprendizaje no supervisado puede indicarle “desconocidos”: conclusiones basadas en datos que no había considerado previamente pero que tienen sentido una vez presentados. Este enfoque es particularmente útil para encontrar agujas en pajares, como analizar el ADN en busca de la causa de la muerte celular.
• Exploración de datos. Al reducir la dimensionalidad y encontrar patrones y grupos, el aprendizaje no supervisado brinda a los analistas una ventaja para entender nuevos conjuntos de datos.
• Entrenamiento incremental. Muchos modelos no supervisados ​​pueden aprender sobre la marcha: a medida que ingresan más datos, pueden evaluar los últimos aportes en relación con lo que ya han descubierto. Esto requiere mucho menos tiempo y esfuerzo informático.

Desventajas del aprendizaje no supervisado

• Necesitas muchos datos.El aprendizaje no supervisado es propenso a cometer grandes errores si se entrena con ejemplos limitados. Podría encontrar patrones en los datos que no se mantienen en el mundo real (sobreajuste), cambiar dramáticamente ante nuevos datos (inestabilidad) o no tener suficiente información para determinar algo significativo (descubrimiento de patrones limitado).
• Baja interpretabilidad. Puede resultar difícil entender por qué un algoritmo, como la lógica de agrupamiento, llegó a una conclusión particular.
• Falsos positivos. Un modelo no supervisado podría leer demasiado en puntos de datos anómalos pero sin importancia sin etiquetas para enseñarle qué es lo que merece atención.
• Difícil de evaluar sistemáticamente.Dado que no existe una respuesta "correcta" con la que compararlo, no existe una forma sencilla de medir la precisión o utilidad del resultado. El problema puede mitigarse en cierta medida ejecutando diferentes algoritmos con los mismos datos, pero al final, la medida de la calidad será en gran medida subjetiva.