IA eficiente en movimiento: modelos de lenguaje optimizados para dispositivos móviles y laptops

MadridInvestigadores de Princeton y Stanford han desarrollado un nuevo método para reducir el tamaño de los modelos de lenguaje grandes (LLMs), permitiendo que funcionen mejor en dispositivos móviles como teléfonos y laptops. Este avance contribuye a mejorar la privacidad, ahorrar energía y disminuir los costos asociados al uso de estos modelos.

Un nuevo algoritmo denominado CALDERA permite almacenar modelos de lenguaje grande (LLMs) en dispositivos locales sin perder mucha precisión. Esto se logra al reducir el envío de datos a servidores remotos, lo cual es costoso y consume mucha energía, y al disminuir la precisión en las capas de los LLMs.

La técnica emplea métodos de "baja precisión" y "bajo rango" para comprimir datos de manera significativa. La baja precisión reduce la cantidad de bits necesarios para almacenamiento y procesamiento, ahorrando energía. El bajo rango elimina partes innecesarias en las matrices de peso de los modelos de lenguaje. Al combinarse, estas estrategias aumentan la eficiencia de compresión hasta en un 5% en comparación con el uso exclusivo de baja precisión. Esta mejora permite que estos modelos se utilicen en dispositivos cotidianos como smartphones y laptops.

Algunos posibles beneficios de este modelo más pequeño son:

• Mejora de la privacidad al permitir que los modelos de lenguaje funcionen sin enviar datos a servidores externos.
• Menor consumo de energía gracias a la reducción de los requerimientos computacionales.
• Ideal para dispositivos con recursos limitados.

Lea también:

18 de noviembre de 2024 · 9:36

Precisión en estudios de comportamiento de ratones mejorada con IA y menos animales

Este avance se alinea con la tendencia actual en inteligencia artificial, donde se busca intensamente hacer que estas tecnologías sean más accesibles al permitir su ejecución local. Ejecutar modelos de lenguaje extenso en el dispositivo del usuario mantiene los datos en ese equipo, lo que reduce significativamente las posibilidades de filtraciones de datos y accesos no autorizados. Esto es especialmente crucial a medida que la IA maneja cada vez más información personal y confidencial.

Ejecutar un modelo de lenguaje grande en un dispositivo móvil puede ser complicado debido a su elevado consumo de memoria y energía, lo que podría reducir la duración de la batería si los modelos no están bien optimizados. Aunque las técnicas de baja precisión ayudan a ahorrar energía, no resuelven todos los problemas. Las mejoras futuras podrían requerir una combinación de estrategias de optimización de diferentes áreas.

Esta investigación demuestra que podemos hacer que las herramientas de inteligencia artificial sean más accesibles para todos. Al reducir eficazmente el tamaño de los modelos de lenguaje grandes, es posible que más personas utilicen la inteligencia artificial en sus dispositivos personales, facilitando su integración en la vida cotidiana.