Lily: La IA local que superó a Apple en sus propias Macs
Lily de Perplexity lleva inferencia local a Macs y supera a MLX-LM en pruebas específicas, con límites claros de hardware.
Lily es una pieza clave de la estrategia de IA local en Mac de Perplexity Engineering. Su propuesta es simple de entender, pero importante para negocio: mover parte de la inferencia al dispositivo para trabajar con archivos y aplicaciones privadas sin sacar esos datos de la máquina, mientras la nube se reserva para investigación y razonamiento más complejos. En la práctica, esto ayuda a separar tareas sensibles de tareas intensivas, algo útil cuando privacidad, latencia y control operativo importan.
Qué cambió con Lily
Lily es un motor de inferencia local diseñado para Macs y construido en Rust con kernels de Metal hechos a mano. Según la fuente, evita rutas tradicionales como PyTorch o MLX en su ejecución. Ese cambio no es solo técnico: implica menos dependencia de pilas genéricas y más especialización para un caso concreto. En otras palabras, Lily no pretende ser una solución universal, sino una herramienta enfocada en una arquitectura y un flujo de trabajo específicos.
Por qué importa la IA local en Mac
La IA local en Mac puede ser relevante cuando una empresa necesita interactuar con documentos internos, datos personales o aplicaciones privadas sin enviarlos a la nube. Un ejemplo conceptual: un equipo legal podría querer resumir contratos en el propio equipo; un área de operaciones podría consultar archivos internos sin exponerlos fuera del dispositivo. El valor no está solo en la velocidad, sino en el control sobre dónde se procesan los datos.
Rendimiento y alcance real
La fuente indica que Lily supera a MLX-LM de Apple en el mismo hardware y con el mismo modelo. En las pruebas citadas, promedia 1.23x en prefill y 1.35x en decode, con 4,156 tokens por segundo leyendo frente a 3,388, y 170.0 escribiendo frente a 126.4. También se reportan resultados en un punto de 4K de prompt y 4K de contexto. Aun así, conviene leer estas cifras como evidencia de optimización especializada, no como garantía general para cualquier modelo o carga de trabajo.
Limitaciones, riesgos y evaluación
Hay límites claros. Los resultados se obtuvieron en una MacBook Pro con M5 Max, GPU de 40 núcleos y 128 GB de memoria unificada; no son extrapolables a una Mac estándar de 16 GB de RAM. Además, el modelo de 35 mil millones de parámetros usado en las pruebas no es viable en ese tipo de equipo. También se trata de un demo autónomo publicado en GitHub dentro de pplx-garden bajo licencia MIT, por lo que su estado es exploratorio.
Checklist de evaluación
- Confirmar si el caso de uso requiere datos locales.
- Verificar si el hardware disponible se parece al del demo.
- Revisar si la tarea es específica y repetible.
- Comparar con alternativas como MLX-LM en el mismo entorno.
- Medir si la mejora compensa la complejidad operativa.
¿Cómo aplicarlo en tu empresa?
La IA local en Mac puede encajar en empresas que manejan información sensible y necesitan baja latencia. Antes de adoptarla, evalúa si tu prioridad es privacidad, velocidad o especialización. Si el trabajo depende de modelos grandes, hardware limitado o compatibilidad amplia, el enfoque puede no ser adecuado. Si, en cambio, buscas ejecución local para tareas concretas y controladas, Lily muestra un camino posible dentro de una arquitectura híbrida.