¿Qué es Engram de DeepSeek? Memoria Condicional y MoE

La inteligencia artificial ha avanzado a pasos agigantados, pero pocas personas saben que los sistemas modernos a veces pueden ser sorprendentemente ineficientes. Imagina pedirle a un chef con estrella Michelin que te prepare un sándwich de mantequilla de maní y, en lugar de ir a su despensa, te dice que primero debe plantar los cacahuates, esperar seis meses, cosecharlos y procesarlos.

Aunque suene absurdo, esto es exactamente lo que hacen los sistemas de IA modernos (como ChatGPT o Gemini) cuando se les pide recordar un hecho estático básico. Para resolver este enorme problema computacional, los investigadores de DeepSeek AI han publicado una tecnología revolucionaria llamada Engram [1].

1. El Cuello de Botella de la IA Actual: Computación Densa

El modelado del lenguaje implica dos subtareas cualitativamente diferentes: el razonamiento dinámico compositivo y la simple recuperación de conocimientos estáticos (nombres, fechas, fórmulas). El problema de fondo es que los Transformers estándar carecen de un mecanismo nativo para la búsqueda directa de conocimientos [2].

2. ¿Qué es la Arquitectura Mixture of Experts (MoE)?

Para escalar eficientemente, la industria adoptó la arquitectura Mixture of Experts (MoE). MoE utiliza múltiples submodelos especializados o “expertos” para manejar tareas. Un mecanismo de enrutamiento selecciona qué subredes deben participar, lo que aumenta enormemente la capacidad del modelo y el recuento de parámetros sin pagar el costo computacional completo de procesamiento, manteniendo práctica la inferencia de la IA [3]. Modelos líderes en la industria como DeepSeek-R1 y Mistral utilizan esta arquitectura.

Sin embargo, aunque los modelos MoE escalan la capacidad a través de la computación condicional, los Transformers carecen de una primitiva nativa para la búsqueda directa de conocimientos [2].

3. La Solución de DeepSeek: La Memoria Condicional “Engram”

Aquí es donde brilla Engram. DeepSeek introduce la memoria condicional como un nuevo eje de dispersión que complementa a MoE. Engram le otorga a nuestro “pequeño chef cansado” una despensa con ingredientes listos para usar [1].

Al estudiar el problema de la “Asignación de Dispersión” (Sparsity Allocation), los investigadores de DeepSeek descubrieron una ley de escala en forma de U que guía la distribución óptima de la capacidad entre los expertos neuronales (MoE) y la memoria estática (Engram) [2]. Demostraron que reemplazar una porción de la capacidad de MoE con Engram produce modelos vastamente superiores.

4. Mecanismo de Gating Sensible al Contexto

¿Qué sucede si la IA recupera información incorrecta de su tabla de N-gramas? Para lograr esto, crearon un innovador mecanismo de enrutamiento (gating) sensible al contexto. El contexto actual (el plato que se está cocinando) se compara matemáticamente contra la memoria recuperada (el frasco de la despensa).

Si los contenidos recuperados no concuerdan o contradicen el contexto actual, la puerta (gate) cae a cero, descartando el ingrediente por completo y bloqueando el ruido. Esta validación asegura la pureza semántica de los resultados generados por el modelo neuronal.

5. Resultados: Por qué la IA se vuelve más Inteligente y Profunda

Uno esperaría intuitivamente que una “memoria estática” solo ayude en tareas de trivia. Sin embargo, las ganancias observadas en el modelo Engram-27B fueron masivas en dominios de razonamiento general (BBH), problemas matemáticos y generación de código de programación [4]. Este incremento exponencial en su capacidad para resolver problemas complejos es precisamente la razón por la que el mercado laboral está sufriendo una disrupción sin precedentes, un fenómeno que detallamos en nuestro análisis sobre cómo la inteligencia artificial está impactando el valor de los títulos universitarios y el empleo tradicional.

Mecanísticamente, los análisis revelan que Engram libera a las primeras capas de la red de la pesada reconstrucción de patrones estáticos [2]. Esto permite que las capas profundas se dediquen netamente a la resolución de problemas abstractos, “profundizando” efectivamente la red para el razonamiento complejo. Además, libera capacidad para el procesamiento de contexto global, impulsando de forma dramática el desempeño de la IA con grandes ventanas de contexto (long-context).

6. El Debate del Ruido: Engram-Nine y las Colisiones Hash

Cualquier sistema de búsqueda masivo basado en tablas hash enfrenta un posible limitación: las colisiones de hash (cuando semánticamente diferentes N-gramas se asignan a la misma ranura inyectando ruido) [5]. Los investigadores crearon Engram-Nine usando una Función Hash Perfecta Mínima (MPHF) para eliminar las colisiones en los n-gramas más frecuentes.

Sorprendentemente, eliminar las colisiones de alta frecuencia no mejoró consistentemente la pérdida de validación. Los experimentos indicaron que el ruido inducido por las colisiones funciona en realidad como una “regularización implícita” altamente beneficiosa que previene el sobreajuste (overfitting) del modelo neuronal [5]. Esto advierte de forma general a los ingenieros de IA que optimizar puramente la precisión de búsqueda no siempre garantiza mejores beneficios de entrenamiento sin una comprensión mecanicista profunda.

Conclusión

El paradigma de la memoria condicional Engram prueba que al automatizar la parte más sencilla del lenguaje (mediante operaciones O(1) estáticas), permitimos que la IA dedique todo su potencial a las tareas más difíciles de razonamiento lógico. Esta brillante implementación revoluciona la eficiencia operativa en los LLMs.

Aún más digno de aplauso es que DeepSeek ha puesto esta poderosa tecnología y su código fuente completamente gratis para toda la comunidad bajo la licencia abierta Apache-2.0. Gracias a Engram y MoE, avanzamos hacia un futuro donde modelos extremadamente potentes puedan ejecutarse con recursos limitados, incluso localmente en nuestros propios dispositivos.