Myco-Opt usa las propiedades estructurales de las redes de hongos — soluciones evolucionadas a la optimización de flujo bajo incertidumbre — como priors biológicos que guían la búsqueda de hiperparámetros de transformers, reduciendo el presupuesto de evaluación.
Entrenar un LLM grande cuesta millones. Encontrar los hiperparámetros correctos (profundidad, expertos, learning rate, routing) sigue siendo en gran parte prueba y error — y cada evaluación es carísima.
Un solo run de un modelo frontier puede costar millones de dólares. La búsqueda de hiperparámetros multiplica ese costo.
Nuestra hipótesis: los priors biológicos alcanzan configuraciones ≥ Bayesian Optimization con ≤50% del presupuesto.
GlobalFungi (Nature Sci Data 2020) + MycoDB: datos abiertos de interacciones fúngicas para derivar los priors.
Las redes micorrízicas conectan plantas a través del suelo y transportan recursos. Son redes optimizadas por millones de años de evolución bajo incertidumbre — el mismo problema que enfrentamos al diseñar arquitecturas de IA.
No afirmamos "inteligencia fúngica". Usamos topología cuantitativa verificable: modularidad, distribución de grado, conectividad small-world, diámetro y clustering — medidas con datos abiertos reales.
Los mapeos restringen el espacio de búsqueda hacia regiones biológicamente plausibles. El loop evolutivo con LLM-optimizador (estilo OPRO) corrige el resto.
Cada propiedad estructural de la red se mapea de forma natural al espacio de diseño de transformers.
| Métrica de red 🍄 | Qué captura en el bosque | Hiperparámetro del LLM 🧠 |
|---|---|---|
| Modularidad Q | Hongos forman gremios especializados | num_experts (MoE) |
| Distribución de grado γ (scale-free) | Pocos hubs concentran el flujo | top_k routing |
| Coeficiente small-world σ | Señal local + atajos globales | num_heads / atención |
| Diámetro / camino medio L | Qué tan lejos viaja el carbono | num_layers |
| Clustering C | Redundancia local | dropout |
| Resiliencia a remoción | La red sobrevive a fallas | regularización / sparsity |
| Flujo dinámico de carbono | Prioriza según necesidad | curriculum / LR schedule |
Validamos la base empírica con dashAI (U. de Chile / CENIA): entrenamos modelos sobre datos de redes micóticas para identificar nodos críticos (hubs), en datos limpios y con ruido.
El hallazgo: con datos con ruido y pocas evaluaciones, la optimización ciega no supera al baseline — exactamente el escenario donde un prior biológico marca la diferencia (hipótesis H3 del paper).
Myco-Opt: Mycorrhizal-Network-Inspired Priors for LLM-Driven Hyperparameter Optimization
· arXiv / NeurIPS (borrador v0.1) · Código y datos abiertos
📄 Abstract (EN — arXiv style)
"Hyperparameter optimization (HPO) and neural architecture search (NAS) remain sample-inefficient despite advances in Bayesian optimization (BO) and, more recently, LLM-based optimizers such as OPRO. We introduce Myco-Opt, a framework that uses graph-theoretic properties of mycorrhizal networks — resource-transport networks shaped by millions of years of evolution under uncertainty — as biological priors to constrain the search space of LLM-driven optimizers. Mycorrhizal networks exhibit well-characterized structural features (modular guild organization, scale-free degree distributions, small-world connectivity, and adaptive resource allocation) that map naturally onto the design space of transformer-based language models (mixture-of-experts routing, layer width profiles, attention patterns, depth, and curriculum scheduling).
We build mycorrhizal interaction graphs from GlobalFungi (600M+ fungal observations) and MycoDB (experimental inoculation effects), encode them in a graph database, and extract network metrics that parameterize a biologically-grounded prior over hyperparameter space. An LLM optimizer (OPRO-style) proposes candidate configurations within this constrained space, receives training feedback, and iterates in an evolutionary loop.
On a causal language modeling proxy task (7–30M parameters, Chilean Spanish corpus), we benchmark Myco-Opt against random search, Hyperband, Optuna (BO), and vanilla OPRO. We hypothesize that biological priors reduce the evaluation budget required to reach a target loss by up to 50% relative to agnostic methods, while yielding structurally distinct, more interpretable configurations. We release all code, data pipelines, and the graph-to-hyperparameter mapping as open source."
📝 Resumen (ES)
Presentamos Myco-Opt, un marco que usa las propiedades estructurales de las redes micorrízicas — redes de transporte de recursos optimizadas por la evolución bajo incertidumbre — como priors biológicos para guiar la búsqueda de hiperparámetros en modelos de lenguaje. La topología fúngica (gremios modulares, distribución scale-free, conectividad small-world, asignación adaptativa de recursos) se mapea naturalmente al espacio de diseño de transformers (routing MoE, perfiles de ancho, patrones de atención, profundidad, curriculum).
Construimos grafos de interacción desde GlobalFungi (600M+ observaciones) y MycoDB, los codificamos en un graphDB, extraemos métricas de red y las usamos para sesgar el espacio de búsqueda de un optimizador LLM (estilo OPRO). En una tarea proxy de LM causal en español chileno, comparamos contra random search, Hyperband, Bayesian Optimization y OPRO vanilla. Hipótesis: los priors biológicos reducen el presupuesto de evaluación hasta 50% manteniendo calidad, generando configuraciones más interpretables y estructuralmente distintas. Código y datos abiertos.
Buscamos colaboradores para escalar el benchmark: integrar datos reales de GlobalFungi, montar el loop OPRO con priors fúngicos, y comparar contra baselines. Todo open source.