El paper FourierQK de Athanasios Zeris examina qué configuración de filtro espectral rinde mejor en mecanismos de atención con frecuencia aprendida. A través de ablaciones sobre un GPT de 6 capas, valida cinco hipótesis sobre supresión DC, ancho de banda Nyquist, frecuencia central y cobertura multiescala. Los resultados apuntan a que los filtros tipo Mexican Hat superan a los gaussianos, con un ancho óptimo cercano a sigma 2 bins.
Implicaciones para pipelines generativos de arte y assets 3D 🎨
Para quien trabaja con pipelines de IA generativa aplicados a arte, vídeo o assets 3D, el hallazgo sugiere que incorporar atención espectralmente filtrada en modelos encoder puede aportar ventajas medibles. La ganancia reportada de 1.15 nats centrada en escala de párrafo indica que el diseño del filtro no es un detalle menor. Sin embargo, la generación autorregresiva exige variantes causales como MorletQK, lo que limita la transferencia directa de estos resultados a decodificadores. La conclusión operativa es que la forma del filtro pesa tanto como su presencia en arquitecturas de atención eficientes.
Los filtros también tienen su momento de gloria estadística 📊
Después de años discutiendo si conviene o no meter filtros en la atención, resulta que la pregunta correcta era cuál filtro. Un Mexican Hat bien calibrado a sigma 2 bins y centrado en escala de párrafo gana 1.15 nats, lo que en la práctica significa que la comunidad pasó un tiempo prudencial optimizando la existencia de algo cuya forma era lo relevante. La próxima vez que alguien proponga añadir un filtro sin especificar su perfil, conviene recordarle que los detalles importan, sobre todo cuando hay ablaciones de por medio.