📦
Signal Field Attention (SFA 信号场注意力)
Signal Field Attention Team面向LLM推理的轻量化双通道注意力优化算法。近场精确+远场EMA压缩,将标准自注意力O(n²)复杂度降至线性O(kn)。零训练直接替换原生注意力模块,推理速度最高提升4.16×,KV Cache显存压缩248×,每层仅8KB可学习参数。兼容Qwen/LLaMA/Mistral等主流开源LLM。MIT开源协议,代码见 GitHub: https://github.com/CN-QN1-dalin/signal-field-attention
其他