В данном блоге доступно 37 постов на разные темы
По запросу нашлось 2 поста
Инференс LLM: KV-кэш, квантизация, LoRA и эмбеддинги
Темы 51–55: prefill и decode, KV-кэш, квантизация, LoRA и QLoRA, длинный контекст, эмбеддинги и реранкеры. 51. KV-кэш и как устроен инференс Важность на собеседовании: 9/10 █████████░ 🔥🔥🔥 Критично для 2026. …
Как KV-кеш поборол O(n²)
Key-Value кеш — отличный пример того, как недостаточно предложить и теоретически обосновать даже такую сильную архитектурную идею, как трансформеры в LLM. Замечание 1. Трансформеры — это архитектурное решение, которое было …