В данном блоге доступно 37 постов на разные темы
По запросу нашлось 2 поста
Инференс LLM: KV-кэш, квантизация, LoRA и эмбеддинги
Темы 51–55: prefill и decode, KV-кэш, квантизация, LoRA и QLoRA, длинный контекст, эмбеддинги и реранкеры. 51. KV-кэш и как устроен инференс Важность на собеседовании: 9/10 █████████░ 🔥🔥🔥 Критично для 2026. …
Квантование: разберись уже с этим
Квантование (quantization) LLM — это процесс уменьшения точности весов нейросети для снижения вычислительных затрат с сохранением приемлемой предсказательной точности автогенерации. Если совсем простым языком говорить, это как сжатие в JPEG …