В данном блоге доступно 37 постов на разные темы
Как устроены собеседования на NLP/LLM-разработчика
Форматы и этапы интервью, обязательный минимум знаний, реальные вопросы российских компаний и техника ответа. Плюс карта приоритетов: что учить в первую очередь, а что можно пропустить. Уровень: Middle → Senior …
Как KV-кеш поборол O(n²)
Key-Value кеш — отличный пример того, как недостаточно предложить и теоретически обосновать даже такую сильную архитектурную идею, как трансформеры в LLM. Замечание 1. Трансформеры — это архитектурное решение, которое было …
Квантование: разберись уже с этим
Квантование (quantization) LLM — это процесс уменьшения точности весов нейросети для снижения вычислительных затрат с сохранением приемлемой предсказательной точности автогенерации. Если совсем простым языком говорить, это как сжатие в JPEG …
Битва за память: как VRAM, RAM и PCIe влияют на скорость LLM
Как понять, запустится ли модель на локальном ПК Если на ПК только CPU Формула для очень грубой оценки: text ток/с ≈ пропускная способность RAM / размер модели в памяти Во …