В данном блоге доступно 37 постов на разные темы
План подготовки к собеседованию, финальный чек-лист и источники
Финал конспекта: планы подготовки на неделю и на месяц, метод самопроверки, обязательный практический минимум, чек-лист перед интервью и список источников. 75. План подготовки Как пользоваться этой методичкой Если у вас …
Трансформеры: архитектура, внимание и позиционные кодировки
Темы 40–45: блок трансформера, self-attention через Q, K и V, RoPE и ALiBi, MHA/MQA/GQA и FlashAttention, нормализация, активации и MoE, разница между BERT, GPT и T5. Это ядро собеседования на …
Классический NLP: TF-IDF, Word2Vec и рекуррентные сети
Темы 35–39: препроцессинг текста, мешок слов и TF-IDF, Word2Vec, GloVe и FastText, RNN, LSTM и seq2seq, классические задачи NLP и их метрики. Эта часть спрашивается реже, чем трансформеры, но полностью …
Как устроены собеседования на NLP/LLM-разработчика
Форматы и этапы интервью, обязательный минимум знаний, реальные вопросы российских компаний и техника ответа. Плюс карта приоритетов: что учить в первую очередь, а что можно пропустить. Уровень: Middle → Senior …
Как KV-кеш поборол O(n²)
Key-Value кеш — отличный пример того, как недостаточно предложить и теоретически обосновать даже такую сильную архитектурную идею, как трансформеры в LLM. Замечание 1. Трансформеры — это архитектурное решение, которое было …