В данном блоге доступно 37 постов на разные темы
По запросу нашлось 2 поста
Как обучают LLM: токенизация, предобучение, SFT и alignment
Темы 46–50: BPE и byte-level токенизация, законы масштабирования, обучение следовать инструкциям, RLHF, DPO и GRPO, стратегии декодирования. 46. Токенизация Важность на собеседовании: 9/10 █████████░ 🔥🔥🔥 Критично, и здесь тонет много …
Токенизация в больших языковых моделях: как текст становится математикой
Токенизация — это процесс преобразования текста в последовательность числовых идентификаторов токенов. Это логично, так как LLM можно упрощённо рассматривать как математическую функцию, а функция — это отображение пространства аргументов в …