В данном блоге доступно 8 постов на разные темы
«Ты чего гонишь?», или LLM-галлюцинации
Галлюцинация LLM — генерация уверенного, но фактически неверного или выдуманного текста. Первопричина: Модель обучается предсказывать наиболее вероятный следующий токен на основе статистики, а не проверять факты на истинность. Она стремится …
Как KV-кеш поборол O(n²)
Key-Value кеш — отличный пример того, как недостаточно предложить и теоретически обосновать даже такую сильную архитектурную идею, как трансформеры в LLM. Замечание 1. Трансформеры — это архитектурное решение, которое было …
Квантование: разберись уже с этим
Квантование (quantization) LLM — это процесс уменьшения точности весов нейросети для снижения вычислительных затрат с сохранением приемлемой предсказательной точности автогенерации. Если совсем простым языком говорить, это как сжатие в JPEG …
TAO-цикл: как агент думает, действует и наблюдает
Что такое агент? Общепризнанного понятия «агента» к настоящему времени не сложилось. Но для практической разработки целесообразно опираться на определение, которое в 2023 году предложила Лилиан Вонг (экс-Vice President of Research …
Токенизация в больших языковых моделях: как текст становится математикой
Токенизация — это процесс преобразования текста в последовательность числовых идентификаторов токенов. Это логично, так как LLM можно упрощённо рассматривать как математическую функцию, а функция — это отображение пространства аргументов в …
Tools vs Skills: чем инструменты агента отличаются от навыков
Инструмент (Tool) — это механизм интеграции LLM с внешним миром. Технически инструменты реализуются в виде функций или методов классов и позволяют компенсировать врождённые ограничения языковых моделей. Основные ограничения LLM: Временные …