В данном блоге доступно 8 постов на разные темы
Квантование: разберись уже с этим
Квантование (quantization) LLM — это процесс уменьшения точности весов нейросети для снижения вычислительных затрат с сохранением приемлемой предсказательной точности автогенерации. Если совсем простым языком говорить, это как сжатие в JPEG …
Tools vs Skills: чем инструменты агента отличаются от навыков
Инструмент (Tool) — это механизм интеграции LLM с внешним миром. Технически инструменты реализуются в виде функций или методов классов и позволяют компенсировать врождённые ограничения языковых моделей. Основные ограничения LLM: Временные …
Язык, на котором говорят LLM: разбираем контракт OpenAI API
API-вызовы (OpenAI-совместимый формат): запрос и ответ При работе с LLM часто требуется знать верхнеуровневый формат «запрос-ответ», который обеспечивает полноценную коммуникацию между клиентом и LLM. Единого официального стандарта нет: каждый вендор …
Битва за память: как VRAM, RAM и PCIe влияют на скорость LLM
Как понять, запустится ли модель на локальном ПК Если на ПК только CPU Формула для очень грубой оценки: text ток/с ≈ пропускная способность RAM / размер модели в памяти Во …