В данном блоге доступно 8 постов на разные темы
По запросу нашлось 1 пост
Токенизация в больших языковых моделях: как текст становится математикой
Токенизация — это процесс преобразования текста в последовательность числовых идентификаторов токенов. Это логично, так как LLM можно упрощённо рассматривать как математическую функцию, а функция — это отображение пространства аргументов в …