Открытый проект llm-d представил версию 1.0 для распределенного выполнения запросов к языковым моделям. Релиз рассчитан на производственные нагрузки в Kubernetes, говорится в сообщении от 20 октября.
Система помогает распределять вычислительную работу между серверами. Среди задач новой версии: обслуживание нескольких пользователей, управление приоритетами и обновление инфраструктуры без остановки сервиса.
Для бизнеса это инструмент эксплуатации моделей, а не новая языковая модель. Его практическая ценность определяется тем, сколько запросов инфраструктура обработает при заданных затратах и допустимой задержке.
