Моделирование больших систем с... Заметка
RSS Блог Google AI

Моделирование больших систем с помощью регрессионных языковых моделей

Большие языковые модели (БЯМ) совершенствуются за счет обучения на предпочтениях человека для генерации полезного текста. Новый подход расширяет это, используя операционные данные для обучения моделей вознаграждения для прогнозирования метрик производительности. Традиционная регрессия испытывает трудности с сложными, неструктурированными данными, требуя трудоемкого проектирования признаков. В статье представлены Регрессионные Языковые Модели (РЯМ), которые выполняют регрессию текст-в-текст, обрабатывая текстовые входные данные для вывода числовых прогнозов в виде строк. Этот метод избегает проектирования признаков и позволяет адаптироваться к новым задачам с небольшим количеством примеров. РЯМ могут захватывать вероятностные распределения результатов и количественно оценивать неопределенность прогнозов. Этот подход был применен для прогнозирования эффективности использования ресурсов в крупномасштабной вычислительной инфраструктуре Google, Borg. РЯМ эффективно прогнозировала миллионы инструкций в секунду на единицу вычисления Google (MIPS на ГЦУ). Этот новый подход предлагает масштабируемый и эффективный способ прогнозирования числовых результатов из сырого текста, позволяя создавать универсальные симуляторы систем и продвинутые механизмы вознаграждения.
CdXz5zHNQW_HUK47yosTR.png