Microsoft и Nvidia объединили свои усилия для создания модели генерации естественного языка Megatron-Turing Natural Language Generation, которая содержит 530 млрд параметров. Это самая большая и самая мощная монолитная трансформаторная языковая модель, обученная на сегодняшний день.
MT-NLG имеет в три раза больше параметров по сравнению с существующей крупнейшей моделью такого типа и демонстрирует непревзойденную точность в широком наборе задач естественного языка, таких как: предсказание завершения текста по смыслу; понимание прочитанного; генерация логических выводов; создание заключений на естественном языке; различение смысла слов с несколькими значениями.
Обучение столь мощной модели стало возможным благодаря многочисленным инновациям. Например, Nvidia и Microsoft объединили современную инфраструктуру обучения на основе GPU с передовым программным стеком распределенного обучения. Были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также разработаны методы обучения для повышения эффективности и стабильности оптимизации.
Поделиться