Мелкий ИИ Microsoft побеждает более крупные модели. Развитию ИИ мешал человеческий фактор
В Microsoft утверждают, что модель Phi-2 по бенчмаркам оказывается на одном уровне или даже превосходит модели, которые крупнее ее в несколько раз.
Малый калибр высокой скорострельности
Microsoft представила новую языковую модель для искусственного интеллекта (ИИ), которая, несмотря на сравнительно скромные размеры, оказывается более производительной, чем конкурирующие предложения.
Модель Phi-2 насчитывает 2,7 млрд параметров. Однако, как утверждают в Microsoft, при тестировании на сложных бенчмарках (тестах), она оказывается столь же производительной, как, например, модель Mistral, разработанная фирмой Mistral AI и насчитывающая 7 млрд параметров, а также модель Llama-2, разработанная Meta Platforms и насчитывающая от 7 до 70 млрд параметров, в зависимости от версии.
Бенчмарки включают тестирование на способность к общим рассуждениям, пониманию языка, выполнению математических задач и генерации программного кода.
Как видно из приведенного выше графика, Phi-2 по тестам на математические операции уступает только версии Llama-2 с 70 млрд параметров, а в плане генерации кода - заметно обгоняет всех конкурентов. По остальным показателям Phi-2 держится почти на том же уровне, что и другие, более крупные модели. До недавнего времени считалось, что производительность языковых моделей напрямую зависит от их размеров. Но это оказалось не совсем верно.
Состязание нанороботов
Согласно утверждению Microsoft, Phi-2 также обгоняет по всем тестам Gemini Nano 2, новую языковую модель Google, насчитывающую 3,2 млрд параметров.
Как отмечается в публикации издания SiliconAngle, Nano, представленная всего лишь на прошлой неделе, является самой производительной версией модели Google Gemini; ее создавали для использования на конечных устройствах (смартфонах) для выполнения таких задач, как реферирование (резюмирование) текстов, корректирования текстов и генерации соответствующих контексту ответов в диалогах.
Высокая производительность Phi-2, как утверждают в Microsoft, связана с высоким, «как в учебниках» качеством данных, которые специально подбирались для обучения ИИ логическим рассуждениям и представлениям о здравом смысле. В результате модель «обучалась большему на основе меньшего количества данных». Исследователи Microsoft также задействовали методы, которые позволили интегрировать знания из менее масштабных моделей.
Разработчики подчеркивают, что показателей производительности Phi-2 удалось достичь без использования таких методов, как «усиленное обучение», при котором применяется проверка людьми выдаваемых результатов и инструктивная донастройка. «Усиленное обучение» является типичным методом коррекции поведения моделей ИИ на сегодняшний день. Phi-2 продемонстрировала повышенные способности по устранению предвзятости и нейтрализации токсичности в сравнении с опенсорсными моделями, в которых применялись вышеперечисленные методы.
«Иными словами, более производительной и менее предвзятой оказывается ИИ-модель, обучавшаяся при минимальной или сниженной, по сравнению с другими моделями, вовлеченности людей», - говорит технический директор компании SEQ Алексей Водясов. По его словам, это довольно скверная новость, потому что выходит, что для преодоления наиглавнейших «грехов» ИИ, таких как предвзятость, нужно не корректировать модель силами десятков, сотен или тысяч людей, а наоборот, устранить их из процесса и сосредоточиться на качестве исходных данных. «Да и те должны быть чуть ли ни стерилизованы от «человеческого фактора», что в очередной раз создает некоторые опасения о «Терминаторе» и реализации его негативного сценария в жизни», - заключил Алексей Водясов.
Опять же, в компании подчеркнули, что это связано с качеством подготовки исходных массивов данных.
Свои модели - более раннюю Phi-1, Phi-1.5 и Phi-2 - Microsoft называет «малыми языковыми моделями». Phi-1 насчитывает 1,3 млрд параметров. Ее создавали для выполнения базовых задач по написанию кода на языке Python.
Phi-1.5, так же с 1,3 млрд параметров, обучалась на новых, очищенных источниках данных, включавших тексты, сгенерированные при помощи программирования на натуральном языке.
В Microsoft подчеркивают, что Phi-2 и ее эффективность делают ее «идеальной платформой» для тех, кто изучает возможности улучшения безопасности ИИ, а также интерпретируемости и этического развития языковых моделей.