Основные выводы исследования ИТМО
Специалисты исследовательского центра «Сильный ИИ в промышленности» ИТМО изучили особенности и тенденции в развитии и использовании общемирового опенсорса в области машинного обучения и работы с данными в России, сообщили CNews представители университета. В исследовании также приняли участие эксперты из «Яндекса», Сбербанка, «Т-Банка», VK, Wildberries, «Рокет Контрол», CodeScoring и МФТИ.
По результатам исследования, тройку лидеров среди российских разработчиков опенсорс-решений составили «Яндекс», Сбербанк и «Т-Банк». В список лидирующих проектов вошли разработки как отечественных, так и международных компаний, например, CatBoost, LangChain, Spark, MetaBase, Numpy, ClickHouse и др.
Исследователи пришли к выводу, что почти все компании-разработчики открытых решений в Data/ML находят пользователей не только на внутреннем, но и на международном рынке. Востребовано то, что лучше работает без привязки к конкретной стране. В России создается много сильных открытых инструментов, многие активно используемые датасеты создаются российскими компаниями, но продвигать свои проекты сложно. Не хватает системности и поддержки, в том числе схем монетизации.
ИТМО — Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики. Создан на базе Ленинградского института точной механики и оптики (ЛИТМО), существовавшего с 1933 г. — в 1992 г. ЛИТМО был переименован в Санкт-Петербургский институт точной механики и оптики, а в 1994 г. получил статус университета. Сейчас здесь обучается более 12,5 тыс. студентов из 88 стран мира, как указано на сайте вуза.
Лидеры Open Source в России
Лидеры среди российских компаний-разработчиков определялись по нескольким критериям. Среди них – количество Open Source проектов по тематическим категориям в области Data/ML, показатели используемости этих проектов в России, уровень качества реализации репозиториев, количество контрибьюторов и их активность.
| Компания | Репозитории | Количество звезд | Количество contribuors | Количество коммитов |
|---|---|---|---|---|
| Yandex | ytsaurus, gixy, YaLM-100B, odyssey | 65 065 | 460 | 198 979 |
| Postgrespro* | rum, jsquery, postgres, pg_probackup, pg_pathman | 16 920 | 62 | 55 294 |
| МФТИ | DeepPavlov, ner, question_generation, visionforge, plotly.kt | 7 322 | 73 | 3 727 |
| Tinkoff | etna, CORL, katakomba | 12 262 | 44 | 907 |
| Sber | Kandinsky-2, ru-gpts, ru-dalle, ghost, Kandinsky-3, LightAutoML, Eco2AI, Py-Boost, gigachain | 9 406 | 46 | 977 |
| ITMO | FEDOT, BAMT, Fedot.Industrial | 826 | 47 | 1 541 |
| HSE | face-emotion-recognition, DeepGenerativeModels, probaforms, commit-activity | 1 073 | 12 | 55 343 |
| MTS | RecTools, Ambrosia, CoolGraph | 648 | 21 | 191 |
| Skoltech | SKAB | 307 | 7 | 165 |
| VK | YouTokenToMe, tarantool, nocc | 4 480 | 163 | 16 448 |
По большинству показателей среди российских компаний лидером стал «Яндекс», на втором и третьем месте — Сбербанк и «Т-Банк».
У «Яндекса» 120 Open Source решений (топ-3 решений: CatBoost, YTSaurus, YDB); средний рейтинг 13,5; звезд 65,065 тыс.; 460 уникальных контрибьюторов.
У Сбербанка 100 Open Source решений (топ-3 решений: LightAuotoVL, GigaChain, RePlay); средний рейтинг 11,25; звезд 9,406 тыс.; 46 уникальных контрибьюторов.
У «Т-Банка» 132 Open Source решений (топ-3 решений: ETNA, CORL, Katakomba); средний рейтинг 11,25; звезд 1,262 тыс.; 44 уникальных контрибьюторов.
В топ-10 также вошли Postgres Pro, VK, «Авито», Evrone, МТС, Selectel и топовые университеты. Эти компании обладают сильными позициями по результатам опроса экспертов и анализа открытых данных (звезды, форки, скачивания и т. д.; в статистике звезд и форков приведены суммарные данные по ТОП-10 решений от каждой компании).
«Для работы с данными мы используем YTsaurus, или, как он называется у нас внутри, — YT. Также, используем свои датасеты и модели, стараясь полагаться на собственные разработки. В рамках коллабораций мы анализируем, как наши модели работают по сравнению с чужими. Это позволяет нам выявить, какие решения показывают лучшие результаты», — сказал Сергей Бережной, директор «Яндекса» по взаимодействию с разработчиками.
Перспективы развития Open Source
Общее мнение участвовавших в исследовании экспертов о перспективах Open Source: развитие технологий ИИ многое изменит, но люди останутся на первом месте.
«Перспективы применения искусственного интеллекта в разработке и опенсорсе представляют собой сложную картину. Возможно, мы столкнемся с "хоккейной клюшкой" сингулярности, когда изменения произойдут стремительно и неожиданно. Есть вероятность, что мы доживем до технологической сингулярности в течение ближайших 10-20 лет», — сказал Бережной.
«Велики ожидания от мультиагентных подходов на основе LLM — вплоть до замены части команды разработки на ИИ-агентов. Однако, общая постановка задач остается человеку. С практической точки зрения это означает рост запроса инструменты из сферы LLMOpts и AutoML. Несмотря на то, что уже существует множество активно используемых проектов, многие ниши все еще не закрыты», — говорится в результатах исследования.
Александр Сидоров, Head of Data Science Wildberries, считает, что все перспективы — в максимально «стандартном» Open Source: «Нет российского Open Source и какого-то еще, плохо и вредно плодить ветки по странам, разделять Open Source на "свое" и "чужое"».
Поделиться