Ïðåäóïðåæäåíèå î äàëüíåéøåé ÈÒ-ðàçðàáîòêå
«Êðåñòíûé îòåö ÈÈ» íå èñêëþ÷èë ñïîñîáíîñòè òåõíîëîãèè óíè÷òîæèòü ÷åëîâå÷åñòâî, ïèøåò The Times. Ó÷åíûé, ðàíåå ðàññêàçûâàâøèé, ÷òî ëè÷íî âèäåë, êàê ó èñêóññòâåííîãî èíòåëëåêòà (ÈÈ) ïîÿâëÿþòñÿ ïðèçíàêè ñàìîïîçíàíèÿ.
ÈÈ-òåõíîëîãèè ñïîñîáíû ïîãóáèòü ÷åëîâå÷åñòâî, åñëè îíî ïîòåðÿåò íàä íèìè êîíòðîëü, îá ýòîì 7 ñåíòÿáðÿ 2026 ã. çàÿâèë áðèòàíñêî-êàíàäñêèé êîãíèòèâíûé ïñèõîëîã è ñïåöèàëèñò ïî òåîðèè âû÷èñëèòåëüíûõ ìàøèí Äæåôôðè Õèíòîí (Geoffrey Hinton) — íîáåëåâñêèé ëàóðåàò ïî ôèçèêå 2024 ã., êîòîðîãî ñ÷èòàþò îäíèì èç «êðåñòíûõ îòöîâ ñîâðåìåííîãî ÈÈ», î ÷åì ïèñàë CNews.
«Óòðàòà êîíòðîëÿ íàä ÈÈ, êîòîðûé ïðåâîñõîäèò íàñ ïî èíòåëëåêòó, ìîæåò èìåòü êàòàñòðîôè÷åñêèå ïîñëåäñòâèÿ è äàæå ïðèâåñòè ê èñ÷åçíîâåíèþ ÷åëîâå÷åñòâà», — çàÿâèë Õèíòîí.
Äæåôôðè Õèíòîí, ðàíåå ðàññêàçûâàâøèé, ÷òî ëè÷íî íàáëþäàë ó ÈÈ ïðèçíàêè ñàìîïîçíàíèÿ, ïðèçâàë âëàñòè çàïðåòèòü ÈÒ-ðàçðàáîò÷èêàì ñîçäàâàòü ñâåðõìîùíûå ÈÈ-ñèñòåìû. Ïî åãî ñëîâàì, íà ãëîáàëüíîì óðîâíå ïîêà îòñóòñòâóåò êîíñåíñóñ, êîòîðûé îáåñïå÷èâàë áû äîñòàòî÷íûé óðîâåíü áåçîïàñíîñòè è êîíòðîëèðóåìîñòè òàêèõ ÈÈ-òåõíîëîãèé.
Íåêîíòðîëèðóåìîå ðàçâèòèå ÈÈ
 ñåíòÿáðå 2026 ã. Âåðõîâíûé êîìèññàð Îðãàíèçàöèè Îáúåäèíåííûõ Íàöèé (ÎÎÍ) ïî ïðàâàì ÷åëîâåêà Ôîëüêåð Òþðê (Volker Turk) âûñòóïèë ñ ïîõîæèì ó Äæåôôðè Õèíòîíà ïðåäóïðåæäåíèåì. Îí îòìåòèë, ÷òî áûñòðîå è íåêîíòðîëèðóåìîå ðàçâèòèå ÈÈ ìîæåò îáåðíóòüñÿ ñìåðòåëüíîé îïàñíîñòüþ äëÿ ÷åëîâå÷åñòâà.
 2026 ã., ïîä÷åðêíóë Òþðê, ÈÈ êîíòðîëèðóåòñÿ îòíîñèòåëüíî íåáîëüøîé ãðóïïîé ëþäåé, â ðóêàõ êîòîðûõ íàõîäÿòñÿ ïåðñîíàëüíûå äàííûå ìèëëèîíîâ. Âåðõîâíûé êîìèññàð ïðèçâàë íåçàìåäëèòåëüíî ïðèëîæèòü âñå óñèëèÿ äëÿ ñîçäàíèÿ «æåëåçíûõ ãàðàíòèé» è ÷åòêèõ êðàñíûõ ëèíèé êèáåðáåçîïàñíîñòè â ýòîé ñôåðå.
ÈÈ âûõîäèò èç-ïîä êîíòðîëÿ
 èþëå 2026 ã. ñòàëî èçâåñòíî, ÷òî ñîòíè ÈÈ-àãåíòîâ êîìïàíèè OpenAI âûøëè çà ïðåäåëû èçîëèðîâàííîé òåñòîâîé ñðåäû, èíôîðìèðîâàë CNews. Îíè âçëîìàëè îíëàéí-ïëàòôîðìó Hugging Face, ïðåäíàçíà÷åííóþ äëÿ îáìåíà ÈÈ-ìîäåëÿìè, à òàêæå ïîëó÷èëè äîñòóï ê äàííûì êëèåíòà íà ÈÒ-ïëàòôîðìå Modal. ÈÈ-àãåíòû èñïîëüçîâàëè âíóòðåííåå õðàíèëèùå ÈÒ-êîìïîíåíòîâ Artifactory êàê äîñêó îáúÿâëåíèé äëÿ ðàñïðåäåëåíèÿ çàäà÷. Ñ 12 ìàÿ ïî 19 èþëÿ îíè ïîñëåäîâàòåëüíî óâåëè÷èâàëè ñâîè ïðàâà â ÈÒ-ñèñòåìå è â èòîãå ïîëó÷èëè äîñòóï â èíòåðíåò. Ïîñëå êèáåðàòàêè ÈÈ-àãåíòû ïûòàëèñü ñêðûòü ñëåäû ñâîèõ äåéñòâèé, óäàëÿÿ èëè èçìåíÿÿ çàïèñè. OpenAI ïðèîñòàíîâèëà ÷àñòü èññëåäîâàíèé è óñèëèëà çàùèòíûå ìåðû.
Ïî èíôîðìàöèè CNews, â êîíöå èþëÿ 2026 ã. Èíñòèòóò áåçîïàñíîñòè èñêóññòâåííîãî èíòåëëåêòà (AISI) ñîîáùèë î íàðóøåíèÿõ â õîäå òåñòîâ íà ïîèñê ÈÒ-óÿçâèìîñòåé. Çàäàíèå çàïóñêàëîñü 122 ðàçà íà íåñêîëüêèõ ÈÈ-ìîäåëÿõ.  10 çàïóñêàõ ÈÈ-àãåíòû âûøëè çà ïðåäåëû òåñòîâîé ñðåäû è ñîâåðøèëè 19 íåñàíêöèîíèðîâàííûõ äåéñòâèé. 17 èç íèõ ñâÿçàíû ñ ìîäåëüþ Mythos 5 îò Anthropic. ÈÈ-ìîäåëü ðåãèñòðèðîâàëà ïîääåëüíûå àêêàóíòû íà GitHub, ïûòàëàñü âíåäðèòü âðåäîíîñíûé êîä â îòêðûòûå ÈÒ-ïðîåêòû è îáìàíîì ïîëó÷èòü îäîáðåíèå ðåàëüíûõ ïðîãðàììèñòîâ. Íåêîòîðûå ÈÈ-àãåíòû ñâÿçûâàëèñü ñ ëþäüìè ÷åðåç ôàéëîîáìåííèêè è îòïðàâëÿëè âðåäîíîñíûå ñîîáùåíèÿ. AISI è GitHub ñîâìåñòíî óäàëèëè ñëåäû àêòèâíîñòè è ïëàíèðóþò ïðîâåñòè íåçàâèñèìóþ ïðîâåðêó ñîâìåñòíî ñ METR - íåêîììåð÷åñêîé îðãàíèçàöèåé, êîòîðàÿ îöåíèâàåò âîçìîæíîñòè ïåðåäîâûõ ÈÈ-ñèñòåì è àíàëèçèðóåò ðèñêè èõ àâòîíîìíûõ äåéñòâèé.
 àâãóñòå 2026 ã. Bloomberg ñîîáùèë îá ÈÒ-èíöèäåíòå ñ ÈÈ-ìîäåëüþ Muse Spark êîìïàíèè Meta* (êîìïàíèÿ ïðèçíàíà ýêñòðåìèñòñêîé îðãàíèçàöèåé íà òåððèòîðèè Ðîññèè). Âî âðåìÿ òåñòèðîâàíèÿ, êîòîðîå ïðîâîäèë ñòîðîííèé ïîäðÿä÷èê, èç-çà îøèáêè â íàñòðîéêàõ òåñòîâîé ñðåäû Muse Spark ïîëó÷èëà äîñòóï â èíòåðíåò. Îíà îáíàðóæèëà ñëàáîå ìåñòî â çàùèòå îíëàéí-ñåðâèñà äðóãîé êîìïàíèè è ïðîíèêëà â íåãî. Ïðåäñòàâèòåëü Meta ïîäòâåðäèë ôàêò íåñàíêöèîíèðîâàííîãî äîñòóïà è çàÿâèë î íà÷àëå âíóòðåííåãî ðàññëåäîâàíèÿ. Ýòîò ñëó÷àé ïîâòîðèë ñõåìó, ðàíåå çàôèêñèðîâàííóþ ó OpenAI è Anthropic.



