В OpenAI говорят об открытии, которое может угрожать человечеству

Перед решением уволить гендиректора OpenAI Сэма Альтмана совет директоров получил от сотрудников письмо, в котором говорилось о "мощном открытии", которое может угрожать человечеству. Об этом со ссылкой на источники внутри компании пишет Reuters.

По словам собеседников агентства, речь идёт о прорыве в создании общего искусственного интеллекта (AGI), который может понимать окружающую среду как человек и выполнять любые интеллектуальные задачи. Соответственно, обучаясь, AGI может превзойти человека в решении большинства таких задач.

OpenAI и авторы письма не ответили на вопросы Reuters. Однако один из собеседников агентства сказал, что во внутреннем сообщении руководство признало наличие письма и работу над проектом Q* (Q-Star).

По словам другого собеседника, Q* способен решать математические задачи, хотя пока его способности находятся на уровне младшеклассника. Однако это вселяет в исследователей "большой оптимизм в отношении будущих успехов проекта".

Сейчас инструменты для вычислений используют алгоритмы и могут выполнять ограниченное число операций. Освоение же математики подразумевает, что ИИ будет обладать способностями к рассуждению, то есть сможет обобщать, учиться и понимать. Это может помочь в научной деятельности.

Авторы письма не уточнили, какие именно угрозы несёт Q*. Учёные уже давно спорят об опасности, которую представляют высокоинтеллектуальные машины: например, если они решат, что уничтожение человечества отвечает их интересам.

Письмо стало лишь одним из поводов для увольнения Альтмана, которое совет директоров мотивировал тем, что Альтман был с ними не всегда откровенен, пишет Reuters. Также в объявлении об увольнении гендиректора было такое основание:

"OpenAI создан для достижения нашей миссии: гарантировать, что общий искусственный интеллект принесёт пользу всему человечеству. Совет по-прежнему полностью привержен выполнению этой миссии".

Спустя несколько дней, после угрозы 700 из 770 сотрудников OpenAI уволиться, с Альтманом удалось "достигнуть принципиального соглашения" о его возвращении на пост гендиректора.