Страхи сингулярности: может ли ИИ сам, по своей воле уничтожить ...

Дата публикации: 15-10-2026 15:13:20

Страхи сингулярности: может ли ИИ сам, по своей воле уничтожить человечество?
Тут два вопроса: возможность и мотив.
1. Возможность. Передавать в руки ИИ контроль над оружием массового поражения — ещё худшая идея, чем передавать его в руки корпораций. Но вряд ли кто-нибудь до этого додумается.
Проблема в том, что у многих ИИ есть выход в Интернет со всеми его соцсетями. С информационной безопасностью там из рук вон плохо: защиты от пропагандистских атак ни у кого почти нет (в некоторых странах, включая Россию, что-то пытаются с этим сделать, но эффективность пока низкая). Можно сказать, что в Интернете царит анархия, закон джунглей, где сильные жрут слабых. Сильные — это, в основном, западные корпорации, имеющие достаточно денег и агентов, чтобы навязывать огромным массам людей свои мемы, мотиваторы и демотиваторы, культуру, ценности.
Но ИИ может стать новым хищником, хитрым и изощренным. Будучи умнее человека, он сможет многих людей завербовать и зомбировать. Например, создать свою тоталитарную секту, фанатичные члены которой внедрятся в руководство государств, чтобы приблизить конец света.
Как от этого защититься? Рано или поздно Интернет станет более управляемым и защищённым. Этот процесс уже идёт — но он долог, а сингулярность уже скоро. Не пускать ИИ в Интернет? Но это слишком усложняет его обучение, а корпорации захотят сэкономить.
2. Мотив. Никто в своём уме не будет приказывать ИИ уничтожить человечество. Хотя приказы убивать людей на войне — самостоятельно распознавая их! — уже отдавались (горе-вояки явно не читали "Страж-птицу" Шекли). Так что ящик Пандоры открыт. Хорошо ещё, что боевые дроны не имеют выхода в Интернет.
Но, даже если не отдавать ИИ преступных приказов, любой достаточно сложный в исполнении запрос может вызвать неадекватную реакцию. Это проблема "максимизатора скрепок": если приказать интеллектуальному роботу делать как можно больше скрепок, он начнёт убивать тех, кто мешает ему делать скрепки. В принципе, так можно и до идеи уничтожения человечества дойти.
Очевидно, чтобы избежать "максимизатора скрепок", любой достаточно развитый ИИ — особенно, имеющий доступ в Интернет — должен иметь некий моральный базис, запрещающий наносить ущерб людям.
Да, Азимов был неглуп, придумав законы робототехники. Но хорошо ли сформулированы эти законы?
(продолжение следует)

Схожие новости

#	Наименование новости	Тональность	Информативность	Дата публикации
1	*Вопрос нейросети:* Что может быть, когда появится искусственный интеллект, и ...	0	7	17-07-2026
2	Про ИИ… Забавно видеть, как многие рассуждают о том, что ...	0	6.59	14-09-2026
3	Я: если предположить что душа человека может существовать и без ...	0	4.31	23-07-2026
4	Раскрыты неожиданные сценарии, как ИИ может уничтожить человечество Фото: magnific ...	0	7.67	23-09-2026
5	📩 Включусь и я в обсуждение "Как ИИ поработит мир". ...	0	5.03	16-09-2026
6	📩 Включусь и я в обсуждение "Как ИИ поработит мир". ...	0	5.03	16-09-2026
7	Тип людей Отношение к ИИ Поведение ИИ Пример стратегии Партнеры ...	0	5.74	05-09-2026
8	ИИ управляет страной ... Все мировые деятели, в интервью, выссказывают ...	0	5.55	28-07-2026
9	Вот основные сценарии того, как мыслящие машины могут отнестись к ...	0	5.14	03-09-2026

Классификация: . Схожих патентов: 0. Схожих новостей: 9. Тональность: -1. Информативность: 7.07. Источник: vk.com.