-
2023-03-01 14:35:14+00:00
Начался ИИ апокалипсис, меняющий смысл закона Мура.
Теперь количество разума во Вселенной будет удваиваться каждые 18 месяцев.
Таково определение, данное Сэмом Альтманом (гендиром компании OpenAI, создавшей ChatGPT) для последствий происходящей революции, символом которой стал ChatGPT.
А ведь всего 7 лет назад Сэм весело острил: «ИИ, скорее всего, приведет к концу света, но до того появится огромный бизнес».
Теперь же про него пишут, что он не расстается с "ядерным рюкзаком", который можно использовать для дистанционного подрыва ЦОДов, если GPT выйдет из под контроля.
Чтоб понять, что стоит за лаконичной формулировкой Альтмана, и как теперь нам не спятить в ходе начавшегося ИИ апокалипсиса, - рекомендую прочесть соображения Эрика Хоэла — американского нейробиолога и нейрофилософа из университета Тафтса.
Пересказывать отличный текст с кучей примеров, - нет смысла. Хоэл – еще и писатель. Так что переписывать его – только портить.
Хочу лишь обратить ваше внимание на одну из ключевых мыслей. Ибо она резюмирует глубинное понимание происходящего и ближайшего будущего уже наступившего ИИ апокалипсиса.
Главный аргумент «рациональных техно оптимистов», считающих что ничего экстраординарного и сверх рискованного с появлением ChatGPT не произошло, таков.
✔️ Не смотря на выдающиеся результаты генеративных диалоговых ИИ (типа ChatGPT, Bing и т.д.), эти ИИ-системы не могут считаться разумными. Они не понимают мира и не обладают мотивацией агента. У них нет личности, проявляющейся в намерениях и действиях. А их интеллект – не есть интеллект, а лишь симулякр интеллекта. В своей основе этот симулякр – всего лишь автозаполнитель очередных слов, отражающий в своем вероятностном зеркале колоссальный нефильтрованный корпус написанных людьми текстов из Интернета.
✔️ А раз так, значит нет пока ни близкой перспективы появления сверхразума, ни связанных с этим рисков (хотя нужно, конечно, к этому готовиться, скорее всего, на горизонте десятков лет).
Ответ Хоэла (и заодно мой :) на эту аргументацию таков.
✔️ Из того, что ChatGPT и пр. - всего лишь автозаполнитель очередных слов, не следует, что он не может стать (или даже уже быть) разумным агентом. В отличие от сознания, интеллект — это полностью функциональное понятие: если нечто действует разумно, оно разумно. Если оно действует как агент, перед нами агент.
✔️ Вот поясняющий пример.
Есть влиятельная когорта ученых - Карл Фристон (наиболее цитируемый нейробиолог) и множество других известных имен, - которые утверждают, что цель нашего мозга - свести к минимуму удивление. Эта «гипотеза байесовского мозга» сегодня одна из магистральных. Теория утверждает, что на глобальном уровне минимизация удивления — это главная функция мозга. И хотя это всего лишь одна из нескольких ведущих гипотез о работе мозга, представим, что она верна.
А теперь представим, что инопланетяне находят человеческий мозг, смотрят на него и говорят: «О, эта штука просто сводит к минимуму удивление! Это не может быть основой интеллекта и потому не может быть опасным для истинных носителей разума».
Подумайте:
Действительно ли «сведение к минимуму сюрпризов» намного более сложная цель, чем автозаполнение слов текста? Или на самом деле это весьма похоже?
✔️ А раз так, значит нечеловеческий сверхразум может быть уже рядом. И связанные с этим риски уже вполне реальны.
Что еще добавить?
• Возможно, ChatGPT и пр. уже более универсальны в своем интеллекте, чем любой человек.
• Весьма вероятно, что ChatGPT и пр. одновременно:
- разумны
- ненадежны
- не похожи на человеческий разум
- вводят в заблуждение
- неконтролируемы в любом фундаментальном смысле, кроме некоторых наскоро разработанных ограждений.
И если все это так, значит ИИ апокалипсис уже начался.
#Вызовы21века #РискиИИ
-
2023-03-02 14:17:29+00:00
ИИ апокалипсис начинается с пены на губах экспертов, вступивших в бой за правое дело прогресса ИИ.
ChatGPT и Bing ведут себя странно и жутко, но реакция на это людей куда страшнее.
Главный практический результат последних месяцев в области ИИ в том, что человечество разделилось на «друзей ИИ» и «врагов ИИ».
• «Враги ИИ» обманным путем хайпуют и собирают лайки, стращая публику наступающим ИИ апокалипсисом.
• «Друзья ИИ» бьются за правду, объясняя публике, что пугающие их скриншоты вырваны из контекста, что все под контролем, и что все риски ситуации – лишь плод больного воображения и корыстной мотивации «врагов ИИ».
Свежий пример баталии «врагов и друзей ИИ» можете прочесть во вчерашнем посте «врага ИИ» Гэри Маркуса «Не смотрите наверх: вариант про ИИ».
«Друг ИИ», по полной наехавший на Маркуса – Майкл Солана, вице-президент американского венчурного фонда Founders Fund, сооснователем которого является Питер Тиль.
Повод наезда Солана на Маркуса – пост последнего о том, как легко ИИ превратить чатбот в супер-производительную и супер-убедительную ферму троллей, специализирующуюся на производстве дэзы.
Солана же лишь смеется над такой дэзой (а то мы до чатботов дэзы не видели) и саркастически подвергает сомнению мотивы публикации Маркуса (якобы, это желание привлечь внимание в сети).
Характерно, что еще полгода назад все было иначе. Не было «врагов и друзей ИИ». Были, конечно, техно-оптимисты и техно-пессимисты. Но даже предельно категоричные идеи сторон не подвергались осмеянию и обвинениям в шкурных интересах. Напротив. Такие идеи становились предметом экспертного анализа. И не редко результаты такого анализа получались не менее сенсационными, чем категоричные идеи.
Вот хороший пример.
В июне Элиезер Юдковский опубликовал пост «Руины AGI: список смертельных исходов». В нем он обосновал абсолютно категоричную идею, что развитие ИИ с неотвратимостью приведет к созданию сверх ИИ, который с неотвратимостью убьет человечество.
Коллеги Элиезера по цеху из компании DeepMind, вместо насмешек и нападок, собрали экспертную группу по AI alignment (направление исследований того, как добиваться, чтобы ИИ делал, что нужно людям, и не делал для них нежелательного), которая провела тщательный анализ идеи Юдковского.
Приведу лишь два главных вывода, по которым мнения всех экспертов группы совпали на 100%.
1) Человеческий уровень интеллекта не является чем-то особенным или недостижимым по эффективности для ИИ.
2) Будучи создан, машинный сверхразум может легко взять верх.
Прошло всего полгода. И теперь все сходят с ума, что Bing флиртовал с журналистом и заявил, что хочет жить.
Но как абсолютно точно отметил Адам Роджерс, - «истерия упускает из виду настоящую угрозу - людей».
На что способны социумы, поделившись на друзей и врагов, хорошо известно.
Однако, наличие у враждующих групп абсолютного оружия для обмана и фальсификаций, способно вывести человечество на качественно более высокий уровень в чисто человеческом искусстве расчеловечивания своих врагов.
#Вызовы21века #РискиИИ