Краткое содержание поста: искусственному интеллекту нельзя доверять руководство людьми. И вовсе не потому, что он начнёт преследовать собственные цели, а мешающих людишек уничтожит. Как раз наоборот, потому что он будет следовать нашим целям слишком хорошо.



В моей ленте сразу несколько человек, независимо друг от друга, написали примерно о похожем (и продолжают писать). Явление синхронистичности в чистом виде - никто ни у кого не списывает, просто идёт какая-то странная волна. И мой пост тоже на две трети состоит из декабрьского черновика. Может быть, я не скажу ничего нового, но не высказанному как-то неуютно в голове.


Рассуждать буду на примере гула и пр.

Первые поисковики в интернете работали примитивно: вводишь слово “рыба”, а поисковик выдаёт список страниц, на которых было встречено слово “рыба”. Так я полностью контролировал поиск - что я ввожу, то и ищется. Но было много недостатков - не было анализа морфологии, т.е. не было поиска слова со всеми возможными падежами и формами, не было поиска синонимов, не отбрасывались омонимы, не было фильтрации мусорных, не информативных страниц и т.д. Сейчас поиск последовательно приближается к знаменитой формуле счастливого брака: “делай не то, женщина говорит, а то, что она хочет”. То есть ищет не то, что я ввожу, а то, что я хочу найти (ну, стремится). Согласно новой логике я уже давно пишу в поисковой строке “что такое топинамбур?” прекрасно зная, что найденные страницы НЕ будут содержать слова “что такое”.

Смотрите, какая интересная получается штука. Если сначала был более эффективен полностью сознательный поиск: “что вводим, то и получаем”, то теперь поисковая машина пытается угадать подсознательные мотивы поиска и выдать “что я хотел, а не что я ввёл”. Сознательный же поиск стал менее эффективным и я часто слышу от тех, кто профессионально занят поиском редкой информации, что часть публичной информации в интернете больше не ищется через поисковые системы. Видимо потому, что подсознательные мотивы к ней не ведут.

Но напрягает даже не это. Если “сознательный” поиск работает хуже, я всё реже его использую, чем даю положительное подкрепление поисковым алгоритмам. Что в свою очередь, ведет еще к большей фильтрации информации и ещё меньшей апелляции к сознанию пользователя. Получается затягивающаяся петля с постепенным уменьшением роли сознания. И она затянется ровно настолько, насколько позволят технологии.

Куда более страшные последствия могут наступить при внедрении интеллектуальных, самообучающихся алгоритмов в сферу управления людьми. Например, если поставить “искусственный интеллект” руководить фирмой. Или, упаси Боже, помогать в управлении страной. Нет, ИИ не станет “убивать всех человеков” и вообще ни разу не ослушается.

Мы поставим нашему ИИ хорошие цели, он попытается их выполнить, а мы дадим оценку, всё ли правильно ИИ сделал. Вроде всё хорошо. Утрированно: допустим, директор фирмы поручил ИИ заработать денег. ИИ денег заработал, но директор обнаружил, что из холла компании утилизировали его бронзовую статую в полный рост, что пошло в доход, но вообще-то обидно. Директор оценивает это решение как неверное, а ИИ обучается не трогать символы власти директора. Так, в изначально сознательную установку, проникают подсознательные мотивы, которые потом вернутся многократно усиливаясь, поскольку алгоритм влияет на то, что мы ему приказываем, как поисковые системы влияют на форму наших запросов. Через несколько итераций ИИ уже не зарабатывает, а только купает директора в ощущении власти, причём директор полностью доволен.

Даже если убрать единственного управленца и поставить ИИ в качестве исполнительной власти выполнять коллективные запросы общества, то в конце концов нами начнут управлять хтонические чудовища коллективного бессознательного.

Как всегда, пугаемся Оруэлла, хотя боятся стоит Хаксли.