mozgosteb (mozgosteb) wrote,
mozgosteb
mozgosteb

Category:

В струю общей паники на тему ИИ

Краткое содержание поста: искусственному интеллекту нельзя доверять руководство людьми. И вовсе не потому, что он начнёт преследовать собственные цели, а мешающих людишек уничтожит. Как раз наоборот, потому что он будет следовать нашим целям слишком хорошо.



В моей ленте сразу несколько человек, независимо друг от друга, написали примерно о похожем (и продолжают писать). Явление синхронистичности в чистом виде - никто ни у кого не списывает, просто идёт какая-то странная волна. И мой пост тоже на две трети состоит из декабрьского черновика. Может быть, я не скажу ничего нового, но не высказанному как-то неуютно в голове.


Рассуждать буду на примере гула и пр.

Первые поисковики в интернете работали примитивно: вводишь слово “рыба”, а поисковик выдаёт список страниц, на которых было встречено слово “рыба”. Так я полностью контролировал поиск - что я ввожу, то и ищется. Но было много недостатков - не было анализа морфологии, т.е. не было поиска слова со всеми возможными падежами и формами, не было поиска синонимов, не отбрасывались омонимы, не было фильтрации мусорных, не информативных страниц и т.д. Сейчас поиск последовательно приближается к знаменитой формуле счастливого брака: “делай не то, женщина говорит, а то, что она хочет”. То есть ищет не то, что я ввожу, а то, что я хочу найти (ну, стремится). Согласно новой логике я уже давно пишу в поисковой строке “что такое топинамбур?” прекрасно зная, что найденные страницы НЕ будут содержать слова “что такое”.

Смотрите, какая интересная получается штука. Если сначала был более эффективен полностью сознательный поиск: “что вводим, то и получаем”, то теперь поисковая машина пытается угадать подсознательные мотивы поиска и выдать “что я хотел, а не что я ввёл”. Сознательный же поиск стал менее эффективным и я часто слышу от тех, кто профессионально занят поиском редкой информации, что часть публичной информации в интернете больше не ищется через поисковые системы. Видимо потому, что подсознательные мотивы к ней не ведут.

Но напрягает даже не это. Если “сознательный” поиск работает хуже, я всё реже его использую, чем даю положительное подкрепление поисковым алгоритмам. Что в свою очередь, ведет еще к большей фильтрации информации и ещё меньшей апелляции к сознанию пользователя. Получается затягивающаяся петля с постепенным уменьшением роли сознания. И она затянется ровно настолько, насколько позволят технологии.

Куда более страшные последствия могут наступить при внедрении интеллектуальных, самообучающихся алгоритмов в сферу управления людьми. Например, если поставить “искусственный интеллект” руководить фирмой. Или, упаси Боже, помогать в управлении страной. Нет, ИИ не станет “убивать всех человеков” и вообще ни разу не ослушается.

Мы поставим нашему ИИ хорошие цели, он попытается их выполнить, а мы дадим оценку, всё ли правильно ИИ сделал. Вроде всё хорошо. Утрированно: допустим, директор фирмы поручил ИИ заработать денег. ИИ денег заработал, но директор обнаружил, что из холла компании утилизировали его бронзовую статую в полный рост, что пошло в доход, но вообще-то обидно. Директор оценивает это решение как неверное, а ИИ обучается не трогать символы власти директора. Так, в изначально сознательную установку, проникают подсознательные мотивы, которые потом вернутся многократно усиливаясь, поскольку алгоритм влияет на то, что мы ему приказываем, как поисковые системы влияют на форму наших запросов. Через несколько итераций ИИ уже не зарабатывает, а только купает директора в ощущении власти, причём директор полностью доволен.

Даже если убрать единственного управленца и поставить ИИ в качестве исполнительной власти выполнять коллективные запросы общества, то в конце концов нами начнут управлять хтонические чудовища коллективного бессознательного.

Как всегда, пугаемся Оруэлла, хотя боятся стоит Хаксли.
Tags: Наблюдения, По делу, Психо
Subscribe

Posts from This Journal “Психо” Tag

  • Проклятое Дитя

    Вот уж не думал, что фанаты Гарри Поттера могут быть настолько злыми, хотя, казалось бы, воспитаны на разумном-добром-вечном. Наткнулся на Ютубе на…

  • Ретроспектива 4. Понимание. Механические барьеры.

    И сознание и подсознание глупы по-своему. Однако, подсознание в курсе, что со мной происходит, а сознание - нет. Подсознание прячет всё что ему…

  • Ретроспектива 3. Пониманние, зеркала

    Помимо специфического опыта психолог хорош ещё и тем, что он просто другой человек. У него другая точка сборки, другой взгляд на твои трудности.…

  • Ретроспектива 2. Точка входа

    Это второй пост с меткой “ретроспектива”. Хочу перетряхнуть свою историю и вытащить все изобретённые велосипеды для психологической помощи самому…

  • Есть у меня одна привычка

    У меня есть одна совсем не мужская привычка. В любой непонятной ситуации просыпаться проговаривать своё состояние. Однажды эта привычка меня…

  • Ретроспектива. Техника безопасности.

    Из школы я вышел замкнутым, с массой противоречивых установок “как жить” и не умеющим в социум вообще. Меня социализировала сначала армейская среда,…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 74 comments
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →