mozgosteb (mozgosteb) wrote,
mozgosteb
mozgosteb

Category:

В струю общей паники на тему ИИ

Краткое содержание поста: искусственному интеллекту нельзя доверять руководство людьми. И вовсе не потому, что он начнёт преследовать собственные цели, а мешающих людишек уничтожит. Как раз наоборот, потому что он будет следовать нашим целям слишком хорошо.



В моей ленте сразу несколько человек, независимо друг от друга, написали примерно о похожем (и продолжают писать). Явление синхронистичности в чистом виде - никто ни у кого не списывает, просто идёт какая-то странная волна. И мой пост тоже на две трети состоит из декабрьского черновика. Может быть, я не скажу ничего нового, но не высказанному как-то неуютно в голове.


Рассуждать буду на примере гула и пр.

Первые поисковики в интернете работали примитивно: вводишь слово “рыба”, а поисковик выдаёт список страниц, на которых было встречено слово “рыба”. Так я полностью контролировал поиск - что я ввожу, то и ищется. Но было много недостатков - не было анализа морфологии, т.е. не было поиска слова со всеми возможными падежами и формами, не было поиска синонимов, не отбрасывались омонимы, не было фильтрации мусорных, не информативных страниц и т.д. Сейчас поиск последовательно приближается к знаменитой формуле счастливого брака: “делай не то, женщина говорит, а то, что она хочет”. То есть ищет не то, что я ввожу, а то, что я хочу найти (ну, стремится). Согласно новой логике я уже давно пишу в поисковой строке “что такое топинамбур?” прекрасно зная, что найденные страницы НЕ будут содержать слова “что такое”.

Смотрите, какая интересная получается штука. Если сначала был более эффективен полностью сознательный поиск: “что вводим, то и получаем”, то теперь поисковая машина пытается угадать подсознательные мотивы поиска и выдать “что я хотел, а не что я ввёл”. Сознательный же поиск стал менее эффективным и я часто слышу от тех, кто профессионально занят поиском редкой информации, что часть публичной информации в интернете больше не ищется через поисковые системы. Видимо потому, что подсознательные мотивы к ней не ведут.

Но напрягает даже не это. Если “сознательный” поиск работает хуже, я всё реже его использую, чем даю положительное подкрепление поисковым алгоритмам. Что в свою очередь, ведет еще к большей фильтрации информации и ещё меньшей апелляции к сознанию пользователя. Получается затягивающаяся петля с постепенным уменьшением роли сознания. И она затянется ровно настолько, насколько позволят технологии.

Куда более страшные последствия могут наступить при внедрении интеллектуальных, самообучающихся алгоритмов в сферу управления людьми. Например, если поставить “искусственный интеллект” руководить фирмой. Или, упаси Боже, помогать в управлении страной. Нет, ИИ не станет “убивать всех человеков” и вообще ни разу не ослушается.

Мы поставим нашему ИИ хорошие цели, он попытается их выполнить, а мы дадим оценку, всё ли правильно ИИ сделал. Вроде всё хорошо. Утрированно: допустим, директор фирмы поручил ИИ заработать денег. ИИ денег заработал, но директор обнаружил, что из холла компании утилизировали его бронзовую статую в полный рост, что пошло в доход, но вообще-то обидно. Директор оценивает это решение как неверное, а ИИ обучается не трогать символы власти директора. Так, в изначально сознательную установку, проникают подсознательные мотивы, которые потом вернутся многократно усиливаясь, поскольку алгоритм влияет на то, что мы ему приказываем, как поисковые системы влияют на форму наших запросов. Через несколько итераций ИИ уже не зарабатывает, а только купает директора в ощущении власти, причём директор полностью доволен.

Даже если убрать единственного управленца и поставить ИИ в качестве исполнительной власти выполнять коллективные запросы общества, то в конце концов нами начнут управлять хтонические чудовища коллективного бессознательного.

Как всегда, пугаемся Оруэлла, хотя боятся стоит Хаксли.
Tags: Наблюдения, По делу, Психо
Subscribe

Posts from This Journal “Психо” Tag

  • Всего лишь шутка

    Не могу найти точную цитату, но Клайв Льюис высказывался о пошлых шутках примерно в таком ключе: "Не вижу ничего плохого в шутках на сексуальную…

  • Здравствуй, дорогой дневник

    В школе я несколько раз начинал вести дневник. Но ни разу не выдерживал и месяца. Наступал момент, когда я перечитывал старые записи и ясно видел: не…

  • Знакомство

    Вчера познакомился с бездомным. Хороший, интеллигентный человек, мой ровесник. Посвятил мне час своего времени, рассказывая о премудростях выживания…

  • Саймак, который, на самом деле, Си́мак

    Сейчас читаю фантаста Клиффорда Саймака, буквально подряд, где-то с сороковых прошлого века. Много чего из нашего настоящего не вписывается в его…

  • Свобода воли

    На днях беседовал с коллегой-атеистом о христианской картине мира. Ему было интересно, и я, на правах ненастоящего сварщика, пробовал рассказать, как…

  • Логика-рациональность-рассудочность

    Разный инструмент склоняет к разным ценностям, меняет тебя. Люди, добивающиеся справедливости с помощью террора - совсем не те же самые люди, что…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 74 comments
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →