mozgosteb (mozgosteb) wrote,
mozgosteb
mozgosteb

Category:

В струю общей паники на тему ИИ

Краткое содержание поста: искусственному интеллекту нельзя доверять руководство людьми. И вовсе не потому, что он начнёт преследовать собственные цели, а мешающих людишек уничтожит. Как раз наоборот, потому что он будет следовать нашим целям слишком хорошо.



В моей ленте сразу несколько человек, независимо друг от друга, написали примерно о похожем (и продолжают писать). Явление синхронистичности в чистом виде - никто ни у кого не списывает, просто идёт какая-то странная волна. И мой пост тоже на две трети состоит из декабрьского черновика. Может быть, я не скажу ничего нового, но не высказанному как-то неуютно в голове.


Рассуждать буду на примере гула и пр.

Первые поисковики в интернете работали примитивно: вводишь слово “рыба”, а поисковик выдаёт список страниц, на которых было встречено слово “рыба”. Так я полностью контролировал поиск - что я ввожу, то и ищется. Но было много недостатков - не было анализа морфологии, т.е. не было поиска слова со всеми возможными падежами и формами, не было поиска синонимов, не отбрасывались омонимы, не было фильтрации мусорных, не информативных страниц и т.д. Сейчас поиск последовательно приближается к знаменитой формуле счастливого брака: “делай не то, женщина говорит, а то, что она хочет”. То есть ищет не то, что я ввожу, а то, что я хочу найти (ну, стремится). Согласно новой логике я уже давно пишу в поисковой строке “что такое топинамбур?” прекрасно зная, что найденные страницы НЕ будут содержать слова “что такое”.

Смотрите, какая интересная получается штука. Если сначала был более эффективен полностью сознательный поиск: “что вводим, то и получаем”, то теперь поисковая машина пытается угадать подсознательные мотивы поиска и выдать “что я хотел, а не что я ввёл”. Сознательный же поиск стал менее эффективным и я часто слышу от тех, кто профессионально занят поиском редкой информации, что часть публичной информации в интернете больше не ищется через поисковые системы. Видимо потому, что подсознательные мотивы к ней не ведут.

Но напрягает даже не это. Если “сознательный” поиск работает хуже, я всё реже его использую, чем даю положительное подкрепление поисковым алгоритмам. Что в свою очередь, ведет еще к большей фильтрации информации и ещё меньшей апелляции к сознанию пользователя. Получается затягивающаяся петля с постепенным уменьшением роли сознания. И она затянется ровно настолько, насколько позволят технологии.

Куда более страшные последствия могут наступить при внедрении интеллектуальных, самообучающихся алгоритмов в сферу управления людьми. Например, если поставить “искусственный интеллект” руководить фирмой. Или, упаси Боже, помогать в управлении страной. Нет, ИИ не станет “убивать всех человеков” и вообще ни разу не ослушается.

Мы поставим нашему ИИ хорошие цели, он попытается их выполнить, а мы дадим оценку, всё ли правильно ИИ сделал. Вроде всё хорошо. Утрированно: допустим, директор фирмы поручил ИИ заработать денег. ИИ денег заработал, но директор обнаружил, что из холла компании утилизировали его бронзовую статую в полный рост, что пошло в доход, но вообще-то обидно. Директор оценивает это решение как неверное, а ИИ обучается не трогать символы власти директора. Так, в изначально сознательную установку, проникают подсознательные мотивы, которые потом вернутся многократно усиливаясь, поскольку алгоритм влияет на то, что мы ему приказываем, как поисковые системы влияют на форму наших запросов. Через несколько итераций ИИ уже не зарабатывает, а только купает директора в ощущении власти, причём директор полностью доволен.

Даже если убрать единственного управленца и поставить ИИ в качестве исполнительной власти выполнять коллективные запросы общества, то в конце концов нами начнут управлять хтонические чудовища коллективного бессознательного.

Как всегда, пугаемся Оруэлла, хотя боятся стоит Хаксли.
Tags: Наблюдения, По делу, Психо
Subscribe

Posts from This Journal “Психо” Tag

  • Дайжест

    С начала года меня не было в ЖЖ, с весны даже читать перестал. Занимался одним проектом, про который будет следующий пост. И вот, недавно всё…

  • О страхе смерти

    Чем мне нравится подъём на высоту без страховки, так это необыкновенным чувством баланса собранности и спокойствия. Ты знаешь, что если будешь…

  • Общение

    Я долго пытался понять, какого именно общения я ищу. И почему одни разговоры заряжают, а другие выматывают. Собственно, картинка. Настолько…

  • Женщины

    Это представление о женщинах сложилось у меня ещё в пубертате. Мне его никто не объяснял, я сам себе его не мог объяснить, зато ощущал…

  • Моё выступление на площадке Открытого Соционического Клуба

    С почином меня. Моя первая лекция перед живыми людьми. Почти ничего не вырезал. Ну удивление, монтаж дался мне много тяжелее чем само выступление.…

  • Психософия

    14 ноября (суббота) в 19.30 Читаю открытую лекцию по психософии на Большой Пушкарской (СПб) Двухчасовой разговор о выживании, адаптации и…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 74 comments
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →

Posts from This Journal “Психо” Tag

  • Дайжест

    С начала года меня не было в ЖЖ, с весны даже читать перестал. Занимался одним проектом, про который будет следующий пост. И вот, недавно всё…

  • О страхе смерти

    Чем мне нравится подъём на высоту без страховки, так это необыкновенным чувством баланса собранности и спокойствия. Ты знаешь, что если будешь…

  • Общение

    Я долго пытался понять, какого именно общения я ищу. И почему одни разговоры заряжают, а другие выматывают. Собственно, картинка. Настолько…

  • Женщины

    Это представление о женщинах сложилось у меня ещё в пубертате. Мне его никто не объяснял, я сам себе его не мог объяснить, зато ощущал…

  • Моё выступление на площадке Открытого Соционического Клуба

    С почином меня. Моя первая лекция перед живыми людьми. Почти ничего не вырезал. Ну удивление, монтаж дался мне много тяжелее чем само выступление.…

  • Психософия

    14 ноября (суббота) в 19.30 Читаю открытую лекцию по психософии на Большой Пушкарской (СПб) Двухчасовой разговор о выживании, адаптации и…