?

Log in

No account? Create an account

Previous Entry | Next Entry

Краткое содержание поста: искусственному интеллекту нельзя доверять руководство людьми. И вовсе не потому, что он начнёт преследовать собственные цели, а мешающих людишек уничтожит. Как раз наоборот, потому что он будет следовать нашим целям слишком хорошо.



В моей ленте сразу несколько человек, независимо друг от друга, написали примерно о похожем (и продолжают писать). Явление синхронистичности в чистом виде - никто ни у кого не списывает, просто идёт какая-то странная волна. И мой пост тоже на две трети состоит из декабрьского черновика. Может быть, я не скажу ничего нового, но не высказанному как-то неуютно в голове.


Рассуждать буду на примере гула и пр.

Первые поисковики в интернете работали примитивно: вводишь слово “рыба”, а поисковик выдаёт список страниц, на которых было встречено слово “рыба”. Так я полностью контролировал поиск - что я ввожу, то и ищется. Но было много недостатков - не было анализа морфологии, т.е. не было поиска слова со всеми возможными падежами и формами, не было поиска синонимов, не отбрасывались омонимы, не было фильтрации мусорных, не информативных страниц и т.д. Сейчас поиск последовательно приближается к знаменитой формуле счастливого брака: “делай не то, женщина говорит, а то, что она хочет”. То есть ищет не то, что я ввожу, а то, что я хочу найти (ну, стремится). Согласно новой логике я уже давно пишу в поисковой строке “что такое топинамбур?” прекрасно зная, что найденные страницы НЕ будут содержать слова “что такое”.

Смотрите, какая интересная получается штука. Если сначала был более эффективен полностью сознательный поиск: “что вводим, то и получаем”, то теперь поисковая машина пытается угадать подсознательные мотивы поиска и выдать “что я хотел, а не что я ввёл”. Сознательный же поиск стал менее эффективным и я часто слышу от тех, кто профессионально занят поиском редкой информации, что часть публичной информации в интернете больше не ищется через поисковые системы. Видимо потому, что подсознательные мотивы к ней не ведут.

Но напрягает даже не это. Если “сознательный” поиск работает хуже, я всё реже его использую, чем даю положительное подкрепление поисковым алгоритмам. Что в свою очередь, ведет еще к большей фильтрации информации и ещё меньшей апелляции к сознанию пользователя. Получается затягивающаяся петля с постепенным уменьшением роли сознания. И она затянется ровно настолько, насколько позволят технологии.

Куда более страшные последствия могут наступить при внедрении интеллектуальных, самообучающихся алгоритмов в сферу управления людьми. Например, если поставить “искусственный интеллект” руководить фирмой. Или, упаси Боже, помогать в управлении страной. Нет, ИИ не станет “убивать всех человеков” и вообще ни разу не ослушается.

Мы поставим нашему ИИ хорошие цели, он попытается их выполнить, а мы дадим оценку, всё ли правильно ИИ сделал. Вроде всё хорошо. Утрированно: допустим, директор фирмы поручил ИИ заработать денег. ИИ денег заработал, но директор обнаружил, что из холла компании утилизировали его бронзовую статую в полный рост, что пошло в доход, но вообще-то обидно. Директор оценивает это решение как неверное, а ИИ обучается не трогать символы власти директора. Так, в изначально сознательную установку, проникают подсознательные мотивы, которые потом вернутся многократно усиливаясь, поскольку алгоритм влияет на то, что мы ему приказываем, как поисковые системы влияют на форму наших запросов. Через несколько итераций ИИ уже не зарабатывает, а только купает директора в ощущении власти, причём директор полностью доволен.

Даже если убрать единственного управленца и поставить ИИ в качестве исполнительной власти выполнять коллективные запросы общества, то в конце концов нами начнут управлять хтонические чудовища коллективного бессознательного.

Как всегда, пугаемся Оруэлла, хотя боятся стоит Хаксли.

Posts from This Journal by “Психо” Tag

  • Муравьиная спираль смерти

    Вам не кажется странной вот какая ситуация: каждый из нас имеет массу черт, привычек и особенностей поведения, которые больше мешают, чем помогают…

  • Вавилонская башня

    Уж сколько лет прошло, а проблема вавилонской башни всё ещё в силе. Людям в количестве более одного тяжело довести до конца общее дело. Даже если…

  • Лего

    - Это ужасно! - Я знаю, сам в ужасе. Так скажите же мне, почему я это делаю? - Ты до сих пор еще не понял, сынок? Так и не понял? - Нет. - Ты…

  • Лебедь рак и щука

    Я принял для себя 3 способа смотреть на типологические и психологические теории. Они не претендуют на полноту, но избавляют от ложных ожиданий с…

  • Киберпанк

    Поход с утра на работу всё равно что контрастный душ. Я выхожу из метро и вижу мир будущего. Улицы ярко освещены, десятиметровые билборды с рекламой…

  • Кризис среднего возраста

    Вспоминаю первую подростковую несчастную безответную любовь. И невысказанный вопрос "зачем?". Зачем всё так ужасно в жизни устроенно, что можно…

Comments

( 75 comments — Leave a comment )
Page 1 of 2
<<[1] [2] >>
egornebo
Jan. 8th, 2018 07:25 am (UTC)
тебе вот в этом вопросе нужно довериться, как программисту!
mozgosteb
Jan. 8th, 2018 07:27 am (UTC)
Очень двусмысленно звучит=)
Всем нужно доверять мне или мне нужно доверять кому-то (алгоритмам)?
(no subject) - egornebo - Jan. 8th, 2018 07:30 am (UTC) - Expand
(no subject) - mozgosteb - Jan. 8th, 2018 07:31 am (UTC) - Expand
(no subject) - k_medvezhonkina - Jan. 8th, 2018 07:05 pm (UTC) - Expand
(no subject) - mozgosteb - Jan. 9th, 2018 12:35 am (UTC) - Expand
livejournal
Jan. 8th, 2018 08:28 am (UTC)
Здравствуйте! Ваша запись попала в топ-25 популярных записей LiveJournal северного региона. Подробнее о рейтинге читайте в Справке.
andeadd
Jan. 8th, 2018 08:43 am (UTC)
Круто! То бишь например на сайте знакомств мужики будут писать "найдите мне спокойную глуповатую послушную жену", а алгоритм это считает как "я не хочу париться, напрягаться и подстраиваться под другого человека, мне это сложно" и подсовывает пользователю рекламу водяры и коньяка, чтобы эти мужики вообще отключились от ЛЮБЫХ отношений, раз уж они их "не тянут"?
mozgosteb
Jan. 8th, 2018 09:06 am (UTC)
А в конце концов ты начнёшь понимать, что сложный запрос "найдите мне спокойную глуповатую послушную жену" работает хуже, чем большая красная кнопка "сделай мне хорошо" и будешь нажимать только её.
(no subject) - mozgosteb - Jan. 8th, 2018 09:07 am (UTC) - Expand
(no subject) - andeadd - Jan. 8th, 2018 09:08 am (UTC) - Expand
(no subject) - mage_pro - Jan. 10th, 2018 07:20 am (UTC) - Expand
egovoru
Jan. 8th, 2018 10:38 am (UTC)
Резонные опасения. Но надо надеяться, что человечеству все же хватить ума не попастся в эту ловушку :)
mozgosteb
Jan. 8th, 2018 10:48 am (UTC)
Интересно тогда, что именно встанет на пути.
(no subject) - egovoru - Jan. 8th, 2018 10:55 am (UTC) - Expand
(no subject) - mozgosteb - Jan. 8th, 2018 10:59 am (UTC) - Expand
(no subject) - egovoru - Jan. 8th, 2018 11:11 am (UTC) - Expand
(no subject) - mozgosteb - Jan. 8th, 2018 11:13 am (UTC) - Expand
(no subject) - inoy_dmitriy - Jan. 8th, 2018 06:18 pm (UTC) - Expand
(no subject) - mozgosteb - Jan. 9th, 2018 12:34 am (UTC) - Expand
(no subject) - mindfactor - Jan. 8th, 2018 01:25 pm (UTC) - Expand
mindfactor
Jan. 8th, 2018 12:56 pm (UTC)
Кажется, у А. Азимова был рассказ на эту тему :)
mozgosteb
Jan. 8th, 2018 01:20 pm (UTC)
А помните, у Азимова были такие люди, которые выясняли причину сбоя робота, но не как техники, а как робопсихологи что ли? Я бы хотел чем-то таким заниматься в мире будущего.

Edited at 2018-01-08 04:20 pm (UTC)
(no subject) - anka_hulig - Jan. 9th, 2018 05:39 am (UTC) - Expand
(no subject) - mozgosteb - Jan. 9th, 2018 05:44 am (UTC) - Expand
скорее всего, - yz201011 - Feb. 21st, 2018 07:20 am (UTC) - Expand
iismene
Jan. 8th, 2018 05:02 pm (UTC)
Лучше всего я поняла последнюю фразу, поэтому она мне больше всего и понравилась. Но, получается, что минимизация усилий - это плохо? Не надо усердствовать с усовершенствованиями в сторону удобства и облегчения?
mozgosteb
Jan. 9th, 2018 12:32 am (UTC)
Сама по себе минимизация усилий не плоха. Плохо то, что она происходит в рамках автоматического процесса и мы не знаем, что именно было оптимизировано, может какую-то полезную сложность мы потеряли. А поскольку процесс медленный и постепенный, то и не поймём никогда.

Представьте себе супер-сервис рекомендации книг, который анализирует ваши отзывы и даёт вам рекомендации что почитать. Со временем вы начинаете замечать, что шанс взять в руки неудачную книгу по своему почину гораздо выше, чем по рекомендации сервиса. Тогда вы начинаете всё больше ему доверять. Чем больше вы ему доверяете, тем сильнее сервис участвует в формировании вашего читательского вкуса и тем более предсказуемее становятся ваши предпочтения и тем лучше предсказывает сервис и тем ещё сильнее он влияет на ваш читательский вкус.

Может оно и не плохо, но в этом процессе "варки лягушки" совершенно непонятно, какой сегмент литературы остался за бортом и больше никогда не попадёт к вам на стол.

Грубо говоря, может оказаться, что постепенно испортить вам вкус окажется оптимальнее, чем угадать его. Ну, хорошо, может не лично вам, но некоему читателю.
(no subject) - iismene - Jan. 9th, 2018 03:30 am (UTC) - Expand
(no subject) - mozgosteb - Jan. 9th, 2018 03:33 am (UTC) - Expand
(no subject) - nyakator - Jan. 9th, 2018 11:35 am (UTC) - Expand
(no subject) - mozgosteb - Jan. 9th, 2018 11:40 am (UTC) - Expand
(no subject) - nyakator - Jan. 9th, 2018 11:50 am (UTC) - Expand
(no subject) - andeadd - Jan. 9th, 2018 02:06 pm (UTC) - Expand
(no subject) - misha_makferson - Jan. 15th, 2018 05:56 am (UTC) - Expand
(no subject) - mozgosteb - Jan. 15th, 2018 06:30 am (UTC) - Expand
k_medvezhonkina
Jan. 8th, 2018 07:14 pm (UTC)
А сознательно еще можно искать?
mozgosteb
Jan. 9th, 2018 12:13 am (UTC)
В гугле уже нет. Раньше можно было заключать предложение в двойные кавычки и всё работало "как раньше". А теперь и это соптимизированно.
(no subject) - k_medvezhonkina - Jan. 9th, 2018 01:33 am (UTC) - Expand
(no subject) - mozgosteb - Jan. 9th, 2018 02:27 am (UTC) - Expand
gnawer
Jan. 9th, 2018 12:05 am (UTC)
Это так же работает и без ИИ. Я работал в конторе с big data, которая разработывает программы не через планирование, а через эксперименты на пользователях. Эти эксперименты могут показать, например, что если убрать кнопку "пожаловаться в техсаппорт", то за время действия эксперимента пользователей сильно меньше не становится, но уменьшаются расходы на техсаппорт. Всё зависит от того, как ты построишь метрику, и какие выводы сделаешь на её основе. Уже делает ли выводы человек либо ИИ, это не играет такой большой роли.
mozgosteb
Jan. 9th, 2018 12:11 am (UTC)
Я думаю, существенным фактором является автоматический процесс оптимизации, при котором не делаются осознанные выводы. Он формирует петлю быстрой обратной связи. Не важно, кто его делает, нейросеть или человек.
(no subject) - gnawer - Jan. 9th, 2018 12:15 am (UTC) - Expand
(no subject) - mozgosteb - Jan. 9th, 2018 12:33 am (UTC) - Expand
mercant
Jan. 9th, 2018 02:20 am (UTC)
Жизни не хватит
Сразу оговорюсь по по поводу поиска, чтобы не возвращаться. В поиске действительно ценной информации самый надежный способ - дедовский. Скачиваем нужную книгу, смотрим библиографию - ищем следующую книгу - смотрим библиографию и т.д.

А насчет "обучаемости" ИИ: талант управленца - принятие решений в ситуации с неполной информацией. ИИ, же можно "обучать" только на готовых моделях в течение длительного времени. Сколько реальных фирм придется разорить гипотетическому виртуальному директору, чтобы выработать модели поведения "на все случаи жизни"?

А "хтонические чудовища коллективного бессознательного" нами уже успешно управляют и без всякого ИИ. Посмотрите например на демографию :)))
mozgosteb
Jan. 9th, 2018 02:25 am (UTC)
Re: Жизни не хватит
Со всем согласен. Единственная ремарка - алгоритмически управляемые фирмы уже существуют.
(no subject) - mercant - Jan. 9th, 2018 02:41 am (UTC) - Expand
(no subject) - mozgosteb - Jan. 9th, 2018 02:54 am (UTC) - Expand
Re: Жизни не хватит - akor168 - Jan. 11th, 2018 06:31 am (UTC) - Expand
Re: Жизни не хватит - mozgosteb - Jan. 11th, 2018 06:38 am (UTC) - Expand
Re: Жизни не хватит - akor168 - Jan. 11th, 2018 06:56 am (UTC) - Expand
Re: Жизни не хватит - mozgosteb - Jan. 11th, 2018 07:51 am (UTC) - Expand
Re: Жизни не хватит - akor168 - Jan. 11th, 2018 08:01 am (UTC) - Expand
Re: Жизни не хватит - mozgosteb - Jan. 11th, 2018 08:22 am (UTC) - Expand
Re: Жизни не хватит - akor168 - Jan. 11th, 2018 08:34 am (UTC) - Expand
Re: Жизни не хватит - mozgosteb - Jan. 11th, 2018 08:37 am (UTC) - Expand
Re: Жизни не хватит - misha_makferson - Jan. 15th, 2018 06:04 am (UTC) - Expand
mercant
Jan. 9th, 2018 03:17 am (UTC)
Потакание низменным устремлениям на социально приемлемом уровне, как это ни парадоксально, делает наш мир лучше. Например массовое распространение ММО-игр привело к снижению уличной преступности ("гопники шпилят в танчики"). А к управлению человеками программисты и физиологи (насколько мне известно) уже подошли практически вплотную. Только первые - через совершенствование "заманушных" алгоритмов (игры, реклама), а вторые - через понимание процессов функционирования мозга. Осталось дождаться, когда эти два лагеря "сольются в экстазе". Только мне кажется, что управление будет направлено не на самоистребление ради интересов мифического "мирового правительства", а на "счастье для всех", ну и разумеется "никто не уйдет обиженным".
mozgosteb
Jan. 9th, 2018 03:34 am (UTC)
Посмотрим, время рассудит
(no subject) - sulfid - Jan. 12th, 2018 11:04 am (UTC) - Expand
(no subject) - mozgosteb - Jan. 13th, 2018 04:48 am (UTC) - Expand
olgalit
Jan. 9th, 2018 12:34 pm (UTC)
сложно все (

но почему-то складывается ощущение, что когда мы говорим о "полноценном ИИ", то исходим из сравнения что наше мышление и интеллект - эталон. Соответственно, ИИ станет "идеальным" лишь в том случае, когда в его программе? алгоритмах? будут периодически возникать спонтанные системные ошибки, или оценка "правильно/неправильно не будет зависеть от человека. В противном случае, чтобы избежать непредсказуемых результатов как в примере с символами власти, задачи, которые "доверят" ИИ останутся не очень сложными - такими, где можно будет очень четко прописать тех задание, с небольшим кол-вом вводных. Потому что если так-то разобраться, с бронзовой стауей обидно, конечно, но с точки зрения рациональности и прагматичности - вполне норм.
Чет понесло меня, ага.
mozgosteb
Jan. 9th, 2018 02:31 pm (UTC)
Я исхожу из того, что у ИИ (чтобы им там не называли) вообще нет никакого мышления, один только опыт
afina_psy
Jan. 11th, 2018 07:44 am (UTC)
"Как всегда, пугаемся Оруэлла, хотя боятся стоит Хаксли." - о, я так тоже считаю. Человечество еще будет со слезой умиленья вспоминать старые-добрые времена принуждения и прямой диктатуры.
mozgosteb
Jan. 11th, 2018 08:23 am (UTC)
Ох, как не хочется выбирать из двух зол
(no subject) - afina_psy - Jan. 11th, 2018 09:26 am (UTC) - Expand
i_am_the_frog
Jan. 11th, 2018 10:07 am (UTC)
От больших технологических компаний ничего хорошего ожидать уже не стоит. Я слегка ознакомился с иском Джеймса Дамора к Гуглу (сейчас уже даже не скажу, где найти :), и понял, что никакого интереса к тому, чтоб объективная информация находилась хорошо, у гугла нет. Поверх всех неприятностей с "сознательным поиском", которые я подтверждаю, идет банальная манипуляция с результатами, чтоб ту информацию, которая не вписывается в идеологию компании, сложнее было найти.

Во всех других случаях применения нейронных сетей, если политика компаний не изменится, результат будет схожим, уже есть прецеденты - racist AI, и все такое. Фильтры-пузыри, которые упомянули раньше, когда только нравящаяся пользователю информация показывается на его экране - ещё одна напасть, да.

Бумажные книги лучше, чем вся эта технология, честное слово.
mozgosteb
Jan. 11th, 2018 10:43 am (UTC)
Что ещё хорошо, помимо книг, что мы пока можем передавать друг другу информацию непосредственно, без посредников. Или с минимальным привлечением техники, но без фильтров.
(no subject) - i_am_the_frog - Jan. 11th, 2018 11:00 am (UTC) - Expand
(Deleted comment)
mozgosteb
Jan. 12th, 2018 02:31 am (UTC)
Буду)
bhaga
Jan. 17th, 2018 06:16 pm (UTC)
чудовище ИИ
вот вы важнейшую тему затронули!

Этот гугл в последнее время вообще то ли оборзел, то ли ошизел…

Но мне еще и на иностранных языках приходится искать (англ. и фр.), там еще свои есть нюансы, этакая по типу «…и шлифануть пивком»-)))

Но вот вам пример из реальной жизни.

Однажды (где-то году в 2000 – 2003) я работал в Москве одной фирме, которая импортировала из Китая тамошнюю электронику и лепила на нее (еще там, в Китае) шильдик популярнейшего (еще с советских времен) бренда из сферы бытовой электроники.

И продавалось это буквально «с колес». Основателями этой фирмы являются довольно прожженные барыги (фарца) из ближнего Подмосковья, корни там еще от «гумовских кидал» растут.

Короче. Озолотели они неслабо, барыги эти.
И у ну давай свой бренд развивать, бизнес продвигать.

Наняли директора по рекламе, отдел целый. Закупились рекламными площадями плотно, билбордов этак 20 – 30, да в центре (ну, район Курского вокзала, «кольцо» и т.п.)

Но директор по рекламе оказался тоже не дурак. Он билборды выкупил преимущественно по тому направлению, по которому босс (главный барыга и основатель) ездил себе домой после работы (а живет он за городом).

Таким образом вопрос об ЭФФЕКТИВНОСТИ этой наружной рекламы (очень дорогой. Кстати), отпал вовсе.

Боссу зато очень нравилось ездить мимо нее каждый день, и смотреть.

Ну прямо похожий случай, да?!!
То есть директор по рекламе поступил, сука, как этот самый хитрожопый Гугл…

Бля, эту страну не победить.))
mozgosteb
Jan. 18th, 2018 02:44 am (UTC)
Re: чудовище ИИ
История прекрасная, отличная иллюстрация)
Page 1 of 2
<<[1] [2] >>
( 75 comments — Leave a comment )