?

Log in

No account? Create an account

Previous Entry | Next Entry

Немного Big Data вам в ленту. Скачал около 20 000 живых профилей пользователей ЖЖ и решил посмотреть, какую интересную информацию можно извлечь.




Остановился на анализе друзей и попытался что-то понять о том как образуются круги общения. Что я сделал? Для каждого журнала из 20 000 я нашёл самую большую клику друзей (посмотреть свою клику можно по ссылке чуть ниже). Клика - это группа пользователей, где каждый дружит с каждым (см. картинку). Я предположил, что самая большая клика - это и есть основной круг общения. Написал программу для обработки данных и стал ждать результатов…

Собственно, вот результаты по каждому.
Перед тем как нажимать два момента:
- Чтобы предоставить точные данные пришлось бы скачивать весь ЖЖ, поэтому клики составлены только из тех, кто вошёл в выборку. На самом деле ваши клики могут быть чуть больше!
- Каждая ссылка "кликабельна" и можно сёрфить по чужим кликам.
Теперь можно нажимать :)

Можно использовать инфу, чтобы понять, с кем плотно дружат ваши друзья, и узнать, с кем стоит задружиться.

В общей же статистике мало интересного, за исключением одного момента, который я не могу понять. Надеюсь, вы мне поможете.


По горизонтали размеры клик (от 1 до 63), а столбики над ними показывают, сколько пользователей в них входят.

- У 7% пользователей нет взаимных друзей или они не захотели открывать информацию.

- Примерно половина (50%) входят в клики от 2-х до 4-х человек. В большинстве своём, это неактивные пользователи, либо те, кто начал вести журнал недавно, либо те кто не пишет и не (редко) комментирует, либо используют ЖЖ только для чтения конкретного автора

- Примерно треть (35%) входят в клики от 5 до 12 человек. Вот где самая соль всея ЖЖ. Это пользователи, которые активно общаются, что-то пишут и действительно читают тех, на кого подписаны.

- Дальше начинаются боты и люди, которые френдят всех, кто френдит их. Всех-всех не просматривал, но не верю я, что может существовать группа из 50 человек, где каждый взаимно читает каждого. Не настолько велика наша уютненькая. Самые большие клики, которые мне удалось зафиксировать, состояли из 63 взаимофрендов (тот самый небольшой бордовый пупок в конце графика).

А вот тот самый странный момент:

Благодаря friendstime, я читаю журналы не только из своей ленты и многих “знаю в лицо”. Пытался воспользоваться этим знанием, чтобы понять, действительно ли пользователи одной клики объединены неким общим интересом. Да, клик “по интересам” действительно немало. Есть клики, которые кучкуются вокруг искусства, физики, биологии, есть ролевики, киноманы, читатели Эволюции. Но, в основном, когда я гляжу на клику, то не вижу общего интереса. Может, неправильно смотрю.

Например, друзья из моих клик: litera_dura, k_medvezhonkina, elisa_liz, sister_lu, esteveste, anka_hulig, lysoval, mozgosteb, andeadd, radugaw, hemso, mage_pro, zheniavasilievv
Есть ли у нас какая-то общая тема? Какой-то объединяющий фактор? Не знаю, мне кажется, что мы просто взаимно приятные друг другу люди.

А у вас как? Предлагаю поучаствовать в опросе, чтобы понять общую картину.

Что ещё? Примерно каждый десятый пользователь томится во френдзоне. Т.е. дружит с большой кликой, но сам в неё не входит.

Что скажете о своей клике?

Моя клика меньше 5 человек и нас связывает общая тема
8(10.1%)
Моя клика меньше 5 человек и нас НЕ связывает общая тема
10(12.7%)
Моя клика от 5 до 12 человек и нас связывает общая тема
20(25.3%)
Моя клика от 5 до 12 человек и нас НЕ связывает общая тема
8(10.1%)
Моя клика больше 12 человек и нас связывает общая тема
2(2.5%)
Моя клика больше 12 человек и нас НЕ связывает общая тема
2(2.5%)
Ваши алгоритмы что-то напутали
10(12.7%)
Просто хочу посмотреть на результат опроса
19(24.1%)


Доп. информация для программистов и прочих интересующихся подробностями:
- Полезная инфа для тех, кто хочет обрабатывать страницы ЖЖ автоматическими средствами: https://www.livejournal.com/bots/
- Поиск клик трудозатратная операция. Я использовал алгоритм из википедии и чуть не умер. Удалось немного оптимизировать, но всё равно компьютер обрабатывал инфу где-то неделю.
- 20 000 человек это, конечно, не весь ЖЖ. Это друзья друзей моих друзей. Поэтому информация о кликах для самого дальнего круга может быть немного (а может и сильно) не точна. Если есть ошибки, то в меньшую сторону, т.е. ваша клика может быть больше.
- Исходный код алгоритма предоставлять не буду, поскольку принципиально не распространяю порнографию. Но не прочь поболтать о реализации.



Отдельное спасибо за помощь bearinbloodbath и sel_kie!

Posts from This Journal by “Код” Tag

  • Анализатор постов в ЖЖ

    Всегда интересно сравнить аналитику о людях выполненную компьютером и свои собственные наблюдения. Заодно, есть шанс кое-то узнать о своём журнале.

  • Эгоисты, хорошисты, идеалисты

    Уважаемый navlasov месяц назад написал пост, где сравнил два типа преподавателей Российских вузов: Начнем с "ландскнехта". Здесь в…

  • Программист в преддверие нового года.

    Я не очень умею делать программы, которые работают прямо на сайте, но подзаморочился и сделал. Редактор новогодних снежинок. Пользуйтесь. Рисуем,…

  • Zoom / тыжпрограммист

    На этот раз я нарезал много няшных картинок определенного стиля и тематики и натравил эту коллекцию на ваши аватарки. Получилось не так удачно,…

  • Глазами старых газет и матричных принтеров

    А давненько не было никаких измывательств над вашими аватарками. На днях я узнал один простенький, но элегантный алгоритм, который…

  • Прикладная археология

    Коллектив "похудел" на одного коллегу, наверное самого нелюдимого из всех, кто на моей памяти у нас работал. Если кто не знал, я - программист. У нас…

  • Синхронистичность 2

    Это второй этап проверки теории синхронистичности. Из 8-ми участников первого этапа шестеро записались на новый тур + присоединились…

  • Хоку на основе постов ЖЖ

    Сделал генератор хоку на основе постов ЖЖ или вообще любого вашего текста. Что-то годное получается редко, но не пропадать же добру. Развлекайтесь:…

  • Делиться или не делиться секретами профессии

    Не так давно, на работе, обсуждали с Кровавым Медведем нужно ли делиться с коллегами профессиональными секретами,…

Comments

( 190 comments — Leave a comment )
Page 1 of 3
<<[1] [2] [3] >>
mozgosteb
Apr. 11th, 2019 08:48 am (UTC)
Вот будет позорище, если ВООБЩЕ ВСЁ ПОСЧИТАНО НЕПРАВИЛЬНО))
k_medvezhonkina
Apr. 11th, 2019 09:28 am (UTC)
Мне кажется, у системы пара существенных ограничений - все со всеми и твои френды френдов. А с субъективной точки зрения - это пропасть огромного размера. )
(no subject) - mozgosteb - Apr. 11th, 2019 09:31 am (UTC) - Expand
(no subject) - k_medvezhonkina - Apr. 11th, 2019 09:38 am (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 09:41 am (UTC) - Expand
(no subject) - radugaw - Apr. 11th, 2019 09:58 am (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 10:06 am (UTC) - Expand
(no subject) - radugaw - Apr. 11th, 2019 10:07 am (UTC) - Expand
(no subject) - egornebo - Apr. 11th, 2019 10:14 am (UTC) - Expand
(no subject) - radugaw - Apr. 11th, 2019 10:34 am (UTC) - Expand
(no subject) - egornebo - Apr. 11th, 2019 10:37 am (UTC) - Expand
(no subject) - radugaw - Apr. 11th, 2019 10:42 am (UTC) - Expand
(no subject) - radugaw - Apr. 11th, 2019 10:44 am (UTC) - Expand
(no subject) - egornebo - Apr. 11th, 2019 10:49 am (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 10:51 am (UTC) - Expand
(no subject) - egornebo - Apr. 11th, 2019 10:52 am (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 10:57 am (UTC) - Expand
(no subject) - egornebo - Apr. 11th, 2019 11:54 am (UTC) - Expand
(no subject) - mage_pro - Apr. 11th, 2019 10:52 am (UTC) - Expand
(no subject) - radugaw - Apr. 11th, 2019 11:05 am (UTC) - Expand
(no subject) - k_medvezhonkina - Apr. 11th, 2019 10:17 am (UTC) - Expand
k_medvezhonkina
Apr. 11th, 2019 08:51 am (UTC)
Кто в "моей" клике не дружит с radugaw? Ведь только так можно не попасть в "основной состав"!

Вообще, я думала, я более кликабельна!
mozgosteb
Apr. 11th, 2019 08:55 am (UTC)
Не обязательно в эту сторону. Например, Надя не дружит с sister_lu
И кое-кто не дружит с Надей, пальцем показывать не буду.
Так что давай переголосовывай, всё правильно))

Edited at 2019-04-11 06:01 am (UTC)
(no subject) - k_medvezhonkina - Apr. 11th, 2019 09:12 am (UTC) - Expand
(no subject) - radugaw - Apr. 11th, 2019 09:59 am (UTC) - Expand
(no subject) - k_medvezhonkina - Apr. 11th, 2019 10:03 am (UTC) - Expand
(no subject) - elisa_liz - Apr. 11th, 2019 09:52 pm (UTC) - Expand
(no subject) - andeadd - Apr. 11th, 2019 09:53 pm (UTC) - Expand
(no subject) - elisa_liz - Apr. 11th, 2019 09:54 pm (UTC) - Expand
(no subject) - radugaw - Apr. 11th, 2019 10:02 pm (UTC) - Expand
(no subject) - radugaw - Apr. 11th, 2019 09:58 am (UTC) - Expand
(no subject) - k_medvezhonkina - Apr. 11th, 2019 10:04 am (UTC) - Expand
(no subject) - radugaw - Apr. 11th, 2019 12:04 pm (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 12:41 pm (UTC) - Expand
(no subject) - radugaw - Apr. 11th, 2019 12:45 pm (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 12:50 pm (UTC) - Expand
(no subject) - k_medvezhonkina - Apr. 11th, 2019 12:59 pm (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 01:03 pm (UTC) - Expand
(no subject) - k_medvezhonkina - Apr. 11th, 2019 01:13 pm (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 01:17 pm (UTC) - Expand
(no subject) - k_medvezhonkina - Apr. 11th, 2019 06:04 pm (UTC) - Expand
(no subject) - mozgosteb - Apr. 12th, 2019 07:56 am (UTC) - Expand
(no subject) - radugaw - Apr. 11th, 2019 12:46 pm (UTC) - Expand
(no subject) - k_medvezhonkina - Apr. 11th, 2019 12:50 pm (UTC) - Expand
(no subject) - k_medvezhonkina - Apr. 11th, 2019 12:51 pm (UTC) - Expand
li_bao
Apr. 11th, 2019 09:01 am (UTC)
У меня получилась очень интересная клика. Это всё хайку-поэты, большинство давно ушло из ЖЖ в иные соц.сети. Забавно, спасибо
mozgosteb
Apr. 11th, 2019 09:05 am (UTC)
Ого! Причём большая такая клика
(no subject) - li_bao - Apr. 11th, 2019 08:31 pm (UTC) - Expand
(no subject) - mozgosteb - Apr. 12th, 2019 07:59 am (UTC) - Expand
(no subject) - li_bao - Apr. 12th, 2019 08:34 am (UTC) - Expand
baby_lyaliko
Apr. 11th, 2019 09:05 am (UTC)
"Общим интересом" может быть просто личное знакомство с определенными людьми. Например - я лично знаю Машу, Катю и Олю и зафренживаю тех, кто с ними общается - потому что это показатель их вменяемости (для меня). Или интерес может быть неочевидным и не прописанным в профиле - дети одного возраста или типа того.
mozgosteb
Apr. 11th, 2019 09:07 am (UTC)
Т.е. общей темой может быть человек. Пожалуй, да.
(no subject) - baby_lyaliko - Apr. 11th, 2019 09:14 am (UTC) - Expand
(no subject) - eyno - Apr. 11th, 2019 09:21 am (UTC) - Expand
k_medvezhonkina
Apr. 11th, 2019 09:15 am (UTC)
А почему у меня только 9, а у тебя 13?
k_medvezhonkina
Apr. 11th, 2019 09:15 am (UTC)
При том, что я со всеми ними дружу?
(no subject) - mozgosteb - Apr. 11th, 2019 09:18 am (UTC) - Expand
(no subject) - k_medvezhonkina - Apr. 11th, 2019 09:25 am (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 09:28 am (UTC) - Expand
(no subject) - k_medvezhonkina - Apr. 11th, 2019 09:30 am (UTC) - Expand
(no subject) - andeadd - Apr. 11th, 2019 10:47 am (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 10:49 am (UTC) - Expand
(no subject) - k_medvezhonkina - Apr. 11th, 2019 11:06 am (UTC) - Expand
bluxer
Apr. 11th, 2019 09:17 am (UTC)
Не могу понять результат. За исключением одного юзера это не те, с кем я здесь общаюсь и с кем больше всего общих друзей.
И некоторые не очень живые.
mozgosteb
Apr. 11th, 2019 09:21 am (UTC)
Должно лишь соблюдаться условие - каждый дружит с каждым. А вот означает ли это что-то реальное - вопрос открытый. Лично мне по образу мышления люди из вашей клики кажутся схожими. Но это мой поверхностный взгляд.
(no subject) - bluxer - Apr. 11th, 2019 11:24 am (UTC) - Expand
dn54
Apr. 11th, 2019 09:28 am (UTC)
А то, что мы живём в одном городе - это "общая тема" или нет?
mozgosteb
Apr. 11th, 2019 09:28 am (UTC)
Думаю, да. Можно заменить "тему" на "фактор"
livejournal
Apr. 11th, 2019 09:30 am (UTC)
Здравствуйте! Ваша запись попала в топ-25 популярных записей LiveJournal северного региона. Подробнее о рейтинге читайте в Справке.
fotovivo
Apr. 11th, 2019 03:45 pm (UTC)
Перекрестно-взаимных 8, но мы "дружим хештегами", участники хешмобов пересекаются и друг друга знают без формального зафренда.
(no subject) - fotovivo - Apr. 11th, 2019 04:02 pm (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 04:13 pm (UTC) - Expand
(no subject) - fotovivo - Apr. 11th, 2019 04:26 pm (UTC) - Expand
egornebo
Apr. 11th, 2019 10:01 am (UTC)
спасипке.
очень увлекательно.
не понял только вот этово: "Примерно каждый десятый пользователь томится во френдзоне. Т.е. дружит с большой кликой, но сам в неё не входит".

если ж дружит стало быть входит, как входят по другому то?
mozgosteb
Apr. 11th, 2019 10:08 am (UTC)
Дружба должна быть взаимной, иначе какая же это клика
(no subject) - egornebo - Apr. 11th, 2019 10:12 am (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 10:19 am (UTC) - Expand
(no subject) - k_medvezhonkina - Apr. 11th, 2019 10:22 am (UTC) - Expand
(no subject) - egornebo - Apr. 11th, 2019 10:30 am (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 10:32 am (UTC) - Expand
(no subject) - egornebo - Apr. 11th, 2019 10:35 am (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 10:41 am (UTC) - Expand
(no subject) - egornebo - Apr. 11th, 2019 10:47 am (UTC) - Expand
(no subject) - radugaw - Apr. 11th, 2019 10:36 am (UTC) - Expand
(no subject) - k_medvezhonkina - Apr. 11th, 2019 11:46 am (UTC) - Expand
(no subject) - egornebo - Apr. 11th, 2019 11:54 am (UTC) - Expand
(no subject) - k_medvezhonkina - Apr. 11th, 2019 12:00 pm (UTC) - Expand
(no subject) - egornebo - Apr. 11th, 2019 12:20 pm (UTC) - Expand
(no subject) - k_medvezhonkina - Apr. 11th, 2019 12:49 pm (UTC) - Expand
radugaw
Apr. 11th, 2019 10:02 am (UTC)
Хм, странно! три разные клики, которые разнятся на одного человека, например.
k_medvezhonkina
Apr. 11th, 2019 10:07 am (UTC)
Это все математика!
(no subject) - mozgosteb - Apr. 11th, 2019 10:08 am (UTC) - Expand
romanetto
Apr. 11th, 2019 10:03 am (UTC)
У меня все просто - все из активной кинотусовки)
mozgosteb
Apr. 11th, 2019 04:35 pm (UTC)
Удобно)
p_i_r_a_n_y_a
Apr. 11th, 2019 10:05 am (UTC)
A меня вообще не нашло 😭😭😭
Я не существую (((
mozgosteb
Apr. 11th, 2019 04:36 pm (UTC)
Не все обработаны, увы
radugaw
Apr. 11th, 2019 10:08 am (UTC)
Пятачок и Кристофер Робин самые контактные, даже более Винни Пуха!
mozgosteb
Apr. 11th, 2019 10:09 am (UTC)
Кто ты на этой картинке?)
(no subject) - radugaw - Apr. 11th, 2019 10:32 am (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 10:42 am (UTC) - Expand
(no subject) - radugaw - Apr. 11th, 2019 10:45 am (UTC) - Expand
my_virtual
Apr. 11th, 2019 10:14 am (UTC)
И меня знать не хочет.
mozgosteb
Apr. 11th, 2019 10:22 am (UTC)
Всех обработать не смог(
(no subject) - my_virtual - Apr. 11th, 2019 11:51 am (UTC) - Expand
(no subject) - les_accents - Apr. 11th, 2019 03:11 pm (UTC) - Expand
old_radist
Apr. 11th, 2019 10:25 am (UTC)
Результат интересен, но неочевиден. ))

Ни один из моих кликочленов не входит в топ моих комментаторов.
mozgosteb
Apr. 11th, 2019 10:29 am (UTC)
Языком молоть это одно, а вот когда приходит время платить кликочленские взносы, тут-то становится ясно, кто есть кто!)))
(no subject) - old_radist - Apr. 11th, 2019 10:32 am (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 10:36 am (UTC) - Expand
(no subject) - old_radist - Apr. 11th, 2019 12:04 pm (UTC) - Expand
(no subject) - mozgosteb - Apr. 11th, 2019 12:43 pm (UTC) - Expand
(no subject) - lysoval - Apr. 11th, 2019 10:37 am (UTC) - Expand
Page 1 of 3
<<[1] [2] [3] >>
( 190 comments — Leave a comment )