Главное Свежее Вакансии Образование
Выбор редакции:
9 367 46 В избр. Сохранено
Авторизуйтесь
Вход с паролем

Как нельзя делать рекомендации контента: 5 ошибок российских медиа

Рассказываем, какие заблуждения есть у СМИ, которые делают контентные рекомендации в блоке типа "Читай также" и развеиваем их цифрами.

Во время общения с медиа мы часто сталкиваемся с массой заблуждений, в которые все верят, потому что так сложилось исторически. На сайте есть блоки типа “Читать также” или “Самое горячее” и т.п. Словом все то, что составляет обвязку статьи и стремится дополнить UX дорогого читателя. Мы расскажем, какие заблуждения есть у СМИ, которые делают контентные рекомендации, и развеем их цифрами.

Рекомендовать по тегам

Самое большое и самое популярное заблуждение. Чаще всего СМИ делают рекомендации в конце статьи по тегам. Так поступает Look At Me и РБК, например. Есть материал с тегами: трактор, Путин, сыр. К нему выводятся тексты про трактора, про Путина и сыр. На первый взгляд, логично:

vill1.png?w=676&h=291

vill2.png?w=676&h=267

Подобная механика рекомендации в реальной жизни выглядела бы так. Вы идете в магазин за продуктами. И кладете в корзину сливочное масло. К вам подходит консультант с потными от волнения ладошками и говорит: “О, я вижу, вы взяли масло и это значит, что вам нужно масло. Возьмите еще пять видов сливочного деревенского и подсолнечного и козьего масла” Максимум, что может случиться из ряда вон выходящее — вам предложат трансмисионное, если вы читали что-то про автомобили. И это уже будет считаться rocket science.

Мир устроен чуть сложнее. На самом деле, все работает так: пользователь приходит на сайт, смотрит курс доллара, коубы из “Безумного Макса” и видео, где кто-то кидается чебуреками. Значит, другой человек, который уже посмотрел доллар и Безумного Макса, скорее всего, захочет посмотреть на летящий чебурек, как бы это странно не звучало. Это называется коллаборативная фильтрация. Есть кластеры пользователей и закономерности с помощью которых можно максимизировать вовлеченность читателя в ваш контент.

По результатам А/В тестов коллаборативная фильтрация без дополнительных настроек, дает на 20-30% больше кликов, чем подборка по тегам. И это означает, что никто не должен составлять блоки “Читать также” на основе тегов.

Рекомендовать контент из того же раздела

Вторая инкарнация предыдущего заблуждения — сегментировать рекомендации по разделам.

Представьте, что консультант отдела сливочного масла берет вас в заложники со словами: «Сегодня ты купишь только маслице, о да ты купишь много маслица!» Вы с криком выламываете двери, и никогда больше возвращаетесь в этот магазин.

Мы показали одной группе юзеров сегментированные рекомендации: человек читает новость из раздела “Общество” — рекомендуем ему статьи только из раздела “Общество”. Другая группа получала рекомендации со всего сайта (кросс сегментные рекомендации). CTR виджета с рекомендациями без учета разделов — в 2 раза выше, процент отказа ниже на 16% и время проведенное на сайте было на 23% выше. Нет никакого смысла ограничивать читателя рамками одного раздела. Будьте разнообразны в своих рекомендациях.

Рекомендовать популярное

Рекомендовать популярные новости — значит рекомендовать ненужные новости, которые все уже видели. Популярное — это материалы, которые посмотрело много людей. Именно так популярное становится популярным. Каждый раз, когда вы хотите сделать у себя на сайте такой блок, вспоминайте это предложение, потому что именно так это и работает. Это новости, которые видели все.

Мы сравнивали в A/B тестах популярное и коллаборативную фильтрацию. CTR виджета с коллаборативной фильтрацией выше в 7 раз. Это совсем не значит, что вот наши алгоритмы такие классные. Это значит, что блок популярное на сайте — отстой и не нужен вообще никому. Мы понимаем, что блок “Популярное” на сайте — это must have для большинства медиа, но пора попрощаться с этим заблуждением.

Не ставить ограничение по времени

Почему новостные издания рекомендуют новости полугодичной давности понять сложно. Такой подход порождает дикие примеры типа этого:

d181d0bdd0bed0b1-d0b2d0b5d180d185.png?w=

d181d0bdd0bed0b1-d0bdd0b8d0b7.png?w=676&

Медиа думают, что пользователь хочет знать, что было на эту тему раньше. Нет не хочет! Ему это неинтересно, и никому это неинтересно.

Во время тестов на новостных СМИ мы выясняли наиболее оптимальный возраст новостей, которые стоит рекомендовать посетителям. Было протестировано три варианта: 72, 48 и 24 часа с момента публикации. Тестовая выборка составляла 2.7 миллиона читателей и проводилась месяц. Большая часть наших коллег ставила на 24 часа, потому что им казалось, что новости очень быстро устаревают, и никто не будет читать вчерашние новости. Чуть меньше людей верило в 48 часов. Видимо, потому, что не все успевают прочесть актуальное за день и, скорее всего, они что-то пропустили за вчера и хотят наверстать упущенное. Никто не верил в 72 часа. Да, 72 часа победили. В этом диапазоне пользователи находят больше всего интересующих материалов и блоки собранные из таких новостей кликабельны на 4.2% больше чем 48 часов и на 10,9% больше чем 24 часа. Вероятно, это происходит потому, что люди не успевают (или просто не хотят) потребить весь объем информации, который генерируют медиа. Поэтому новости, вышедшие позавчера, для них еще актуальны. Исключение составляют breaking news.

Делать рекомендации руками

“Алгоритм не может быть умнее человека и знать потребности аудитории лучше профессионала” — так в среднем звучит аргумент тех, кто собирает рекомендации руками.

Мы не согласны. Люди научились летать на луну, сажать спутник на летящую в космосе комету, еще электромобили, суперкомпьютеры, роботы, адронный коллайдер и всякое такое. Что намекает о торжестве технологии вокруг нас. И поэтому нет, алгоритм знает лучше. Чтобы история не превращалось в антиутопию, расскажем, как это работает.

Каждый пользователь выполняет небольшую работу редактора. Один-два раза в день переходит на ресурс, читает новость, и выполняет два-три внутренних перехода. Алгоритм понимает, что пользователю нравится и находит рекомендации для него и для людей с похожими интересами.

Мы провели A/B тест, где сравнили работу нативых виджетов СМИ с рекомендациями. В первом случае рекомендации собирали редакторы. Во втором — работал наш автоматизированный виджет. В итоге Relap увеличил CTR блока в 2 раза.

Мы очень рады, если эта статья помогла в работе вашей редакции и проектировании интерфейсов. Если есть вопросы, безумные гипотезы и идеи, которые вы хотите реализовать вместе с нами — напишите на lab@relap.io

Если хотите использовать наши технологии, вовлекать читателей и вообще автоматизировать рекомендации контента на сайте, мы с радостью в этом поможем. Пишите на hello@relap.io

+8
В избр. Сохранено
Авторизуйтесь
Вход с паролем
Комментарии
PushAll
Платформа мгновенных уведомлений.
Олег Карнаухов
Хорошая статья, я как раз думал про рекомендательную систему, по сути идеально. это когда мы берем схожую выборку людей похожую на этого же человека и предлагаем ему контент, который интересен схожей аудитории.
Ответить
Art-Booking
Платформа для организации мероприятий
Dmitriy Mandrika
Рекомендации должны базироваться на статистическом "весе" классифицированных материалов, на страницах которых он провел больше n времени за последний промежуток времени (неделя, месяц, интересы то меняются). Помимо тематики и разделов, матрицу можно дополнить количеством комментариев, изображений, размером текста, заинтересовавшим пользователя.
Ответить
PushAll
Платформа мгновенных уведомлений.
Олег Карнаухов
Тут еще от области зависит) у меня к примеру уведомления. Я могу определить насколько часто человек кликает на уведомления определенных каналов и так определить вес. И взять таких же людей кликнувших на эти же уведомления даже к примеру.
Я просто абстрагировал вашу статью на тему каналов, или приложений к примеру.
Ответить
Роман Худоногов
Ребята, кмон. Вы выбрали слишком громкий заголовок. Причина понятна, он кликабельный, за это я вас осудить не могу, но вы напутали с выводами. Я постараюсь внести ясность, агрументируя на примере издательского дома Look At Media и The Village, сайт который вы приводите в качестве первого примера.

В среднем CTR виджета “Читайте также” (первая картинка) на The Village -- 14.6%, что в общей сложности приносит порядка 432 359 просмотров в рамках месяц. При этом Wonderzine пошел еще дальше, CTR 18.7% (скачки до 21.248%) и 150 336 просмотров в июле 2015 (https://goo.gl/RQX3yv)

Если говорит обо всем издательском доме, то это 16.35% и 929 665 просмотров в месяц соответсвенно. За прошлый год, только приводимый вами в пример виджет, принес Look At Media 10 247 016 показов.

Да, виджет можно заставить работать эффективнее. Да, коллаборативная фильтрация -- это здорово, а Безумный Макс вообще фантастика. Но как можно назвать ошибкой систему рекомендаций и приводить в качестве пример такой ошибки виджет, который приносит 10 миллионов показов, я не понимаю.

(Мы потратили на разработку этого виджета не больше 10 рабочих часов одного разработчика, и за три года он принес больше 25 млн показов)

На мой взгляд простые, элегантные инхаус-решения имеют право на существование и могут быть эффективными не требуя значительных ресурсов на разработку и поддержку (и математиков которыми вы хвастаете). Такие решения не стоит относить к ошибкам просто потому что в них нет алгоритмов коллаборативной фильтрации.
Ответить
Роман Худоногов
Два дополнения:
-- Не ясно почему вы решили, что в первом примере в качестве основы для рекомендаций используются теги, надуюсь не "на глаз". При подборе материалов в виджет "Читайте также" теги не принимают ни какого участия
-- Если вы считаете, что Relap.io поможет увеличить CTR виджета Wonderzine до 22,4-24,3% (заявленный прирост 20-30%) в средних значениях за месяц, то мы с радостью проведем A/B-тестирование
Ответить
Relap
Помогаем медиа стать лучше с помощью машинного обучения и bigdata
Сергей Шалаев
да ладно, не обижайтесь вы так
Ответить
Роман Худоногов
Хотел лишь добавить мнение со стороны издателя, у вас вышло немного однобоко
Ответить
Роман Худоногов
Давайте протестим Relap.io на Wonder, страсть как интересно
Ответить
Relap
Помогаем медиа стать лучше с помощью машинного обучения и bigdata
Сергей Шалаев
боюсь, вам не разрешат это сделать ваши коллеги ;)
Ответить
Роман Худоногов
бросьте отговорки, Сергей, к чему стесняться
Ответить
Relap
Помогаем медиа стать лучше с помощью машинного обучения и bigdata
Сергей Шалаев
Стесняться чего? Роман, не надо этих трюков. Это не отговорка, а просто скептическое отношение к этой затее и ее одобрения со стороны Василия и Алексея. Мне не очень импонируют два эмоционально нестабильных пассажира с непредсказуемым поведением. Такая уж у LAM репутация. Но, если вы вправе решать такое, то я не могу вас в этом остановить. Что бы все было ок с внешним видом (мы не сможем сделать в виджете, например вот это http://take.ms/YEcgo) я предлагаю написать мне письмо на shalaev@surfingbird.com и я реплаем кину вам мануал по нашему api (будет приходить json с Х рекомендаций) Так же предлагаю потестить еще вот это http://take.ms/IrjCz
Ответить
Relap
Помогаем медиа стать лучше с помощью машинного обучения и bigdata
Сергей Шалаев
с вас соответственно эвенты в ГА и гостевой доступ туда же
Ответить
Роман Худоногов
Со своей стороны я готов побороть скептическое отношение к вам и вашему поведению ради эксперимента, если вы также найдете в себе силы, то эксперимент состоится, ждите письма и спасибо
Ответить
Relap
Помогаем медиа стать лучше с помощью машинного обучения и bigdata
Сергей Шалаев
отлично. спасибо
Ответить
Логомашина
Логотипы из Петербурга для всего мира
Роман Горбачёв
Интересно, какие будут результаты.
Ответить
Красовский Алексей
Предлагаем в качестве альтернативы поставить на тест виджет и от http://nextclick.com.ru/ - мы знаем толк в рекомендациях не только на рынке СНГ.
Ответить
Relap
Помогаем медиа стать лучше с помощью машинного обучения и bigdata
Сергей Шалаев
Вы такой милый Алексей) Вы же знаете что в кейсе с РИА, те ребята, которые нам просрали в два раза это вы
Ответить
Dj Ptitzyn( aka zarine )
Известен как Dj Zarine. Нынешний проэкт - NIR 300 уже имеет несколько релизов: C
Сергей Брановицкий
Полностью согласен - ИНФОРМАЦИЯ ЭТО НЕ МАСЛО ИЛИ ЧЕБУРЕКИ!
Ответить
Красовский Алексей
И Вам добрейшего вечера. На заметку - мы не ссоримся с клиентами и не говорим плохо о конкурентах. Мы работаем для Вас и вместе с Вами, уважаемые издатели.
Ответить
Relap
Помогаем медиа стать лучше с помощью машинного обучения и bigdata
Сергей Шалаев
Мы говорим правду, основанную на цифрах и тестах - у вас нет никакой технологии внутри. Вы это знаете, но копируете нас в своих sales pitch. Это называется карго культ и это не заслуживает уважения.
Ответить
Красовский Алексей
Мой ответ расположен выше. По поводу технологий - решать не нам, а издателям. Удачи в работе и приятного вечера.
Ответить
Relap
Помогаем медиа стать лучше с помощью машинного обучения и bigdata
Сергей Шалаев
И вам удачи в вашем нелегком деле
Ответить
NextClick
Технология рекомендации контента
Крижевич Александр
Сергей :) По поводу копирования питчей - хочу освежить вашу память: вы встречались с нашим российским представителем и обещали поставить NextClick на SurfingBird, было это за пару недель до запуска Релапа. Получили презентацию, и потом практически полностью перенесли ее на первую версию своей. По поводу ваших питчей мы наслышаны от издателей :) Обещаний много, только монетизации все не видать. И мы ее априори не можем копировать - так как мы в своих питчах не об***ем конкурентов, а говорим больше о себе. По поводу технологии, хочу обратить ваше внимание на то, что мы представлены в 5 странах и сейчас происходит запуск еще в 5. У нас более 100 миллионов пользователей, я думаю без технологии мы вряд ли добились этого. Вы бы лучше смотрели на свой продукт и начинающуюся деградацию сети. Только за вчера к нам ушло 2 российских сайта, которые очень терпеливо ждали обещанные вами мегаприбыли...... и не дождались. Мой ответ не дискуссионный - просто надоело постоянно слышать чушь о нас
Ответить
Relap
Помогаем медиа стать лучше с помощью машинного обучения и bigdata
Сергей Шалаев
Ваш коллега был более сдержанный) Приятно, что я все еще могу выводить вас из себя.

P.s обновите лендинг, 50% ваших клиентов - уже не ваши. И эй! Я не виноват, что ваши сотрудники такие болтливые и рассказывают все о вашей компании вплоть до оборота в месяц. Их никто не просил этого делать, я сам ахуел. Вижу, что вы тоже
Ответить
NextClick
Технология рекомендации контента
Крижевич Александр
Сергей, не льстите себе :)
Ответить
Relap
Помогаем медиа стать лучше с помощью машинного обучения и bigdata
Сергей Шалаев
Алексей, мне льстите вы и ваш коллега своей реакцией на этот пост
Ответить
Красовский Алексей
Мы реагируем на негативные отзывы Ваших клиентов. Наша обязанность - продемонстрировать качественный сервис и реальных рекламодателей. Ваш пост на Вашей же совести. Приятного субботнего вечера.
P.S. Приносим извинения за несвоевременные ответы - нет времени на спарк. Из-за количества заявок новых клиентов работаем и в выходные, для того, чтобы наши клиенты были довольны, так же как и их читатели. Приятного выходного вечера.
Ответить
am am am
Сергей, хоть ты и мелкий мошенник от тестов мы никогда не отказываемся и всегда ищем пути улучшить наши продукты. Так что я не против.
Ответить
Relap
Помогаем медиа стать лучше с помощью машинного обучения и bigdata
Сергей Шалаев
А я думал, что невыплата зп сотрудникам это мошенничество)
Ответить
Роман Худоногов
Полно ребята, обменялись любезностями и хватит
Ответить
SeoBrain.Ru
Мониторинг позиций в поисковиках
Губанов Дмитрий
Излагаете всё верно, но с обслуживанием площадок у вас просто беда. Мы с апреля (или мая, точно уже не припомню) работаем с вами, но ни статистики, ни адекватного менеджерского сервиса получить не можем. Весь расчет "на коленке", цен на рекламные материалы никто и нигде не фиксирует. А ведь канал монетизации мог бы быть действительно одним из лучших. Почему так?..
Я готов показать площадку в случае необходимости.
Ответить
Relap
Помогаем медиа стать лучше с помощью машинного обучения и bigdata
Сергей Шалаев
Потому что вся часть, которая про монетизацию полный остой и этому нет никакого оправдания. Я приношу свои извинения, потому что я прекрасно вас понимаю и мне очень жаль, что все что касается монетизации сейчас выглядит не очень. Но на этой неделе мы закончили собирать реквесты по фичам и с понедельника мы начнем работу на тем, что бы все было ок. Если у вас есть любые проблемы с менеджером, который работает с вами напишите, пожалуйста на shalaev@surfingbird.com и я решу это. Спасибо
Ответить
Boosta.ru
Сайт об интернет-маркетинге: кейсы, советы, анализ ошибок, обзор сервисов
Andrei 8041
Статья шикарная, ребята!
Автор нереальный молодец. Стиль написания очень хорош.
Что касается заблуждений, то было тоже очень интересно почитать.
Прям заставило задуматься. Вот есть у меня блог Boosta.ru, и я там в сайдбаре вывожу "Популярные" статьи (виджет автоматически как-то выбирает, что популярное, а что нет - хотя делает это, как по мне, нифига неправильно)
Кроме этого под статьёй ещё вывожу 4 статьи с аналогичной тематикой.

Прочитав вашу статью, всерьёз задумался: "Может всё это неправильно?".....
Ответить
Relap
Помогаем медиа стать лучше с помощью машинного обучения и bigdata
Сергей Шалаев
мы в следующих статьях (не прям следующих, а через штуки 3-5) расскажем про смешивание алгоритмов. Может быть это наведет вас на интересные мысли. А пока можете попробовать relap.io

p.s отличный блог, кстати!
Ответить
Boosta.ru
Сайт об интернет-маркетинге: кейсы, советы, анализ ошибок, обзор сервисов
Andrei 8041
Спасибо за ответ. Буду ожидать:)
А сколько стоит Relap.io для начинающего блоггера?)

Спасибо, Сергей!
Ответить
Relap
Помогаем медиа стать лучше с помощью машинного обучения и bigdata
Сергей Шалаев
Наш сервис бесплатный. Тем более для маленьких сайтов. Мы зарабатываем деньги, если согласны, что бы в виджете была реклама (мы еще поделимся с вами выручкой от нее). Если не согласны, то и хер с ней. Пользуйтесь на здоровье так
Ответить
Boosta.ru
Сайт об интернет-маркетинге: кейсы, советы, анализ ошибок, обзор сервисов
Andrei 8041
Спасибо за ответ, Сергей
Пометил у себя, что нужно потестить ваш сервис)
Ответить
neuotq 5576
Жаль рекламная статья, а значит конкретики ждать не приходится. В целом со многим сразу соглашаешься, часть зависит от конкретного проекта.
Короче говоря интересней конкретный цифры и конкретные кейсы и особенно интересно читать подробные отчеты неудачных решений и как из них вырос удачный. Снова таки понятно что это касается конкретных проектов(либо конкретной отрасли/сферы)
Ответить
Relap
Помогаем медиа стать лучше с помощью машинного обучения и bigdata
Сергей Шалаев
да, это хорошая идея. Я думаю мы сделаем, что то типа как не надо делать и 2-3 альтернативы, если вам например очень хочется рекомендавать по тэгам или слишком сильно любите блок "популярное". Мы напишем, как прийти к компромиссу. И мы обязательно напишем про гипотезы, которые провалились
Ответить
SMMplanner
Панель управления публикациями в соц.сетях
Валентина Евтюхина
У меня аж кофе остыл, пока комменты читала. Нифига вы друг друга обкладываете:) но реально задумалась над использованием релапа, если его можно прикрутить к сайту на tida.cc то я возьму!
Ответить
Relap
Помогаем медиа стать лучше с помощью машинного обучения и bigdata
Дмитрий Шалашов
конечно, можно.
никаких приглашений, разрешений или денег не нужно - берите и пользуйтесь :)
Ответить
SMMplanner
Панель управления публикациями в соц.сетях
Роман Борзенко
то же и с контекстной рекламой - если я загуглил отзывы на мультиварку перед выходом в магазин, то смысла мне ее потом показывать целый месяц - ну никакого :)
Ответить
Газиз Исмаил
Статья очень интересная и наводит на мысли об изменении систем рекомендаций контента на своем блоге - site4business.net. Особо порадовали цифры приводимые в посте.

Автор молодчина и пожалуй я добавлю эту статью в свой дайджест лучших материалов по интернет маркетингу за 2015 год.
Ответить
Владимир Лавник
Все правильно написано, лучше использовать автоматизированные системы вывода рекомендаций.
https://lavnik.net/internet/luchshij-vidzhet-rekomendatsij-statej-relap-io/
Ответить
Выбрать файл
Блог проекта
Расскажите историю о создании или развитии проекта, поиске команды, проблемах и решениях
Написать
Личный блог
Продвигайте свои услуги или личный бренд через интересные кейсы и статьи
Написать

Spark использует cookie-файлы. С их помощью мы улучшаем работу нашего сайта и ваше взаимодействие с ним.