Проект Ковчег: мы украли весь русскоязычный сегмент YouTube

Сижу, листаю каналы и смотрю новости, жадно поглощая информацию от разных блогеров, слушая разные мнения на счёт тех или иных событий и при этом составляя своё о происходящем в мире...А иногда ко мне приходят друзья, и мы также залипаем на полвечера, смотря обзоры игр или их прохождение. Или же вот мелким по утрам спокойно включаю мультики и занимаюсь своими делами.

И вот однажды, за очередными дружескими посиделками, мы с парнями обратили внимание на то, что еще лет 5 тому назад, Ютуб был совсем другой. В нем не было ни политической, ни экономической подоплеки. Зато сейчас он претерпел массу изменений: больше политики, больше фэйкньюсов о происходящих событиях, больше разных крупных блогеров. А Санёк, который недавно прилетел из Польши, рассказал, что когда он там на местном вай-фае подрубил Ютуб и ввел в поисковик «новости России» увидел совершенно удивительный контент. Видеоролики о российской агрессии, русофобские упоминания и крайне непонятный высказывания в отношении нашей страны. И еще, что интересно: весь Ютуб разделился буквально на 2 лагеря, одни «ЗА» другие «ПРОТИВ» — у всех контент какой то радикальный. Кстати, еще заблокировали канал с играми, который мы всегда с парнями смотрели, по причине «....» (да без причин и аргументации, хотя там ничего такого и не было)

На фоне всего происходящего, интересно бы было знать:а что будет, если из-за напряженной обстановки нашей страны с Западом нам и вовсе заблокируют Ютуб.

Возникла одна неприятная мысль: а что если в один прекрасный момент нельзя будет зайти на Ютубчик и найти мемный видос.

Идея: Может стоить сохранить весь русскоязычный Ютуб? Не как Рутуб (которым владеет Газпром Медиа, что #почтиполитика), а такой пацанский, простой... У Санька (любителя мифов, легенд и церковных сказаний, а также великого ML-щика и путешественника) пришла гениальная идея для названия:

«Ковчег. Цифровое наследие». Мол будем спасителями во вселенском потопе и сохраним, что нужно российскому зрителю.

План действий был максимально простой, что даже «поместился на салфетке»:

1. Ретроспектива,
2. Оценка объема данных русскоязычного контента и инвестиций,
3. Оценка времени на создание сайта и парсеров.
4. Реализация

Ретроспектива

4 марта Google приостанавливает рекламу в своих сервисах и в YouTube

10 марта YouTube приостанавливает монетизацию для российских блогеров

21 марта в России подают в суд на Ютуб. С требованием разблокировать каналы.

5 апреля Массовая миграция блогеров из России на Rutube, Яндекс-Дзен, ЯRUS и Yappy (последние 2 — новые российские соцсети, которые появились в 2021 — 2022 году)

15 апреля Совет по правам человека при президенте России допустил возможность блокировки хостинга для размещения видео YouTube. При этом отметил, что «Россия не сможет использовать эту площадку для распространения правды».

18 апреля — 29 сентября Ряд блокировок крупных российских youtube-каналов и несколько заявлений о деятельности и значимости YouTube от политиков и бизнесменов.

17 сентября Российский Арбитражный суд арестовал счета и имущество ООО «Гугл». Сумма активов превысила 1 миллиард рублей.

2 ноября Несколько крупных государственных деятелей подали прошения в РКН и Прокуратуру с требованием закрыть сервис.

14 ноября — 14 января закрытие пула новостных, развлекательных и информационных каналов разработчиками YouTube.

18 января Очередное заявление Пригожина (уже, кстати, ни первое и даже не второе) о том, что YouTube пора закрыть.

62 млн.россиян хотя бы раз в месяц смотрели YouTube. Из них 44 миллиона делали это на самой платформе, а остальные смотрели эти видео в ВК, Дзене, ЯRUS, поисковике Яндекс и др.

Основной контент создают TV-каналы, кинокомпании, музыкальные лейблы, спортивные организации и видеоблогеры.

Возраст российской аудитории YouTube: 12-17 лет — 10%, 18-24 года — 18%, 25-34 лет — 28%, 35-44 года — 20%, 44-54 года — 15% и 55-56 лет — 9%.

Мужчины потребляют видео-контента больше женщин и просматривают в основном видео про гаджеты, электронику, компьютерные игры, спорт, автомобили, новости, хобби и науку. Юноши от 18 до 24 лет смотрят видео чаще всего, в среднем 122 ролика или 254 минуты в месяц, почти половина использует для просмотра смартфон. (интересна статистика этих же когорт на порнохабе)

Сколько весит Ютуб?

Дальше надо было оценить, сколько весит русскоязычный контент в Ютубе и что нам нужно для того, чтобы его перекачать на наши сервера.

Вот тоже кусочек статы:

1. Мы сграбили метаданные с ютуба и аппроксимировали результаты. Получили объем ютуба в 280 Петабайт. Хранение этих данных выйдет примерно в 500 миллионов в месяц.
2. Решили вычленить только российский сегмент (то есть тот, который в Ютубе маркируется как RU). Это около 5,3%. Хранить такое будет стоить 26,5 миллионов в месяц. Стоит ли хранить весь этот контент? Возможно в перспективе.
3. Решили в первую очередь спасать массовый, востребованный контент. Для этого посчитали только каналы от 10 тысяч подписчиков. Таких получилось всего 26413 штук. А видео на них чуть больше 13 миллионов. Чтобы хранить такой объем нам потребуется около 4 Петабайт. И прирост на 200 Терабайт в месяц. На этом и остановимся.

4. Сколько сейчас русских блогеров с большим кол-во подписчиков:

ИТОГО:

Ресурсы

У нас было (два пакетика...):

— 5 толковых друзей-коллег-разработчиков

— безумное желание сделать что-нибудь полезное, чем мы сами будем пользоваться и принесем пользу обществу

— ресурсы (у 3 из 5 был успешный бизнес связанный с IT, а у остальных неплохие ЗП, от которой можно оторвать кусочек). Они нужны были на покупку серверов, холодное пивко, рекламу и мотивацию). 10 000 рублей мы отдали дизайнеру за создание дизайна сайта Ковчега.

Процесс

За день мы получили дизайн. Еще за пару дней выявили топовых блогеров, которых стоит спарсить, чтоб ресурс ожил. Это уже выяснили на этапе объемов. В подборку добавили и с пару десятков своих любимых (кого явно быстро смогли вспомнить). Договорились с серверами и сели писать парсеры.

Вуаля, все готово! Запустили парсеры перекачивать весь русскоязычный ютуб на наши сервера. День, второй и наш ресурс постепенно наполняется годным контентом.

Финалочка

Не тяну кота за причинные места.

Еще раз название: Ковчег. Цифровое наследие

Ссылка на ресурс: https://youtube0.ru/

Наши мысли по поводу российского видео: https://youtube0.ru/manifest

Что у нас будет? Топ-контент из русскоязычного Ютуба!

Для чего? Да просто так, чтобы если нас отключат, мы не потеряли связь с реальностью, продолжали находить полезные обучалки, обзоры игр, титьки, блогеров, которых мы любили, мужики с обзорами на ремонт тачек, хэндмейд, хитрые схемы западных заговорщиков и мнения разных людей на русском языке.

В целом у меня всё!

Кому зашла идея — заходите юзайте и оставляйте ниже отзывы. Со временем будем допиливать.