Создание системы для парсинга телеграм-каналов с целью лидогенерации в Битрикс24

После утверждения алгоритма работы, мы приступили к разработке самого модуля. Его основной задачей стало выполнение ключевой функции — парсинг Телеграм-каналов и передача собранных данных в CRM-систему.

Алгоритм работы модуля:

1. Преобразование данных из Телеграм-каналов в RSS или JSON: На начальном этапе мы использовали онлайн-сервис tg.i-c-a.su, который позволял извлекать данные из открытых Телеграм-каналов и преобразовывать их в RSS или JSON формат. Это упрощало дальнейшую работу модуля, предоставляя доступ к последним 100 сообщениям из указанных каналов. Однако данный сервис стал недоступен без использования VPN и не поддерживал работу с закрытыми каналами. В результате мы перешли на собственный API для Telegram на основе MadelineProto.
2. Извлечение сообщений: Модуль извлекает необходимые данные, обращаясь к заданным ссылкам. Для более точного анализа и корректного отображения в Битрикс24 из текста удаляются все теги и эмодзи.
3. Идентификация ключевых слов и фильтрация по стоп-словам: С помощью регулярных выражений модуль ищет ключевые слова в извлеченных сообщениях. Если такие слова найдены, сообщения проверяются на наличие стоп-слов, чтобы исключить нерелевантный контент. Вся подходящая информация собирается в массив, при этом система следит за тем, чтобы не допускать дублирования данных.
4. Передача данных в Битрикс24 и формирование лидов: Отфильтрованные данные передаются в Битрикс24. Для коробочной версии Битрикс24 была настроена автоматическая генерация элементов в специально разработанном смарт-процессе. Ответственное лицо получает уведомление о создании нового лида, чтобы оперативно начать его обработку.

Результат

Разработанный модуль для Битрикс24 значительно упростил процесс лидогенерации для компании. Автоматизированный парсинг Телеграм-каналов позволил оперативно находить потенциальных клиентов по заданным критериям, что облегчило работу отдела продаж и повысило эффективность обработки лидов. Благодаря учету всех ограничений и уникальности данных система работает стабильно и надежно. Кроме того, удалось сформировать базу клиентов, регулярно публикующих заявки, что способствовало развитию долгосрочного сотрудничества с ними.