ПРОЕКТ

Скрапинг сайтов для получения структурированных контактных данных

Индивидуальная разработка программного обеспечения, Скрапинг данных с сайтов, Извлечение контактных данных, Разработка повторно используемого скрапера, Очистка и валидация данных, Экспорт в CSV и Excel, Экспорт в JSON, Данные, готовые для CRM

  • Отрасль: Исследование рынка
  • Хорватия Местоположение: Хорватия
  • Срок разработки: 10 недели
  • Технологии: Python, JavaScript / TypeScript (Node.js)
3 месяца

Этот клиент тратит много времени на сбор контактной информации и данных о компаниях с сайтов компаний, из публичных баз данных и онлайн-каталогов. Программное обеспечение представляет собой индивидуальное решение для скрапинга сайтов, использующее URL источников и выбранные поля. Оно извлекает контактные записи, очищает и проверяет их, а затем передает команде по исследованию рынка упорядоченные файлы. Повторное извлечение данных снижает зависимость от ручного ввода.

Краткое описание

Проблема

Клиент собирает и проверяет контактную информацию вручную.

Решение

Решение стало повторно используемым скрапером для извлечения, очистки, проверки и упорядочивания данных с определенных сайтов.

Результат

Программное обеспечение помогает сократить ручной сбор данных и повторяющуюся работу в процессах исследования рынка.

История клиента

Клиент - компания по исследованию рынка из Хорватии. Она собирает названия компаний, адреса электронной почты и номера телефонов с сайтов компаний, из публичных баз данных и онлайн-каталогов.

Набор данных также включает физические адреса и другую деловую информацию.

Команда готовит контактную информацию для анализа рынка, развития бизнеса, телефонных продаж и импорта в CRM-систему. Ручной сбор, повторные проверки и дубликаты отнимают время и создают дополнительную работу.

Запрос был простым: получать выбранные контактные поля из определенных источников, при необходимости повторять сбор и обеспечивать чистые структурированные файлы.

Решение построено вокруг экрана настройки источников, инструмента мониторинга выполнения, раздела очистки данных и настроек экспорта. Записи можно было проверить до использования.

Клиент хотел

  1. Получать контактные поля с сайтов, из баз данных, каталогов и онлайн-источников
  2. Запускать повторно используемый скрапер и получать его исходный код или блокнот
  3. Очищать, проверять, упорядочивать и удалять дубликаты из полученных записей
  4. Экспортировать структурированные данные в формате CSV, Excel, JSON или категоризированной рабочей книги

Почему готовое программное обеспечение не подошло

Готовые инструменты извлечения данных охватывают только часть задачи, а их описания не предусматривают точные поля клиента, правила очистки и выходные файлы в рамках единого процесса. Требовалось индивидуальное решение, объединяющее повторный скрапинг с валидацией, удалением дубликатов, упорядоченными рабочими книгами и повторно используемым кодом.

Обзор проекта

Решение разработано с учетом реальных источников, полей и правил клиента. На первом экране до запуска задаются URL сайтов, контактные поля и настройки повторного извлечения.

Для обработки данных из одного или нескольких источников создан инструмент мониторинга извлечения. В одном месте он показывает статус выполнения, URL источников, полученные записи и примечания о загрузке или доступе.

Затем записи очищаются и проверяются. Совпадения дубликатов, статус валидации, контактные поля и категории остаются видимыми, чтобы специалист по данным мог подготовить согласованный список контактов.

Последний экран разработан для практической передачи данных. Он экспортирует упорядоченные записи в формате CSV, Excel или JSON, а вместе с файлом сохраняет инструкции по настройке или примечания к процессу.

Скрапер использует повторно применимый код, который можно адаптировать к правилам клиента. Документация и учебные материалы помогают самостоятельно работать с системой.

Основные реализованные функции

  • Настройка списка сайтов и источников
  • Извлечение выбранных контактных полей
  • Повторно используемый и повторяемый скрапинг
  • Мониторинг выполнения извлечения
  • Сбор адресов электронной почты и телефонных номеров
  • Валидация и очистка записей
  • Обнаружение и удаление дубликатов
  • Категоризация контактных данных
  • Экспорт в CSV, Excel и JSON

Можно добавить

+ Повторные обновления базы данных Excel + Проверку электронной почты и доменов + Категоризацию на основе ключевых слов + Категоризацию на основе дат + Объяснение исходного кода + Дополнительные методы скрапинга

Кто еще может использовать это решение

У этих компаний похожие задачи, поэтому то же решение можно адаптировать к их источникам, полям и правилам передачи данных.

Компания, оказывающая бизнес-услуги

Задача Собирает данные о компаниях и контактную информацию из публичных сайтов и каталогов.
Как помогает решение Решение извлекает выбранные поля, удаляет дубликаты и подготавливает файлы для импорта в CRM или развития бизнеса.
Бизнес-услуги

Компания, оказывающая профессиональные услуги

Задача Формирует списки контактов с сайтов компаний и онлайн-источников.
Как помогает решение Решение собирает адреса электронной почты, телефонные номера и деловую информацию в структурированные файлы.
Профессиональные услуги

Технологический стек

Python

Скрапинг и автоматизация браузера

Python обеспечивает обход сайтов, парсинг страниц и извлечение на основе браузера.

JavaScript / TypeScript (Node.js)

Обработка структурированных файлов

JavaScript и TypeScript обеспечивают обработку структурированных файлов.

Scrapy

Обход и скрапинг сайтов

Scrapy (фреймворк для обхода и скрапинга сайтов) собирает записи из заданных источников.

BeautifulSoup

Парсинг HTML-страниц

BeautifulSoup (библиотека для чтения информации с веб-страниц) анализирует содержимое страниц и находит указанные поля.

selenium

Извлечение на основе браузера

selenium (инструмент управления веб-браузером) обеспечивает извлечение в случаях, когда для загрузки требуется браузер.

csv-parse

Чтение и парсинг CSV

csv-parse (библиотека Node.js для чтения CSV-файлов) считывает структурированные данные CSV.

maatwebsite/excel

Экспорт в Excel и CSV

maatwebsite/excel (пакет Laravel для файлов Excel и CSV) обеспечивает передачу упорядоченных таблиц.

jsonify

Обработка данных JSON

jsonify (библиотека JavaScript для работы с JSON) обрабатывает записи JSON, не изменяя глобальные объекты.

CSV, Excel, JSON

Передача структурированных данных

Эти форматы обеспечивают упорядоченные контактные записи для анализа, импорта в CRM и других бизнес-задач.

Интеграции

CRM systems

Решение экспортирует упорядоченные контактные записи в форматах, подходящих для импорта в CRM.

Excel

Решение экспортирует категоризированные контактные данные и упорядоченные рабочие книги в файлы Excel.

CSV files

Решение читает и записывает разделенные запятыми контактные записи для структурированного обмена.

JSON files

Решение предоставляет структурированные записи в формате JSON для систем, использующих этот формат.

Email verification service

Сервис проверки электронной почты может проверять адреса электронной почты и домены до передачи данных.

Результат

Настройка точных источников и полей до начала сбора

Первый экран делает запрос на извлечение конкретным. URL сайтов, списки источников и выбранные контактные поля определяют, что собирает скрапер.

Как это работает

  1. Программное обеспечение сохраняет указанные сайты и списки источников.
  2. Программное обеспечение сохраняет выбранные поля, например адрес электронной почты, номер телефона и почтовый адрес.
  3. Программное обеспечение сохраняет настройки повторного извлечения для будущих запусков.
  • Адреса электронной почты и телефонные номера доступны как отдельные контактные поля.
  • Выбранные поля могут включать физические адреса и деловую информацию.
Настройка источников и полей

Настройка источников и полей

Функции этого экрана
Скрапинг данных с сайтов Скрапинг адресов электронной почты Извлечение телефонных номеров Извлечение физических адресов

Просмотр прогресса извлечения и собранных записей

Инструмент мониторинга извлечения объединяет URL источников, статус выполнения и полученные записи. Предупреждения о доступе и примечания о загрузке делают работу источников видимой во время сбора.

До этапа очистки команда четко видит записи, полученные с одного или нескольких сайтов.

Как это работает

  1. Scrapy (фреймворк для обхода и скрапинга сайтов) собирает данные из указанных в списке источников.
  2. BeautifulSoup (библиотека для парсинга веб-страниц) считывает содержимое сайтов и извлекает заданные поля.
  3. Программное обеспечение показывает статус выполнения, URL источников, полученные данные и примечания о загрузке или доступе.
  • Извлечение поддерживает несколько страниц и сайтов.
  • Скраперы можно повторно запускать с повторно используемыми правилами.
Примечание: Правила сбора должны учитывать работу сайтов, условия использования платформ, законы о конфиденциальности, GDPR и другие применимые требования.
Мониторинг выполнения извлечения

Мониторинг выполнения извлечения

Функции этого экрана
Скрапинг данных с сайтов Извлечение данных

Подготовка более чистых контактных записей

Экран очистки позволяет специалисту по данным в одном месте проверить статус валидации, совпадения дубликатов и категории. До экспорта контактные записи остаются упорядоченными.

Индикаторы дубликатов помогают отличить повторные записи от пригодного списка контактов, а категории подготавливают данные для анализа или коммуникации.

Как это работает

  1. Программное обеспечение показывает в таблице контактов адреса электронной почты, телефонные номера и почтовые адреса.
  2. Программное обеспечение сравнивает записи и показывает совпадения дубликатов и статус валидации.
  3. Программное обеспечение назначает категории упорядоченным контактным записям.
  • Записи можно категоризировать по датам или ключевым словам.
  • Сервис удаления дубликатов данных может помочь устранить дубликаты.
Очистка записей и удаление дубликатов

Очистка записей и удаление дубликатов

Функции этого экрана
Упорядочивание контактных данных Предотвращение дубликатов Сервис удаления дубликатов данных Очистка больших наборов данных Категоризация данных Извлечение контактной информации

Передача данных в формате, используемом командой

Экран экспорта превращает проверенные записи в практический пакет для передачи на анализ или импорта в CRM. CSV, Excel и JSON обеспечивают гибкую передачу без изменения исходных полей.

Инструкции по настройке и примечания к процессу остаются связанными с настройками передачи, помогая команде понять, как работает извлечение.

Как это работает

  1. Программное обеспечение подготавливает упорядоченные контактные записи для вывода в CSV, Excel или JSON.
  2. Программное обеспечение создает сводку файла выбранного формата.
  3. Программное обеспечение предоставляет ссылки на инструкции по настройке или примечания к процессу.
  • Файлы CSV обеспечивают структурированный обмен.
  • Файлы Excel обеспечивают категоризированные рабочие книги.
  • Файлы JSON обеспечивают использование данных между системами.
Настройки экспорта и передачи данных

Настройки экспорта и передачи данных

Функции этого экрана
Экспорт списков контактов компаний Инструмент экспорта в Excel Управление данными CSV

Что обеспечивает решение

С помощью этого решения компания по исследованию рынка может:

  • Собирать определенные контактные и деловые поля из заданных онлайн-источников
  • Повторно запускать правила извлечения для регулярного сбора данных
  • Проверять статус валидации и совпадения дубликатов до передачи данных
  • Упорядочивать записи по категориям, например по датам или ключевым словам
  • Экспортировать чистые контактные данные для анализа и импорта в CRM
  • Поддерживать повторно используемый код, инструкции по настройке и примечания к процессу

Могут ли готовые системы выполнить эту задачу?

До разработки задача была сопоставлена с готовыми продуктами на основе их описаний.

Что необходимо клиенту API веб-скрапинга Zyte, Scrapfly, ScrapingBee Инструменты веб-скрапинга Octoparse, Oxylabs Программное обеспечение для извлечения данных Data Extraction Индивидуальное решение
Извлечение контактных полей из источников частично
Повторный запуск скрапера с исходным кодом — частично частично
Очистка записей и удаление дубликатов — частично
Экспорт структурированных контактных файлов
Соответствие правилам клиента: этапам, ролям, отчетам — — —
Все действия в одном месте — — —
Отсутствие ручных действий между программами частично — частично

На основе публичных описаний продуктов и их категорий.

Готовые продукты обеспечивают доступ к сайтам, обход, извлечение данных и передачу файлов, тогда как универсальное программное обеспечение для извлечения охватывает более широкий спектр задач.

Готового продукта достаточно, если задаче нужна только одна из этих возможностей. Этому клиенту требовалось собственное программное обеспечение, поскольку необходимые поля, правила очистки, категории, повторно используемый код и экспорты должны были работать вместе в одном месте.

Продукты описывают автоматизированный сбор, но для правил клиента по проверке, валидации, удалению дубликатов и передаче данных по-прежнему требуется индивидуальный процесс.

В заключение

В итоге решение было создано для сокращения ручной работы на пути от публичных онлайн-источников до чистых контактных файлов.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Думаете о создании похожей системы? Ознакомьтесь с ответами ниже, чтобы узнать, как вместе работают скрапинг, структурированные файлы экспорта и индивидуальные правила.

Нужно что-то похожее? Давайте обсудим
Хотите посмотреть другие проекты