Sсrареs – универсальный автоматический парсер на WordPress
Sсrареs — плагин для WordPress, который автоматически копирует содержимое с сайта на ваш сайт WordPress, один или несколько раз в выбранные промежутки времени.
Плагин парсит контент из ленты, по селекторам, по контенту, по шаблонам. Можно настроить расписание работы парсера.
Что можно парсить? Идеи для парсинга
- Новости
- Валюты
- Прогноз погоды
- Спортивные результаты
- Блоги и журналы
- Статьи
- Объявления доски объявлений
- Социальные профили
- Изображения и галереи
- Видео
- Кино
- Музыка и плейлисты
- Приложения и игры
- Книги
- Товары
- Вакансии и резюме по поиску работы
- Учебные программы
- Меню ресторанов
- Рецепты
- Билеты и расписание аэропортов
- Автобусные рейсы
- Отели
- Туры и отдых
- и многое другое
Вы можете парсить целые статьи по селектору или с помощью ленты RSS, парсить товары, новости и отдельные елементы на странице (курсы валют, прогноз погоды, различные информационные виджеты).
Scrapes поддерживает и автоматически заполняет все поля записи WordPress
- Тип записи
- Таксономия
- Название записи
- Контент
- Анонс
- Произвольные поля
- Обсуждение
- Автор
- Статус
- Дата
- Изображение
Вы прочитали, что работать придется с селекторами? Бояться этого не нужно, ведь выбор нужного селектора на странице сайта-донора происходит с помощью визуального инструмента. Вы просто наводите мышь на нужный блок и таким образом указываете плагину, что парсить.
Плагин Scrapes автоматически определяет селекторы на странице и выделяет их цветными блоками, вам остается только выбрать какой блок и в какое поле его вставить. Это может быть миниатюра записи, постраничная навигация, дата записи, цена и т.д.
Если возникли трудности с автоматическим определением селектора — всегда можно указать XPath вручную.
Возможности плагина
- Простой и интуитивно-понятный интерфейс настройки парсера.
- Работает в фоновом режиме — настройте плагин один и запустите автоматический парсинг.
- Высокая производительность
- Скачивание изображений — плагин загружает изображения в собственную медиабиблиотеку или загружает их с удаленного URL-адреса.
- Многозадачность — на сайте может одновременно работать несколько парсеров.
- Оптимальная конфигурация — плагин отлично работает на любых хостингах.
- Парсит контент на любом языке.
- Не создает дубликаты записей и товаров.
- Поиск и замена — в настройках парсера можно указать какие элементы на странице следует заменять или удалять, чтобы они не были опубликованы на вашем сайте в оригинальном варианте.
3 режима работы парсера
- Single — копирование/обновление отдельной страницы (с определенными элементами, например, виджет погоды, курсы валют, спортивные результаты и т.д.)
- Serial — копирование записей/статей/товаров (например, лента Твиттер, видео из Youtube, записи из Facebook, товары Amazon или AliExpress и др.)
- Feed — копирование контента из ленты RSS/ATOM (например, ленты разных сайтов, лента Flickr и т.д.)
Возможности парсера
- Поддержка произвольных полей.
- Поддержка произвольных типов записей и таксономий (куда будем публиковать наши записи).
- Поддержка магазина WooCommerce (тип товара, обычная цена, цена продажи, URL товара, текст на кнопке, артикул товара, управление запасами, избранный товар, галерея).
- Выбор визуальных селекторов на сайте донора.
- Автоматическое определение контента (заголовок, анонс, статья, теги, миниатюра, цена).
- Создание произвольных шаблонов для отображение контента
- Создание категорий.
- Планирование публикаций.
- Автоматический перевод контента на разные языки (в т.ч. на русский язык).
- Функция найти и заменить.
- Настройка цикла и паузы.
- Перезапись существующих записей.
- Возможность локализации плагина на любые языки.
- Фильтры контента (например: не пропускать товары с определенной ценой, статьи без миниатюры, фильтры по названию и т.д.).
Примеры работы парсера
Парсинг курса валюты (режим Single) и отображение на странице
Парсинг статей (режим Serial) на примере сайта Themeforest с последующей публикацией на сайте
Парсинг товаров с AliExpress и публикация в интернет-магазине WooCommerce (режим Serial)
Парсинг постов из Facebook с последующей публикацией на сайте (режим Serial)
Парсинг видео из Youtube (режим Serial) с последующей публикацией на сайте
Парсинг фото из Flickr (режим Feed) с последующей публикацией на сайте
Парсинг записей на примере TechCrunch (режим Serial) с последующей публикацией на сайте
Парсинг постов из Twitter и публикация на сайте (режим Serial)
Парсинг товаров с Amazon и публикация в интернет-магазине WooCommerce (режим Serial)
Ответы на вопросы
Поддерживает ли плагин работу с вариациями в WooCommerce?
Ответ от автора плагина:
It can create «Simple», «External» and «Virtual» WooCommerce products automatically from the target you want but «Grouped», «Variable» and «Downloadable» product types and product attributes are not fully supported currently.
Т.е. можно парсить простые, внешние и виртуальные товары.
А сгруппированные, вариативные и скачиваемые поддерживаются не полностью.
Ответ от автора сайта:
Пробовал парсить товары с атрибутами в WooCommerce. Атрибуты не вставляются (нужно вручную товарам задавать атрибуты). Плагином хорошо парсить/обновлять простые товары и статьи.
Файлы:
- Инструкция на английском (.PDF)
- Русская локализация (файлы .po, .mo, инструкция .txt)