Парсер новостей
С помощью компонента Парсер новостей, вы можете парсить новости с различных источников (на данный момент с Вести и РИА) и добавлять их на свой сайт. Есть несколько способов добавления, автоматический, ручной и по крону (Планировщик).
Автоматический - это когда при нажатии автоматом добавляются новости на сайт.
Ручной - это когда загружается форма добавления новости с уже заполненными полями и вы можете отредактировать её и нажать Сохранить.
Добавление по крону - это когда из созданных фильтров, планировщик парсера добавляет контент на ваш сайт, без вашего участия.
Парсер получает заголовок, текст и одну фотографию. Фотография загружается на ваш сайт со всеми пресетами, которые есть на вашем сайте. Из тела новости, получаем только текст, все фотографии или видео удаляются.
Фильтры
Вы можете создать фильтры, что бы фильтровать спарсенные новости. Например создаете фильтр с текстом "Москва" тогда добавляются новости связанные с Москвой или же как сейчас актуально, создаёте фильтр с текстом "Олимпиада" или "РИО" и получите новости олимпиады.
Категории
При парсинге с внешнего сайта мы получаем категории новостей, в компоненте есть удобный настройщик категорий, где вы можете указать какие новости должны попадать в какие категории.
Кэш
Что бы не грузить сервер, при парсинге, данные сохраняются в кэш, следующие загрузки происходят из кэша. Это обеспечивает быструю работу компонента.
При нажатии на кнопку Очистить кэш - данные из кэша удаляются и компонент парсит новые данные.
Как подключить дополнительные источники?
Дополнительные источники создаются платно. Перед заказом отправьте ссылку на сайт источника сюда my-instantcms@mail.ru, после чего получите ответ, получиться спарсить или нет.
Цена одного источника: 400 руб
(!) для просмотр видео обзора нажмите на вкладку Видео
Установка компонента
Админка - Компоненты - Установка пакет дополнения - выберите архив и нажмите "Продолжить".
На следующей странице выводиться информация о компоненте, ознакомитесь и нажмите "Установить".
Далее необходим ввести FTP данные и нажать "Продолжить"
ВНИМАНИЕ:
Поле «Путь папки сайта» по умолчанию заполнено / — вам нужно прописать путь к папке вашего сайта, обычно это /public_html/ или /htdocs/
Если вы хотите установить компонент на Денвер и не знаете FTP данные. Вам надо открыть архив который скачали, внутри архива есть папка Package — загрузить данные от туда в папку вашего сайта, например на z:\home\site.ru\www\
Лицензионное соглашение
Перед покупкой, установкой и использованием дополнений сайта My-instantCMS.Ru (далее Наш сайт) внимательно ознакомьтесь с условиями данного Лицензионного соглашения. Приобретая, устанавливая, копируя или иным образом используя расширения нашего сайта, Вы тем самым принимаете на себя условия настоящего Лицензионного соглашения и становитесь пользователем (далее Пользователь). Если Вы не согласны с условиями данного Лицензионного соглашения, Вы не можете использовать дополнений нашего сайта. Установка и использование дополнений, купленных или скаченных на нашем сайте означает Ваше полное согласие со всеми пунктами настоящего Лицензионного соглашения.
Авторские права
Все дополнения на нашем сайте, является собственностью владельца данного сайта.
При покупке дополнения, Вы получаете право на использование приобретённого только на одном сайте, если у вас несколько сайтов, необходимо купить дополнительную лицензию для каждого сайта (действуют определенные скидки).
Вы не имеете права передавать или распространять копии купленных дополнений, размещать их для скачивания на других сайтах.
Как продавать дополнения, если они больше не нужны?
Дополнения Вам больше не нужны, можно их продать, соответственно Вы теряете права на их использование. Для продажи нужно:
- Уведомить автора дополнения о том, что продаете права на использование дополнения другому лицу.
- Предоставить email покупателя, что бы автор смог удалить ваш email из списка покупателей, и внести другого пользователя.
- Удалить дополнение с вашего сайта, если это готовая сборка сайта, удалить надо сайт целиком.
Деньги не возвращаются:
- Все наши товары разработаны для версии 2, будьте внимательны, некоторые пользователи по ошибке покупают наши разработки для 1 версии (не будут работать, и адаптировать нет возможности)
- Перед покупкой изучите товар, посмотрите видео и демо, задавайте вопросы. Мы гарантируем только заявленный функционал
За нарушение условий соглашения Администрация имеет право без предварительного уведомления блокировать лицензию пользователя.
Администраторы сайта оставляют за собой право внести изменения в настоящее лицензионное соглашение в любой момент.
Рекомендуем
это ваш компонент?
парсер новостей как нам купить?
ну скиньте парсер мы потестируем или купим
По ищу другие варианты
Что нового?
— Исправлен баг с кроном
— Исправлен баг с дублирующем контеном
— РИА перешел в https — по этому в место него теперь сайт Интерфакс
— Вроде исправил баг с полями (не проверял), когда у вас поля от сторонних разработчиков
— Добавил возможность удалить/изменить фильтр prnt.sc/cbkj7h
— Другие мелкие исправления
и файл \system\controllers\mypars\model.php строка 354
Готов купить источники для парсера короче мне он нужен
что для этого нужно и сколько стоит
Бесплатных источников два, вести и РИА
Или периодический будет какой то простой конкурс, где случайно выберется победитель
Заранее спасибо!
Это ошибка когда появляется?
Шаблон default
/templates/default/controllers/parsing/backend/filter.tpl.php on line 6
Ошибка в запросе БД:
Таблица 'host1639526_blogpost.bp_con_news_fields' не существует
SELECT i.id, i.options
FROM bp_con_news_fields i
WHERE (i.name = 'photo')
LIMIT 1
Последние вызовы:
cmsModel->getItem() @ /system/core/model.php: 1366
cmsModel->getItemByField() @ /system/controllers/parsing/backend.php: 19
backendParsing->__construct() @ /system/controllers/admin/frontend.php: 336
admin->loadControllerBackend()
call_user_func_array() @ /system/core/action.php: 29
cmsAction->__call() @ /system/controllers/admin/actions/controllers_edit.php: 34
actionAdminControllersEdit->loadControllerBackend() @ /system/controllers/admin/actions/controllers_edit.php: 34
actionAdminControllersEdit->run()
call_user_func_array() @ /system/core/controller.php: 507
cmsController->runExternalAction() @ /system/core/controller.php: 425
cmsController->runAction()
Спасибо автору за дополнение.
Пока просто интересуюсь, заказывать «источник» для парсинга буду в начала 2019.
Источник: bbc.com, а точнее www.bbc.com/ukrainian/ukraine_in_russian — получится? какая стоимость? Можно в лс…
— Почему одно фото? Нельзя парсить все фотографии и видео которые находятся на странице?
— Если необходимо парсить в том числе ссылки с анкорами которые в новостях, но ведущие не на сайт bbc.com — это возможно?
Спасибо.
1) не выбора автора отсутствует.
2) по этому ссылке парсит пункт Статьи или ВВС журнал? не нашел там новости
3) к сожалению только одно фото. Из текста всё вырезается, фото, видео, музыка и т.д.
2. www.bbc.com/ukrainian скрин прикрепил, как-то странно у них блоки используются (в идеале конечно и новости, статьи, журнал)…
3. очень-очень жаль
2) если парсит от сюда www.bbc.com/ukrainian/news думаю получиться
Написал через форму обратной связи!
Второй день жду ответ!
Вопрос по источникам.
Вести… Список новостей получаю, но при попытке спарсить получаю ошибку «Не удалось получить заголовок».
РИА Новости… Даже не получаю список новостей. Просто ничего. В списке новостей пишет «Нет элементов для отображения».
Такая ситуация и со своими ключами, и при выборе «Все»
А так заметил что фото не стали грузиться через парсер планировщика, поэтому возможно данная функция будет удалена из компонента
Поможет переустановка, просто удалите и заново установите
Очистка кэша не помогает.
InstantCMS v2.12.2
Недавно делал обновления, где исправил эту проблему