Инструкция пользователя

Как собрать самые свежие новости с любого сайта, даже не имеющего RSS, объединить их по тематикам и сделать контент уникальным

Назначение системы

Главное назначение системы - сэкономить Вам огромное количество времени, которое раньше уходило на работу по сбору и обработке новостей.

Пользоваться системой легко и удобно. Уже через 5 минут после прочтения этой инструкции Вы сможете начать собирать новости с любого сайта.

Ознакомьтесь с тем, как это можно сделать:

Как начать получать новости с сайтов
Как объединить новости с большого количества разных сайтов по тематикам
1. Создание группы новостей
2. Добавление ленты новостей в группу
Как поместить собранные новости к себе на сайт.
Как обеспечить уникальность контента
1. Выдача доступа рерайтеру
2. Как пользоваться подсистемой для рерайтеров
Как защитить свою информацию от злоумышленников

Перед началом работы зарегистрируйтесь. Это бесплатно.

1. Как начать получать новости с сайтов, даже не имеющих RSS-канала.

Создание новостной ленты

Получением новостей с интересующего Вас сайта занимается "лента новостей".

С помощью ленты новостей Вы можете получать новости с любых сайтов, даже не имеющих RSS - лента новостей умеет выбирать новости и с обычной HTML-страницы.

Это позволит Вам задействовать огромное количество сайтов, не имеющих RSS и обладающих большим количеством прекрасного тематического контента.

На любом новостном сайте новости имеют одинаковую организацию: сначала идет список новостей, а из него следует ссылка на полный текст новости.

Так это обычно выглядит:

RSS лента новостей в firefox (содержит несколько новостей и ссылки на их полные тексты в формате RSS)	HTML лента новостей (содержит несколько новостей и ссылки на их полные тексты)	Полная новость (обычно открывается на отдельной странице и содержит только одну новость)

Рис.1 Пример списка новостей и полного текста новости
Также как и новости на сайте, лента новостей разделена на две части:

отвечающую за список новостей и
за полный текст новости

Создать ленту новостей очень легко: перейдите в меню "Ленты новостей" и нажмите "Создать ленту новостей".

Рис.2 Страница "Ленты новостей"

На странице создания ленты новостей введите следующие поля и нажмите "Создать":

URL страницы со списком новостей (линк)
Маску списка новостей (про маски читайте ниже)
Маску полного текста новости
Время хранения новостей в системе (время жизни новостей)
Период получения новостей с сайта (период парсинга)
Оставлять ссылки в теле новостей (по умолчанию текст чистится от ссылок)

Рис.3 Создание ленты новостей

По умолчанию ленты новостей создаются в тестовом (отладочном) режиме, предназначенном для проверки маски и правильности извлечения новостей. О том, как перевести ленту в рабочий режим читайте ниже.

Маска - это шаблон, по которому система отыскивает новости на указанном Вами сайте.

Пусть, например, в HTML-коде страницы новостного сайта заголовок новости оформляется тэгами h2:

<h2>Заголовок новости</h2>

Тогда маска для него будет следующей:

<h2>{title}</h2>

Т.е. маска показывает типичное оформление, в котором содержится элемент новости.
Система romb.ru понимает (умеет отыскивать на странице) несколько элементов новости.

Для списка новостей это:

{link} – URL страницы полного текста новости (обязательный элемент)
{title} – заголовок новости (обязательный элемент)
{skip} - пропуск блока (описан ниже)

Для полного текст новости:

{text} – полный текст новости (обязательный элемент)
{skip} - пропуск блока

Если в приведенном выше примере тэги h2 не изменяются никогда, то в другом оформлении могут быть элементы изменяющиеся от новости к новости. Это, например, дата выхода новости или название источника, которые не важны для получения основных новостных элементов.

Специальный элемент {skip} служит для того, чтобы пропустить изменяющееся оформление.

Вот типичная маска списка новостей:

<a href="{link}">{title}</a>
Дата: {skip}
<p>
<img src="{image}" align="left"> {description}
</p>

Для списка новостей предпочтительнее находить в качестве источника ленту RSS, так как формат RSS универсален, то для списка новостей в таком формате подходит одна и та же маска. Если нажать на ссылку "Источник - RSS", то автоматически маска списка новостей заполнится маской подходящей для всех RSS лент:

Создание маски

Для того, чтобы создать маску Вам потребуется знание элементарных основ HTML. Ваша цель - выделить из исходного HTML-текста страницы блок новости.

Откройте исходный текст страницы со списком новостей:

Рис.4. Получение исходного кода новостной страницы

Найдите в нем блок с новостью вбив заголовок в поисковую форму:

Рис.5. Поиск новостного блока в исходном тексте страницы

Выделить блок, оформляющий новость, скопируйте его в Ваш любимый текстовый редактор и укажите, что является заголовком новости, что ссылкой на ее полный текст, а что аннотацией:

<table border="0" cellspacing="0" cellpadding="0">
<tr>
<td colspan="2">
<b><a href="/news/rubrics/v_moskve_azartnaya_moshennica_razvodila_muzhchin_na_pokupku_talonov_na_benzin/" class="y">В Москве азартная мошенница "разводила" мужчин на покупку талонов на бензин</a></b><br />
<span class="news_header" style="font-size: 11px; color=#000"><span class="date black">18.09.2008,</span>  <span class="sub" style="color=#000"></span></span>
<font color="#000"><p>В столице задержана мошенница, продававшая владельцам автомобилей недействительные талоны на бензин. Один из пострадавших, потерявший на организованной дамой афере 7 млн рублей, написал заявление в милицию. Как сообщает пресс-служба ГУВД по г. Москве,... </p></font>
<br /><br />
</td>
</tr>
<tr>
<td colspan="2">
<div class="spacer"></div>
</td>
</tr>
</table>

Рис. 6. Исходный код блока со списком новостей

Замените

Заголовок новости (оранжевый) - тэгом {title}
URL на полный текст новости (голубой) - тэгом {link}
Изменяющиеся части шаблона (красный) - тэгом {skip}

Результирующая маска будет выглядеть следующим образом:

<table border="0" cellspacing="0" cellpadding="0">
<tr>
<td colspan="2">
<b><a href="{link}" class="y">{title}</a></b><br />
<span class="news_header" style="font-size: 11px; color=#000"><span class="date black">{skip}</span>{skip}style="color=#000"></span></span>
<font color="#000"><p>{skip}</p></font>
<br /><br />
</td>
</tr>
<tr>
<td colspan="2">
<div class="spacer"></div>
</td>
</tr>
</table>

Рис. 7. Готовая маска списка новостей

Дату новости, подсказки к картинкам, ненужные URL'ы и все другие изменяющиеся части шаблона замените тэгом {skip}.

Маска готова. Осталось только скопировать ее в систему.

Далее тоже самое для полной новости, смотрим куда указывают ссылки из списка новостей, обычно шаблон публикации полных новостей всегда один:

        <table border="0" cellspacing="0" cellpadding="0" style="width: 100%">
            <tr>
                <td style="height: 8px; width: 8px"><img src="/images/cms/lu.gif" border="0"></td>
                <td style="width: 100%" bgcolor="#dfd7cc"></td>
                <td style="height: 8px; width: 8px"><img src="/images/cms/ru.gif" border="0"></td>
            </tr>
            <tr>
                <td style="width: 8px" bgcolor="#dfd7cc"></td>
                <td bgcolor="#dfd7cc" class="content"><font color="black">

                <h1>В Москве азартная мошенница "разводила" мужчин на покупку талонов на бензин</h1>


<p><b>18.09.2008</b></p>
<index>

<p align="justify">В столице задержана мошенница, продававшая владельцам автомобилей недействительные талоны
на бензин. Один из пострадавших, потерявший на организованной дамой афере 7 млн рублей, написал заявление в
милицию.</p><p align="justify">Как сообщает пресс-служба ГУВД по г. Москве, мошенницу – 37-летнюю Татьяну
удалось задержать, ей предъявлено обвинение. По словам заместителя начальника СО при ОВД по Ломоносовскому
р-ну, капитан юстиции Темура Фидарова, эта гражданка выбрала достаточно оригинальный способ зарабатывать
деньги. В казино или в дорогих кафе она знакомилась с потенциальной жертвой. Выясняла, есть ли у мужчины
автомобиль. Когда знакомый подтверждал наличие «железного коня», то Татьяна предлагала приобрести талоны на
бензин АИ92 и АИ95 по 19 рублей за литр. Потерпевшие покупали талоны и в этот же вечер заезжали на
автозаправочную станцию. Там они без проблем заправляли машины.</p><p align="justify">По прошествии
нескольких дней Татьяна перезванивала новоиспеченным знакомым и предлагала купить большую партию талонов. Не
о чем не подозревающие люди с радостью шли на такую выгодную сделку. Но купить на них бензин они уже не
могли. Мошенница в это время исчезала и на связь не выходила. Все деньги, заработанные преступным путем, она
тратила на игры в казино, – рассказали в ГУВД.</p><p align="justify">В настоящее время задержанной
предъявлено обвинение по трем эпизодам. Всех граждан, пострадавших от действий мошенницы правоохранители
призывают обращаться в дежурную часть ОВД по Ломоносовскому району по телефону: 8-499-132-88-50.</p>

</index>
<p>Источник: http://www.nr2.ru/automobile/196855.html</p><br><h2>Реклама:</h2><hr>

Рис. 8. Исходный код блока с новостью

Замените

Заголовок новости (коричневый) - тэгом {text}
Изменяющиеся части шаблона (красный) - тэгом {skip}

Результирующая маска будет выглядеть следующим образом, причем не нужные участки тоже можно убрать тегом {skip}, а в начале и конце, маска в любом случае обрезается, и без тегов пропуска {skip}:

Рис. 9. Готовая маска для полных новостей

Проверка правильности масок

Сразу после создания ленты новостей система попытается собрать новости с сайта. Если в масках допущена ошибка, рядом с фидом появится значок красного треугольника, сигнализирующий об ошибке при обработке маски.

Рис.10. Наличие проблемы в маске

Причина проблемы - неверно заданная маска, либо изменения, произошедшие в вёрстке новостного сайта.

Если такое произошло, выберите ленту новостей нажав на ее название в списке лент, затем измените маску и нажмите "Редактировать", затем "Парсить". Система обновит маски и проведет повторный сбор новостей.

Вот пара советов, которые помогут Вам быстро найти проблему в маске:

1) Некоторые плагины портят исходный код страницы

Некоторые плагины, например, Firebug для браузера Firefox, изменяют html-код страницы ("исправляют" ошибки, допущенные на сайте), в результате чего исходные тексты страницы в плагине и на сайте не совпадают. Перенося html из плагина в маску, Вы переносите исправленный текст, а система берет с сайта html-код без изменений. В результате маска не срабатывает.

2) В маске отсутствуют обязательные тэги

Проверьте, точно ли в Ваших масках присутствуют обязательные тэги. В маске списка новостей обязаны присутствовать тэги {title} и {link}. В маске полного текст новости должен быть тэг {text}.

При создании и редактировании ленты новостей Вы можете указать дополнительные параметры:

Оставлять ссылки в теле новостей и
Удалить новости

Это работает следующим образом.

Если маски заданы верно, система выведет количество и список собранных с ленты новостей:

Рис.11.Список собранный с ленты новостей

"Оставлять ссылки в теле новостей" говорит системе о том, что если она встретит в полном тексте новости ссылку, то должна её оставить в неизменном виде. В ином случае ссылка удалится из тела новости.

При отмеченном признаке "Удалить новости", список полученных до этого момента новостей очистится при изменении любых данных ленты новостей.

Изменение текста полученных новостей

Если Вы обнаружили некорректные новости и хотите изменить их текст, выберите соответствующую ленту и в ней найдите некорректную новость.
Система выведет подробную информацию о новости:

Ссылку на полный текст (Линк)
Заголовок (Название)
Время последнего обновления (Обновлялось)
Полный текст новости (содержимое)

Нажмите "Редактировать" и внесите изменения в полный текст (содержимое).

Рис.12. Редактирование полного текста новости

Перекладывание картинок из новостей на Ваш сайт

Новости могут содержать картинки. Каждая картинка - это внешняя ссылка с Вашего сайта на сайт, с которого берется изображение. Как Вы понимаете, это не очень хорошо, т.к. понижает рейтинг Вашего сайта в поисковиках.

Для того, чтобы уменьшить количество внешних ссылок, используйте возможность системы по перекладыванию картинок на указанный Вами FTP-сервер. Теперь картинки будут браться с Вашего сайта, а не с сайта-источника новости и не будут считаться как внешняя ссылка.

Перейдите в раздел "Группы", затем выберите группу и нажмите "Настройки"

Рис.13. Настройка закачки картинок

В разделе "Закачка картинок на Ваш FTP" введите:

Адрес FTP-сервера (FTP URL), например, domain.com
Каталог на сервере, в который будут складываться картинки (FTP path), например, htdocs/images
Логин (Login) для доступа к Вашему FTP-серверу
Пароль (Pass)
URL веб-сервера, где сложены картинки, соответствующий FTP path (URL), например, http://domain.com/images

После этого все картинки из новостей будут автоматически перекладываться на Ваш FTP-сервер в указанный каталог с автоматической подменой адреса источника картинки.

Переключение ленты в рабочий режим

Тестовый (отладочный) режим ленты новостей служит для проверки работоспособности маски и отличается от рабочего тем, что

Тестовая лента обслуживается бесплатно
В тестовом режиме система получает с сайта-источника только 5 последних новостей
Запуск процедуры получение новостей с сайта источника происходит только в ручном режиме (а не в автоматическом по расписанию, как для рабочего режима) по нажатию на кнопку "Парсить"
Если нет ни одной ленты, находящейся в рабочем режиме, то отсутствует возможность подключения рерайтера для придания тексту новости уникальности
Картинки тестовой ленты не закачиваются на Ваш сайт.

Для того, чтобы перевести ленту в рабочий режим, перейдите в раздел "Ленты новостей", отметьте ленты, которые хотите перевести в рабочий режим и измените их режим на "Рабочий".

Ежедневная стоимость обслуживания ленты зависит от периода автоматического получения новостей, выставленного в настройках лент.

Рис.14. Выбор периодичности парсинга в сутки

2. Как объединить новости с большого количества разных сайтов и сгруппировать их по тематикам.

Создание группы новостей

Если Вам нужно вывести на своем сайте новости одной тематики, взятые с нескольких сайтов, создайте для этого несколько лент новостей и получите из них единый новостной поток (группу).

Группы объединяют в себе новости с нескольких сайтов и поэтому Вы сможете показывать на своем сайте гораздо больше новостей.

Создать группу довольно просто:

Укажите параметры группы
Присоедините ленту новостей к группе

Для того, чтобы создать группу нажмите "Создать группу" на странице "Группы":

Рис.15. Создание группы новостных лент

Введите

Название группы
Ключевые слова
Время жизни новостей
Признак отбора новостей по ключевым словам
Признак включения предварительной модерации новостей (рассмотривается далее)
Данные FTP-доступа для перекладывания картинок из новостей на Ваш сайт

Группа объединяет в себе новости из нескольких лент новостей. Вы можете отфильтровать новости группы по ключевым словам.

Система добавляет новость в группу только тогда, когда в ней содержатся указанные Вами ключевые слова.

Таким образом, если включённая в группу лента новостей поставляет новости, например, про различным маркам автомобильных шин, то с помощью фильтра Вы можете выбрать из него новости только по одной конкретной марке.

С фильтром Вы прицельно бьете по новостям и точно попадаете в свою тематику. Поисковики видят, что Ваш сайт рассказывает про конкретную небольшую нишу, больше ему доверяют и дают больший рейтинг. За счет этого Ваши позиции в результатах поисковой выдачи поднимаются и увеличивается количество посетителей на сайт.

Добавление ленты новостей в группу

После того как группа создана, добавьте в неё ленты новостей. Для этого перейдите в ленты новостей, выберите группу из выпадающего списка "Группа" и нажмите "Редактировать".

Второй путь - перейти на страницу "Ленты новостей", отметить нужные ленты, в нижней части экрана выбрать группу и нажать "Изменить".

3. Как поместить собранные новости к себе на сайт.

RSS-канал группы

Все новости, полученные из лент новостей и объединённые в группы, система автоматически преобразует в единый формат - RSS.

Вам потребуется только один модуль на все Ваши сайты - модуль, понимающий формат RSS. Готовых модулей, умеющих работать с RSS очень много, они существуют под любую систему, любой сайт и любой язык программирования.

Например, для популярного блогового движка Wordpress существует более 100 RSS-плагинов.

Зайдите на страницу "Группы" и скопируйте URL RSS-потока:

Рис.16. Получение URL группы лент

Скопированный URL перенесите на свой сайт в модуль, работающий с RSS.

Включение предварительной модерации (премодерации) новостей

Прежде, чем попасть в RSS, новости могут пройти предварительную ручную модерацию. Укажите, какие из новостей публиковать в RSS группы, а какие нет.

Включите премодерацию новостей в настройках группы. Для этого зайдите на страницу "Группы", выберите группу и нажмите "Настройки". Отметьте пункт "Включить премодерацию новостей" и сохраните изменения нажав на кнопку "Редактировать".

Премодерация

Зайдите в "Группы", выберите группу новостей и нажмите "Модерировать".

Рис.17. Модерирование новостей

Система выведет список новостей с названием, URL источника новости и её статусом. Отметьте новости, которые хотите опубликовать, а затем в нижней части страницы выберите "С отмеченными: Отметить как Публиковать".

Для того, чтобы скрыть новости в RSS группы, выберите "С отмеченными: Отметить как НЕ Публиковать".

Для удаления новости выберите "С отмеченными: Удалить".

4. Как обеспечить уникальность контента.

Выдача доступа рерайтеру

Чтобы редактировать новости по своему усмотрению:

Перейдите на страницу "Профиль", введите email, имя и пароль Вашего рерайтера, и начните получать переписанные им новости сразу, как только рерайтер получит данные для доступа.

Рис.18. Выдача доступа к новостям рерайтеру

Использование подсистемы для рерайтеров

Для того, чтобы начать переписывание текстов, рерайтер должен воспользоваться специальной подсистемой, расположенной по адресу http://romb.ru/editors/ .

Перейдите по указанному адресу и введите логин и пароля рерайтера. Система перенаправит Вас на страницу "Groups" со списком групп новостей.

Рис.19. Пенель рерайтера

Нажмите "Модерировать" рядом с нужой группой. Система выведет список новостей группы с названием новости, URL источника новости, датой обновления и статусом.

Рис.20. Список новостей группы в панеле рерайтера

Для того, чтобы изменить текст новости, нажмите на её название, а затем на кнопку "Редактировать". В появившемся редакторе измените текст и нажмите "Submit".

В случае, если в группе включена предварительная модерация (премодерация) новостей, рерайтеру предоставляется возможность указать, какие новости будут публиковаться в RSS группы, а какие нет.

Для этого перейдите на страницу "Groups", выберите группу, нажмите на "Модерировать" и отметьте те новости, которые Вы хотите публиковать в RSS группы. В нижней части страницы выберите "С отмеченными: Пометить как Публиковать". А затем нажмите "Редактировать".

Если же Ваша задача наоборот, убрать некоторые новости из RSS, отметьте их в списке и в нижней части страницы выберите "С отмеченными: Пометить как НЕ Публиковать".

Для удаления новостей выберите "С отмеченными: Удалить".

5. Как защитить свою информацию от злоумышленников

Система обладает надежной системой защиты. Никто не сможет воспользоваться Вашими данными и никто не испортит проделанную работу, даже если Ваш пароль украдут.

Укажите IP-адреса компьютеров, с которых Вы обычно входите в систему, и злоумышленник не сможет проникнуть в систему с других компьютеров даже зная Ваш пароль.

Для включения защиты перейдите в меню "Разрешенные IP" и укажите IP-адреса каждый на новой строчке, тогда доступ к вашим итоговым RSS будет только для тех адресов, которые вы указали (например адрес вашего сервера(хостинга) и адрес вашего рабочего ПК):

Рис.21. Ограничение IP-адресов

Итог

Итак, для того, чтобы начать получать новости с любого сайта, даже не имеющего RSS, достаточно выполнить все три действия:

Создать новостную ленту
Поместить ленту в тематическую группу
Подключить ленту на свой сайт

Как видите, пользоваться системой действительно легко, ее интерфейс весьма прост и понятен. Уверены: Вы не испытаете трудностей при подключении к системе и получении свежих новостей.

Обеспечьте приток свежего уникального тематического контента на свой сайт. Прямо сейчас начните получать новости и использовать их в своих проетах - зарегистрируйтесь бесплатно и создайте ленту новостей.

P.S. Если Вам потребуется помощь в создании масок новостей - обращайтесь через форум , поможем.