Парсер сайтов (движков) по признакам

Если есть задача собрать и отфильтровать сайты по определённым признакам, этот бот очень пригодится, ведь он может сделать это в автоматическом режиме. Парсинг идёт с помощью Google по заданному ключевому слову.



Для работы бота необходимы несколько файлов: ключевые слова для поиска в Google; файл с признаками, по которым бот будет определять нужный сайт (ссылку); файл для сохранения результатов. После успешного выполнения ключевое слово удаляется из файла и, если есть ещё ключевики, парсинг продолжается.

Что касается дополнительных настроек, то есть возможность установить глубину парсинга, а также режим поиска: считать сайт валидным только по нахождению одного или всех признаков (на личное усмотрение).

Настройки парсинга движков сайтов

Комментариев нет:

Отправка комментария