РекламаБесплатно | PR технологии | Архив | Реклама в инернет | Реклама в СМИ | Наружная реклама |

Поисковые роботы, база данных.

HTMLgobble

Name HTMLgobble
Cover
Details
Status
Description A mirroring robot. Configured to stay within a directory, sleeps between requests, and the next version will use HEAD to check if the entire document needs to be retrieved
Purpose mirror
Type
Platform
Language
Availability
Owner Name Andreas Ley
Owner URL
Owner Email ley@rz.uni-karlsruhe.de
Exclusion
Exclusion User-Agent
NOINDEX no
Host tp70.rz.uni-karlsruhe.de
From yes
UserAgent HTMLgobble v2.2
History
Environment
ID htmlgobble
Modified Date
Modified By

 

Top Search24news.com


Below is a list of the most popular searches on Bots vs Browsers.


2011 Copyright © РекламаБесплатно.Ру HTML Версия v.2016 | PeterLife и компания
Пользовательское соглашение использование материалов сайта разрешено с активной ссылкой на сайт
Угостить администратора сайта, чашечкой кофе *https://paypal.me/peterlife

Рейтинг@Mail.ru Яндекс.Метрика Яндекс цитирования