- Googlebot
-
Googlebot Тип Автор Сайт Googlebot — поисковый робот компании Google, используемый для сканирования мировой сети и пополнения поискового индекса системы Google. Робот начинает сканирование каждого отдельного сайта с получения списка URL-адресов веб-страниц, созданного по результатам предыдущих сеансов, и пополняет его данными из файлов Sitemap; просматривая страницы, робот ищет ссылки (SRC и HREF) и добавляет их в список страниц, подлежащих сканированию.
Веб-мастера могут управлять роботом с помощью команды в файле robots.txt или мета-тега
<meta name="Googlebot" content="nofollow" />
; Google в списке своих инструментов для веб-мастеров даёт возможность проверить «видение» сайта роботом. IP-адреса бота время от времени меняются.
При сканировании Googlebot указывает user-agent:Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Googlebot/2.1 (+http://www.google.com/bot.html)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot-Image/1.0
(паук сканирующий изображения)
Ссылки
Google Inc. Председатель совета директоров: Эрик Шмидт • Директор, президент по технологиям и сооснователь: Сергей Брин • Главный исполнительный директор и сооснователь: Ларри Пейдж
Реклама Adscape • AdSense • Advertising Professional • AdWords • Analytics • Checkout • Click-to-Call • DoubleClick • Insights for Search • Trends • Wallet • Google Университет
Коммуникации ПО Платформы Account • Android • App Engine • Apps • Base • BigTable • Chrome OS • Co-op • Gears • Native Client • GFS • Health • Mashup • OpenSocial
Разрабатываемые
инструментыCode • Dart • Gadgets API • GData • Go • Googlebot • Guice • GWS • Highly Open Participation Contest • Image Labeler • KML • MapReduce • Mediabot • Pinyin • SketchUp Ruby • Sitemaps (index) • Summer of Code • TechTalks • Web Toolkit • Website Optimizer
Публикация Поиск (PageRank,
руководства)Тематические проекты См. также Поглощения • Цензура • Current • Критика • Earth Outreach • Foundation (Google.org) • Google China • Googleplex • История • Hoaxes • I’m Feeling Lucky • Labs • Logo • Lunar X Prize • I/O • Список сервисов и инструментов • WiFi • Zeitgeist • «Бомбы» • Гуглизм
Категории:- Программное обеспечение по алфавиту
- Сервисы Google
Wikimedia Foundation. 2010.