Благодаря удобному и надежному инструментарию для вебмастеров от поисковой системы Google - Google Webmaster Tools вы в любой момент можете получить актуальную информацию об индексации вашего сайта, о том, какие ошибки были обнаружены на нем, возникали ли проблемы при обращении поискового робота к различным страницам, по каким поисковым запросам пользователи приходят на сайт и какие ресурсы на него ссылаются, а также многое другое. За последний год инструменты для вебмастеров от Google изменились, появились новые функции и возможности.
В первую очередь, для работы с Google Webmaster Tools вам понадобится создать учетную запись на Google, войти под своим логином, и активировать инструменты вебмастера для вашего аккаунта. Уже на следующем шаге работы с сервисом вы сможете добавить адрес своего сайта через специальную форму.
Еще до прохождения проверки на принадлежность сайта, вы получите доступ к сводной информации, которой располагает Google о данном ресурсе: какие страницы проиндексированы, когда в последний раз поисковый робот посещал сайт, страницы каких сайтов содержат ссылку на ваш, анализ robots.txt.
Для получения более детальной статистики нужно подтвердить, что сайт, адрес которого вы внесли в ваш инструментарий для вебмастера, действительно принадлежит именно вам. Для этого есть два простых (для владельца сайта) способа. Во-первых, можно установить в блоке заголовков HEAD специальный мета-тег вида meta name="verify" content="уникальный код для вашего сайта", который будет считан роботом Google. Во-вторых, предусмотрена возможность доказать принадлежность вам сайта посредством загрузки на сервер специального html-файла.
После прохождения сайтом проверки, вы получите полный доступ ко всей имеющейся у Google информации о нем. Работа со статистикой сайта ведется в шести общих разделах: Общая информация (Overview), Диагностика (Diagnostics), Статистика (Statistics), Ссылки (Links), Карты сайта (Sitemaps), Инструменты (Tools).
Первый раздел - Общая информация - содержит такие данные, как доступность сайта для поискового робота Google, наличие проиндексированных страниц сайта в поисковой выдаче, доступность для считывания для робота карт сайта (sitemap), и подробную информацию об ошибках, возникших при обращении кроулера к сайту. Эти ошибки разделены на следующие категории: нерабочие ссылки из карты сайта (Errors for URLs in Sitemaps), ошибки протокола HTTP (HTTP errors), отсутствующие страницы (Not found), нерабочие ссылки (URLs not followed), ссылки, переходы по которым запрещены в файле robots.txt (URLs restricted by robots.txt), страницы, обращение к которым не было завершено по тайм-ауту (URLs timed out), недоступные страницы (Unreacheable URLs). В случае, если в базе данных Google имеется информацию об ошибках любого из приведенных выше типов, то здесь же, в сводной информации по сайту, имеется ссылка на страницу с подробностями о возникшей проблеме.
Раздел Диагностика (Diagnostics) содержит более подробную информацию о проблемах, возникающих у поискового робота при обращении к страницам сайта (Web Crawl), перечисление потенциальных проблем с мета-данными сайта (Content Analysis), такими, как заголовки и описания страниц (meta title, meta description), а также данные о проблемах, возникающих у кроулера при обращении к страницам, созданным специально для просмотра с мобильных устройств (Mobile Crawl).
Именно в подразделе Web Crawl содержится расшифровка ошибок, приведенных в разделе Общая информация. Здесь вы узнаете, какие именно страницы были недоступны для робота, содержали битые ссылки, были запрещены к индексации, а также данные о страницах, на них ссылающихся, дату обращения робота к проблемной странице, код полученной ошибки.
Подраздел Mobile Crawl располагает информацией об ошибках обращений к файлам форматов CHTML и WML/XHTML. А благодаря подразделу Content Analysis вы сможете оптимизировать заглавия и описания имеющихся на сайте страниц таким образом, чтобы поисковая машина Google могла наиболее точно определить тематику сайта и извлечь максимум необходимой для ранжирования страниц информации. Здесь перечислены такие возможные недостатки мета-данных, как пропущенные или дублирующиеся заглавия (Missing title tags, Duplicate title tags), слишком длинные или, наоборот, слишком короткие заглавия страниц (Long title tags, Short title tags), не-информативные заголовки (Non-informative title tags), а также приведены проблемы с описаниями страниц (Meta description issues) и примеры возможно неиндексируемых страниц сайта (Non-indexable content issues).
Раздел Статистика (Statistics) содержит на данный момент такую информацию: поисковые запросы, по которым пользователи наиболее часто попадают на ваш сайт (Top search queries); дистрибутивные данные о сайте (Crawl stats); для сайтов, распространяющих информацию в виде фидов - данные о подписчиках в iGoogle, Google Reader, и Orkut (Subscriber stats); детальные данные о том, как именно бот Google "видит" ваш сайт (What Google bot sees), подробности об индексации сайта (Index stats).
В подразделе Top search queries имеется две таблицы: 20 поисковых запросов, по которым ваш сайт наиболее часто появлялся в поисковой выдаче, и 20 поисковых запросов, по которым пользователи чаще всего переходили на ваш сайт. В обоих таблицах так же показано место в выдаче, которую занимал сайт по текущему запросу. Эти же данные можно получить для различных промежутков времени, для региональных разделов Google, а также конкретизировать область исследования: общая поисковая выдача, поиск в картинках, поиск с мобильных устройств.
Подраздел What Googlebot sees в виде таблиц приведена информация о том, какие активные тексты используются во внешних ссылках на ваш ресурс - клик по приведенным фразам покажет также вариации текстов, встречающиеся на различных сайтах; какие ключевые слова наиболее точно соответствуют вашему сайту с точки зрения Google как в его описаниях на сторонних ресурсах, так и из собственного содержимого. Так же здесь в графическом виде представлена информация о том, какие кодировки встречаются на сайте и документы каких форматов проиндексированы.
В подразделе Crawl stats в виде диаграмм представлены сведения о том, сколько страниц было считано роботом в день, сколько килобайт информации загружено, сколько времени в милисекундах затрачено на скачивание страницы за последние девяностно дней. Здесь же вы получите наглядное представление о распределении PR (Google page rank) по страницам вашего сайта, а также о том, какая из страниц сайта обладала наивысшим показателем за последние три месяца.
Подраздел Index stats содержит общедоступную информацию: сколько страниц вашего сайта проиндексировано, какие сайты ссылаются на его главную страницу, вид кешированной главной страницы на текущий момент, общая информация, которой располагает Google о сайте, и данные о страницах, похожих на главную страницу вашего ресурса.
В подразделе Subscriber stats вы узнаете, сколько подписчиков на ваши фиды имеется в iGoogle, Google Reader, Orkut. Так как существует множество альтернативных сервисов чтения новостных лент, общее число читающих пользователей может быть намного больше.
Раздел Links предоставляет вебмастеру информацию о имеющихся в поисковом индексе Google внешних ссылках на сайт, внутренней перелинковке сайта, и так называемых sitelinks. Sitelinks (ссылки сайта) - это дополнительные ссылки, которые Google иногда генерирует из содержания вашего сайта с целью облегчить пользователю поиск информации на вашем сайте. Список ссылок создается динамически, поэтому может изменяться, соответствуя изменениям на вашем сайте.
Раздел Sitemaps - Карты сайта - представляет пользователю возможность загрузить файлы, сообщающие поисковой машине о структуре сайта. Здесь же вы можете управлять этими файлами.
Карта сайта может быть создана посредством SiteMap Generator - простого скрипта, который может быть сконфигурирован таким образом, чтобы автоматически создавать карту сайта и отправлять ее в Google. Генератор может создавать карту из списка адресов страниц, статистики доступа, или из путей к файлам, соответствующим адресам страниц. Также существуют другие специальные программы для создания карт сайта, либо подобная карта может быть создана вебмастером вручную.
С момента, когда карта загружена, становится доступна полезная статистическая информация о статусе карты. В разделе Sitemaps (Карты сайтов) вебмастеру предоставляется отчет о том, имеются ли какие-либо проблемы с загруженной картой или включенными в нее адресами страниц. В любой момент возможно внести изменения в карту сайта и вновь загрузить ее посредством Инстументов вебмастера.
Раздел Tools (Инструменты) состоит из следующих подразделов. Analyze robots.txt (Анализ файла robots.txt) - содержит информацию о том, какие именно запреты на индексацию вводятся посредством этого файла, а также возможность теста различных страниц сайта на доступность поисковому роботу. Generate robots.txt (Создание файла robots.txt) - позволяет прямо здесь же составить файл запретов индексирования для различных роботов.
Enhance 404 pages (Улучшить страницы с ошибкой отсутствия страницы) - помогает пользователю, получившему от сервера ответ об отсутствии запрашиваемой страницы, найти необходимую информацию. Set geographic target (Установки геотаргетинга) - позволяет проассоциировать ваш сайт с определенной географической областью. Enhance image search (Улучшить поиск по картинкам) - вы можете разрешить Google проводить поиск по изображениям, размещенным на вашем сайте. Manage site verification (Управление принадлежностью сайта) - вы получите список всех подтвердивших свои права на управление сайтом вебмастеров. Set crawl rate (Установка интенсивности индексирования) - содержится статистика того, как часто поисковый робот бывает на вашем сайте, имеется также возможность установить скорость обращения робота к страницам. Set Preferred Domain (Установка предпочтительного домена) - при наличии нескольких доменов, указывающих на ваш сайт (с www. или без), вы можете указать наиболее предпочтительный вариант отображения сайта в индексе Google. Remove URLs (Удаление URL) - инструментарий для удаления страниц сайта из поискового индекса.
Gadgets - вы можете настроить свою стартовую страницу на Google таким образом, чтобы прямо на ней получать информацию из Webmaster Tools.