META ROBOTS или robots.txt?

VitaliyRodnenko, 25.07.2008

robots.txt vs meta-noindexСуществует два метода донести до поисковика, какие страницы следует индексировать, а какие нет — это использование «meta тега robots» или создание файла «robots.txt». Так какой же из методов лучше использовать для запрета индексации определенных страниц сайта? В каких случаях и почему необходимо запрещать индексировать некоторые страницы сайта?

Быть может, на Вашем сайте имеется версия страниц для печати или же PDA версия сайта. Проблема заключается в том, что поисковые системы придают меньшую значимость одинаковому тексту, который встречают на разных URL-адресах. В таких случаях имеет смысл заблокировать один из вариантов сайта для поисковых систем. Так же, ограничения поисковой системы в индексировании некоторых частей Вашего сайта позволит ей проиндексировать больше полезной, действительно значимой информации.

Запрет индексации с помощью файла «robots.txt»

Один из вариантов, как это можно сделать — использовать файл «robots.txt». Ниже приведен пример этого файла:

User-agent: *
Disallow: /admin/
Disallow: /map/
Disallow: /ad/search/
Disallow: /cat/search/
Host: www.vlg-nav.ru
Sitemap: http://www.vlg-nav.ru/sitemap.xml

User-agent: Yandex
Disallow: /admin/
Disallow: /map/
Disallow: /ad/search/
Disallow: /cat/search/
Host: www.vlg-nav.ru
Sitemap: http://www.vlg-nav.ru/sitemap.xml

User-agent: googlebot
Disallow: /admin/
Disallow: /map/
Disallow: /ad/search/
Disallow: /cat/search/
Host: www.vlg-nav.ru
Sitemap: http://www.vlg-nav.ru/sitemap.xml

Директива «User-agent»

Как видите, файл содержит обращение к конкретному агенту поисковика через директиву «User-agent». Используя ее, Вы, скажем, можете разрешить одному поисковику индексировать сайт, а другому нет. Или же разрешить индексировать разным поисковым системам разные страницы сайта. Так же можно обратиться сразу ко всем агентам поисковых систем указав в качестве значения для директивы «User-agent» символ «*». Таким образом поисковой агент, прочитав файл «robots.txt» и не найдя в нем указаний для себя, будет искать правила, описанные для «User-agent: *».

Ниже приведен список некоторых «User-agent» для разных поисковых систем:

  • «Yandex» — агент поисковика «Яндекс».
  • «Googlebot» — агент поисковика «Google».
  • «Googlebot-Mobile» — агент поисковика «Google», сканирует страницы для включения в индекс для мобильных устройств.
  • «Googlebot-Image» — агент поисковика «Google», сканирует страницы для индекса картинок.
  • «Mediapartners-Google» — агент поисковика «Google», сканирует страницы для определения содержания «AdSense».
  • «Adsbot-Google» — агент поисковика «Google», сканирует страницы, оценивая качество целевых страниц для «AdWords».
  • «StackRambler» — агент поисковика «Rambler».

Директива «Disallow»

Директива «Disallow» указывает поисковому агенту, какие разделы сайта запрещены для индексации. Используя директивы «User-agent» и «Disallow» можно запретить определенной поисковой системе индексировать Ваш сайт. Вот так, например можно запретить «Google» индексировать полностью весь сайт:

User-agent: googlebot
Disallow: /

А следующим образом можно закрыть сайт для индексации всем поисковым системам:

User-agent: *
Disallow: /

В директиве «Disallow» следует указывать каталоги сайта, которые необходимо закрыть от индексации. Например, администратор сайта не хочет, чтобы индексировалась PDA версия сайта, расположенная по адресу www.example.ru/pda/. Это можно сделать следующим образом:

User-agent: *
Disallow: /pda/

Довольно часто возникает вопрос, надо или нет ставить «слеш» после названия раздела, указанного в директиве «Disallow»? Дело в том, что для поисковой системы www.example.ru/pda/ и www.example.ru/pda являются абсолютно разными страницами сайта, поэтому если программное обеспечение сайта выдает одинаковое содержимое как для www.example.ru/pda/ так и для www.example.ru/pda, то в «robots.txt» нужно указать:

User-agent: *
Disallow: /pda/
Disallow: /pda

Таким образом, мы закроем оба раздела от индексирования для всех поисковых систем.
Побочным эффектом последнего метода может стать то, что Disallow: /pda запретит индексацию так же таких страниц, как /pda.html, /pda-download.html и т. д., т. е. всех страниц, которые начинаются с pda и лежат к корневой директории сайта.

Следующий код не запрещает ничего, т. е. разрешает индексировать все страницы сайта для всех поисковых систем:

User-agent: *
Disallow: 

Обратная по смыслу директиве «Disallow» является директива «Allow». «Allow» разрешает индексировать указанный в ней раздел сайта. Допустим нам нужно запретить индексирование всего сайта, за исключением раздела /info/. В этом случае нам не нужно перечислять все остальные разделы в директивах «Disallow», чтобы закрыть их от индексации. Правильным решением будет следующий код:

User-agent: *
Allow: /info/
Disallow: /

Таким образом мы разрешили всем поисковым системам индексировать раздел сайта /info/, но запретили индексировать все остальные разделы.

Директива «Host»

Директива «Host» определяет основной адрес сайта. Это актуально в случае, если Ваш сайт имеет несколько зеркал. Указав в директиве «Host» основное зеркало, Вы поможете поисковику сделать правильный выбор. Директива «Host» для одного «User-agent» может быть только одна.

Директива «Sitemap»

Директива «Sitemap» указывает поисковому агенту расположение файла карты сайта «sitemap.xml». Это поможет поисковику быстрее найти файл карты сайта. В случае, если на Вашем сайте используется несколько карт, то их можно указать следующим образом:

User-agent: *
Sitemap: http://www.example.com/sitemap1.xml
Sitemap: http://www.example.com/sitemap2.xml

Проверить, правильно ли составлен файл «robots.txt» можно с помощью специальной службы «Яндекса».

Часто возникает заблуждение, что файл «robots.txt» помогает индексировать Ваш сайт. Оно ошибочно. С помощью файла «robots.txt» можно дать поисковику больше времени на индексацию полезных разделов Вашего сайта, но он не дает никакой гарантии, что Ваш сайт будет проиндексирован.

Теперь, ниже постараюсь описать использование «meta тега robots».

Запрет индексации с помощью «meta тега robots»

Итак, второй способ запретить поисковым системам индексировать страницы сайта — это использовать «META тега ROBOTS». Пример использования:

<meta name="Description" content="Информационный портал города Волгограда" />
<meta name="robots" content="noindex,nofollow" />
<title>Каталог организаций Волгоград</title>

В данном случае, страница будет закрыта для индексирования поисковыми системами.

Допустим, у Вас на сайте имеется возможность в администраторском разделе выбирать страницы или категории, индексирование которых требуется запретить. Можно программно создать алгоритм, который при генерации XHTML-шаблона страницы будет втавлять в код «meta тег robots». Теоретически, подобную технику можно реализовать и использованием файла файл «robots.txt», но сложность заключается в том, что каждый раз нужно будет пересобирать файл заново, в то время, как при использовани «meta тега robots», его нужно только вставить в код нужной Вам страницы. Так же, с помощью «meta тега robots» невозможно обратиться к определеной поисковой системе.

Примеры использования «meta тега robots»

noidex,nofollow

Самый распространенный случай, это когда требуется запретить индексировать страницы, а так же не следовать ссылкам, расположенным на ней. Вот каким кодом это можно организовать:

<meta name="robots" content="noindex,nofollow" />
noindex,follow

В случае, если требуется запретить индексирование, но разрешить передачу ссылочного веса ссылкам на странице:

<meta name="robots" content="noindex,follow" />

В случае, если требуется разрешить индексирование страницы, без передачи ссылочного веса ссылкам:

index,nofollow
<meta name="robots" content="index,nofollow" />

Так же можно комбинировать использование файла «robots.txt» с «meta тегом robots». Это может дать некоторые преимущества. Вопервых, это двойная гарантия, что нужная станица не будет проиндексирована, хотя ничто не может помешать поисковому роботу проигнорировать как файл, так и META тег, и получить содержание страницы, но это так, к слову.

«meta тег robots» имеет преимущество перед файлом «robots.txt», при условии, что в файле индексирование разрешено, а в meta теге запрещено. Таким образом, можно, например, запрещать индексацию методом исключений.

В общем, вроде бы все, что хотел рассказать по поводу запрета индексирования страниц поисковыми системами. Может быть, в ближайшем времени напишу статью, каким образом можно программно генерировать файл «robots.txt» при каждом запросе к нему, а так же опишу плюсы и минусы данного метода.

Control your index ;-)

Подписаться на обновления блога

Вам понравился наш блог, хотите следить за обновлениями? Подпишитесь на RSS рассылку или рассылку по электронной почте. Так же вы можете следить за нами в Twitter.

Категории: SEO, продвижение сайтов | Комментировать

Комментарии (16)

  1. Прохожий / 08.10.2008 в 19:35

    Сасибо за пост.
    Самое внятное и доходчивое обяснение работы robot.txt что смог найти в сети.

  2. Nikon / 14.10.2008 в 12:07

    спасибо! очень подробно описано!

    а кто нибудь знает сервис который бы проверял сайт и выдавал информацию о том что заблокировано в robots.txt и meta ? типа — ввёл адрес и тебе выдало что и как доступно а что нет..

  3. Skaizer / 14.10.2008 в 12:17

    Тест robots.txt возможен из инструментов для вебмастеров, как гугла, так и яндекса. Вводите интересующий вас URL, и вам будет выдано, доступен он или нет в данной поисковой системе.

  4. real / 02.12.2008 в 14:38

    Nikon. Ты что не был в панельки wmconsole яндекса? Потом проверка роботса и тама как раз всё для тебя)) Спс, за мета теги, надо будит на блоке выложить обработаную статейку. ТС +1

  5. Serg / 03.02.2009 в 21:07

    Что будет обозначать такая надпись в файле robots.txt:

    User-agent: Mediapartners-Google*
    Disallow:

    User-Agent: *
    Disallow:
    Host: http://www.имя сайта.ru

    Есть смысл?

  6. Skaizer / 04.02.2009 в 13:13

    Смысла нету, т.к. вы и так ничего не запрещаете индексировать.

  7. Toleg / 23.03.2009 в 20:44

    Спасибо! Всё просто и доступно.

    Есть ли у вас статья про ? Если есть, то вышлите, плиз, ссылку.

  8. Toleg / 23.03.2009 в 20:46

    в первом посте я справшивал про тег — NOINDEX. Я его обрамил скобками и его вырезало из поста…:)

  9. Skaizer / 24.03.2009 в 18:27

    Хм, да вроде бы тут практически вся информация по этому тегу, больше чет мне даже в голову не приходит, что добавить :)

  10. Toleg / 24.03.2009 в 20:09

    Я имел в виду не опцию NOINDEX в META — ROBOTS, а отдельный тег.

    Например (не знаю, пропустит ли ваш валидатор ссылки):

    http: // http://www.webkomora.com.ua/ru/articles/web/raskrutka/verification/sovet_6.html

    http: // depositfiles.od.ua/tags/noindex.php

    Инфы как бы хватает, просто, поскольку однозначного мнения нет, то хотел узнать ещё ваше.

    В любом случае спасибо.

  11. windows / 17.11.2009 в 17:34

    Директива HOST зобретение Яндекса, ее лучше в роботс.тхт вставлять один раз и то, после всего описания дыбы не смущать другие поисковики.

  12. Митя / 26.07.2010 в 19:56

    У меня блог на бесплатном хосте, к файлу роботс — доступа нет, могу лишь мета тегами управлять доступ. Возможно ли мета тегом запретить индексацию всего блога лишь для яндекса??
    мне это очень важно, потому что яндекс очень портит статистику.

  13. Satori / 01.12.2010 в 11:45

    Спасибо! Только здесь нашла ответы на все свои вопросы и избавилась от разных сомнений по поводу robots.txt и Robots Meta

  14. Сергей / 14.08.2011 в 16:02

    А как быть в таком случае:
    У меня адрес сайта имеет следующи й вид ссылок
    урл сайта/?article=17
    в последнее время начали появляться дубли вида урл сайта/index.php?article=17
    по сути эта ссылка ведет на такуюже статью.
    как запретить такой урл
    если я запрещу к индексации index.php то проиндексируются ли нормальные урлы?

  15. Евгений / 18.12.2014 в 10:37

    Привет! У тебя классный блог, я тоже недавно запустил проект и возник вопрос, как закрыть от индексации http://сайт.ру/2014/12 именно ети архивы в robots прописываю Disallow: 2014, проверяю — разрешен, подскажи как эту страницу с помощью <meta name="robots" закрыть, заранее благодарен!

  16. Feibel63 / 15.11.2015 в 14:51

    Создание векторных иллюстраций. Веб-маркетинг, продвижение и поисковая оптимизация сайтов. Торрент вообще не качается (.). Сайт производителя только зарегистрированные пользователи. Веб-маркетинг, продвижение и поисковая оптимизация сайтов. Классическая анимация и создание баннеров (2011) 06. Интернет-маркетинг, продвижение и поисковая оптимизация сайтов (seo) (2014) 169. Продвижение и поисковая оптимизация. Маркетинг,продвижение и. И сайтов.
    Торрент специалист интернет-маркетинг,продвижение и поисковая оптимизация сайтов (seo). Маркетинг, продвижение и. Продвижение иоптимизация сайтов. Интернет-рекламы и website positioning. Оптимизация сайтов (search engine optimisation). Маркетинг, продвижение и.интернет рынок и. Продвижение и поисковая оптимизация сайтов (search engine optimization).маркетинг, продвижение и. Как работает интернет продвижение и. Сайтов. Seoоптимизация. И продвижение сайтов. Создание сайта какой вид деятельности Продвижение и поисковая оптимизация сайтов (search engine optimisation). Вкурсе интернет-маркетинг,. И поисковая оптимизация. Интернет рекламы и seo.маркетинг, продвижение и.
    Проходит время — 6-12 месяцев и более — допустим, часть слов вышло в лидеры, прошло еще время в общем, годы, Вы продвигаетесь по этим же фразам, их количество не меняется, то есть, Вы всё стараетесь продвинуть сайт под то же количество слов, на которое договаривались изначально, search engine optimisation сайта делается по одному и тому же количеству ключевиков.

    Ашманов и Иванов выбрали достаточно интересную стилистику повествования. Они рассматривают WEBSITE POSITIONING как настоящую науку с огромной степенью подробности. Именно поэтому можно смело сказать, что данная работа является фундаментальной. Здесь рассмотрена работа поисковых машин, спорные методы продвижения сайтов, системы аналитики, внутренние факторы, от которых зависит положение сайта в поиске, методы оценки продвижения, анализ поискового спроса и многое другое.
    Мы не просто приводим посетителей на ваш сайт. Мы привлекаем новых клиентов и продажи для вашего бизнеса. По сути, на вас работает команда аналитиков и оптимизаторов. А еще — стратегия оптимизации, разработанная в соответствии с вашими целями и задачами. Вам не нужно ждать результатов годами — мы финансово гарантируем вывод сайта в ТОП. Всего за 6 месяцев. Если же за это время единичные позиции не выйдут в ТОП, платить за них не придется (!). Впрочем, оптимизация сайта по ключевым словам — лишь один из используемых методов продвижения в ТОП (собственные гарантии предоставляются по каждому из них).
    Раскрутка и правильное продвижение сайта в интернет — самый эффективный инструмент увеличения продаж и расширения бизнеса. Продвижение сайта в интернет дает возможность донести Ваши предложения до большего количества потенциальных клиентов. Раскрутить сайт фирмы означает увеличить продажи, количество клиентов и расширить свой бизнес, используя один из самых дешевых и эффективных инструментов завоевания рынка. Раскрутка и продвижение бизнеса в интернет обходится намного дешевле, чем традиционные методы продвижения бизнеса. Ваша собственная рекламная площадка — лучший антикризисный инструмент!

    Хотите научиться фотографировать и обрабатывать цифровые фото? - Сделайте сразу два шага к высотам мастерства! Оплатите « Курс успешной любительской фотосъемки. Уровень 1 » + курс « Adobe Photoshop CS5. Уровень 1. Растровая графика для начинающих » и получите в подарок запись вебинара по курсу «Adobe Photoshop CS5. Уровень 1. Растровая графика для начинающих».
    Юрий Евгеньевич имеет огромный опыт работы в качестве дизайнера, net-разработчика и преподавателя. Первым в России получил статусы Adobe Certified Expert, Adobe Licensed Instructor, Corel Licensed Expert, Corel Licensed Teacher. Принимал участие в различных зарубежных конференциях и тренингах, например, в знаменитой международной конференции Adobe MAX 2007 (Барселона). Также Юрий Евгеньевич в качестве преподавателя Центра участвовал в тренинге Quark Corporation в Лондоне в 2008 году, где был единственным представителем не только России, но и всей Восточной Европы.
    Профессиональный и педагогический опыт Николая Михайлович поистине огромен. Он занимался консультированием специалистов технического отдела по подготовке к сдаче тестов А+ Certification Комбелга-Голден Телеком. С 1979 года он преподавал на кафедре в МГТУ им. Н.Э. Баумана, вел курсовое и дипломное проектирование. С 1992 года он стал преподавать в «Специалисте».

    Не для кого не секрет, что интернет бизнес уже давно перестал быть только виртуальным, потому что деньги в нем крутятся самый что ни на есть реальные, и очень большие. Поэтому в интернете находят себе место как и крупные игроки, которые продвигают свои услуги или товары, так мелкие частные рабочие, которые работают не на кого-то, а только для себя и в свое удовольствие.
    Так как оптимизация сайтов под поисковые запросы — это сложный процесс, то она даст ожидаемый результат лишь в том случае, если во время ее проведения будет учтено множество факторов, касающихся не только конкретного проекта, но и Мировой Сети в целом, например, постоянно изменяющиеся алгоритмы поисковых систем. Поэтому, чтобы поисковая оптимизация сайта оправдала ожидания, доверять эту работу лучше профессионалам с проверенной репутацией. Цена ошибки при выборе некомпетентной компании велика, ведь это не что иное, как ваша прибыль! Мы же знаем, как оптимизировать сайт под поисковые системы и уверяем, что поисковая оптимизация сайта способна значительно увеличить число посетителей вашего сайта.
    Сколько это стоит? Единой ставки не существует. Стоимость поисковой оптимизации сайта варьируется в зависимости от того, насколько уже оптимизирован данный сайт и какие позиции он имеет в поисковых системах по целевым запросам. На основе этого фактора и уровня желаемого результата рассчитывается цена оптимизации и дальнейшего продвижения сайта. То есть, она зависит от объема работы, который необходимо выполнить, чтобы оптимизировать сайт до необходимого уровня.

    Какие же есть методы поисковой оптимизации ресурса? А их всего три: черная, белая и серая поисковая оптимизация. Черная поисковая оптимизация — это использование запрещенных методов: дорвеи и другие. Белая поисковая оптимизация — это долгий процесс, но разрешенный. Используются исключительно белые методы (МЕТА-теги, ключевые слова, описания). И серые методы поисковой оптимизации — это не полностью черная оптимизация, а злоупотребление МЕТА-тегами, ключевыми словами, описаниями. За серую оптимизацию вас могут забанить временно, учтем, что в черной поисковой оптимизации банят на неопределенный срок.
    У нас таких ограничений нет. Продвижение с одинаковым успехом осуществляется нами в любом из географических сегментов российского Интернета. Более того, для удобства клиентов нами создана сеть региональных офисов, количество которых постоянно растет. Заказать продвижение сегодня можно в различных регионах. Представительства Demis Group имеются в Петербурге и Нижнем Новгороде.
    Негпупые сайтовладельцы скажут вам, что сбор и использование данных веб-аналитики — это непременное условие для успешной оптимизации сайта. Это правда, потому что данные веб-аналитики предоставляют громадное количество информации о том, что посетители делают на сайте: что они читают, их перемещение по сайту, что покупают и чего совсем не замечают. Собирая, анализируя и используя этот источник информации, можно достичь максимальной оптимизации и эффективной работы сайта. А сервис Google Analytics поможет вам в этом.
    скачать бриф на продвижение сайта: Нажмите, чтобы узнать больше на http://promote-my.website/component/content/article/32-seo/85-seo-whats-new.html

Оставить комментарий

480×60
480×60