it-swarm.com.ru

Можно ли использовать относительный URL карты сайта в файле robots.txt?

В robots.txt я могу написать следующий относительный URL для файла карты сайта?

sitemap: /sitemap.ashx

Или я должен использовать полный (абсолютный) URL для файла карты сайта, например:

sitemap: http://subdomain.domain.com/sitemap.ashx

Почему мне интересно

  • У меня есть новый сервис блогов, www.domain.com, который позволяет пользователям вести блог на accountname.domain.com.
  • Я использую подстановочные знаки, поэтому все субдомены (учетные записи) указывают на: "blog.domain.com".

В blog.domain.com я поместил robots.txt, чтобы поисковые системы могли найти карту сайта. Но из-за подстановочных знаков все учетные записи пользователей используют один и тот же файл robots.txt. Вот почему я не могу использовать второй вариант. И сейчас я не могу использовать перезапись URL для текстовых файлов. (Я полагаю, что более поздние версии IIS могут справиться с этим?)

177
Easyrider

Согласно официальному документация на sitemaps.org это должен быть полный URL:

Вы можете указать местоположение файла Sitemap с помощью файла robots.txt. Для этого просто добавьте следующую строку, включающую полный URL в карту сайта:

Sitemap: http://www.example.com/sitemap.xml
304
unor

Сканеры Google недостаточно умны, они не могут сканировать относительные URL-адреса, поэтому всегда рекомендуется использовать абсолютные URL-адреса для лучшей возможности сканирования и индексации.

Следовательно, вы не можете использовать этот вариант

> sitemap: /sitemap.xml

Рекомендуемый синтаксис

Sitemap: https://www.yourdomain.com/sitemap.xml

Замечания:

  • Не забудьте прописать первую букву в "карте сайта"
  • Не забудьте поставить пробел после "Sitemap:"
2
Deepak Mathur