Что такое карта сайта (sitemap)?

Категория: SEO

– Автор: Игорь (Администратор)

В рамках данного обзора, я расскажу вам что такое карта сайта (sitemap), а так же про ряд особенностей.

Поисковым системам, таким как Яндекс и Google, необходимо знать какие url адреса существуют у сайта, чтобы понимать какие страницы необходимо сканировать для последующего ранжирования. Простыми словами, что отображать в поиске. И если для небольших сайтов подобная задача не составляет особых проблем, то для сайтов с множеством страниц это может быть проблематично.

В качестве одного из основных решений применяется так называемая карта сайта, позволяющая упростить процесс сбора url адресов.

Но, обо всем по порядку.

Карта сайта (sitemap) это

Карта сайта (sitemap) - это список страниц сайта. Если сравнивать с чем-то более привычным, то карта сайта это как содержание книги, позволяющее читателям быстро ориентироваться.

Зачем нужна карта сайта? Вообще, карта сайта бывает двух типов: для поисковых систем и для пользователей.

Плюсы для поисковых систем. Во-первых, быстрая индексация страниц поисковиками, так как их url адреса перечислены в карте. Во-вторых, повысить уверенность, что необходимые страницы будут проиндексированы, так как сканирование сайта дело непростое (об этом чуть далее). Это особенно важно для тех сайтов, у которых сложная и многоуровневая структура.

Плюсы для пользователей. В основном, возможность быстро найти необходимые страницы с помощью обычного поиска по названию. Аналогия содержания книги.

Можно ли обойтись без sitemap? В принципе, поисковые системы лишь рекомендуют наличие данного инструмента в сайте. Однако, чтобы более полноценно ответить на этот вопрос, стоит знать как поисковая система узнает о страницах без карты.

Вначале поисковик открывает главную страницу сайта. Находит в ее тексте существующие ссылки. Затем открывает каждую из страниц и так же сканирует ссылки. И так далее. В упрощенном смысле, это действие продолжается до момента сканирования всего сайта.

Так же этот алгоритм усложняется тем, что страницы могут редактироваться. Это означает, что поисковым системам необходимо периодически повторять сканирование сайта, чтобы обнаружить те страницы, которые необходимо заново анализировать.

Соответственно, не сложно догадаться, что это может приводить к более медленной индексации веб-страниц и их текстов, особенно для сайтов со сложной структурой (иными словами, "когда там еще поисковый бот их найдет"). Поэтому хоть наличие sitemap и не является обязательным, для больших сайтов он попросту необходим.

Какие виды карт сайта бывают и их особенности? Существует три вида представления карт.

1. Sitemap.txt. Обычный текстовый файл, в котором перечислены существующие адреса, из расчета 1 строка = 1 url адрес. Поисковые системы поддерживают данный формат (его можно указать в их панелях), однако он не является приоритетным, так как не содержит дополнительной информации, такой как дата последнего изменения (необходимость частого сканирования).

Поддерживается до 50 000 ссылок и размер несжатого файла до 50 Мб. Если одно из условий не соблюдается, то необходимо разбивать карту на части и использовать файл индекса sitemap. Например:

<?xml version="1.0" encoding="UTF-8"?>
   <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    <sitemap>
      <loc>[адрес первой части]</loc>
      <lastmod>[дата изменения в формате W3C Datetime, например, 2011-01-11]</lastmod>
    </sitemap>
    <sitemap>
      <loc>[адрес второй части]</loc>
      <lastmod>[дата изменения в формате W3C Datetime, например, 2011-01-11]</lastmod>
    </sitemap>
   </sitemapindex>
   ... [и так далее]
</xml>

Или можно перечислить несколько sitemap в robots.txt

Sitemap: [адрес первой части]
Sitemap: [адрес второй части]
... [и так далее]

2. Sitemap.xml. Специальный формат, в котором перечисляются существующие адреса, а так же три дополнительных параметра - дата последнего обновления, частота изменения и приоритет сканирования. Этот формат является рекомендуемым для поисковиков, так как позволяет поисковым системам тратить меньше сил.

Пример:

<?xml version="1.0" encoding="UTF-8"?>
    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
        <url>
            <loc>[адрес страницы]</loc>
            <lastmod>[дата в формате W3C Datetime, например, 2011-01-01]</lastmod>
            <changefreq>[частота из предусмотренного списка, например, для месяца - monthly]</changefreq>
            <priority>[приоритет от 0,0 до 1,0]</priority>
        </url>
        ... [и так далее]
    </urlset>
</xml>

Поддерживается до 50 000 ссылок и размер несжатого файла до 50 Мб. Если одно из условий не соблюдается, то необходимо разбивать карту на части и использовать файл индекса sitemap или robots.txt аналогично предыдущему варианту.

3. Карта сайта в виде Html-страницы. Этот вариант больше предназначен для обычных пользователей, так как поисковые боты сканируют порядка 100-200 ссылок в каждой странице. Если ссылок больше, то возможно, что часть из них будет проигнорирована. Поэтому, если сайт небольшой, то, в принципе, html карта может содержать полный список и быть полезной. Если же сайт большой, то необходимо отталкиваться от задач, так как поисковые боты вряд ли будут полностью учитывать ссылки, а для пользователей слишком огромное содержание может быть неудобным (но, его можно дополнить стилями и js-скриптами для анимации).

Стоит знать, что карта сайта не является единственным определяющим фактором. Так, например, если в sitemap.xml задано для url частота сканирования месяц, то это не значит, что поисковой бот не будет чаще или реже сканировать страницу.

Отдельно, хотел бы отметить, что многие существующие CMS поддерживают автоматическую генерацию sitemap как в html виде, так и в xml (или можно установить соответствующее расширение или модуль), поэтому нет необходимости составлять их вручную. Если же существуют причины, почему необходимо создать карту вручную, то для упрощения можно использовать программы для генерации карт или онлайн сервисы.

Теперь, вы знаете что такое карта сайта, а так же некоторые особенности.