Создаём карту сайта sitemap.xml
Sitemap.xml – это документ, отображающий полную информацию обо всех страницах сайта. С помощью файла Sitemap.xml можно сообщить поисковику об актуальной структуре сайта, последних обновлениях и приоритете обхода страниц
Если у вас отсутствует сайтмап, это не означает, что поисковики не станут индексировать сайт. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои особенно на крупных проектах в разделы которых можно попасть, только совершив длинную цепочку переходов.
Правильная настройка sitemap xml
Шаг 1. Генерируем карту сайта xml.
а. Самым популярным и оптимальным бесплатным решением является сервис — https://www.xml-sitemaps.com/, но есть ограничение до 500 страниц.
б. Есть еще 1 бесплатный вариант, это программа – Xenu Links Sleuth. http://home.snafu.de/tilman/xenulink.html
в. Автоматически создать карту при помощи CMS (например на WordPress доступна такая функция).
г. Создаем в ручную, пример ниже
<?xml version='1.0' encoding='utf-8'?>
<urlset xmlns='http://www.sitemaps.org/schemas/sitemap/0.9' xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance' xsi:schemaLocation='http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd'>
<url><loc>http://seo6nik.ru/</loc></url>
<url><loc>http://seo6nik.ru/5-shag-4-ispravlyaem-dubli-stranic.html</loc></url>
<url><loc>http://seo6nik.ru/2-shag-3-nastroyka-robotstxt.html</loc></url>
<url><loc>http://seo6nik.ru/1-privet-mir.html</loc></url>
<url><loc>http://seo6nik.ru/optimizaciya/</loc></url>
<url><loc>http://seo6nik.ru/3-shag-2-nastraivaem-glavnoe-zerkalo-sayta.html</loc></url>
<url><loc>http://seo6nik.ru/4-shag-1-dobavlyaem-sayt-v-yandeks-gugl-vebmaster.html</loc></url>
</urlset>
Шаг 2. Загружаем карту в корень сайта через фтп или файловый менеджер.
Шаг 3. Прописываем путь в файле robots.txt

Шаг 4. Добавляем в вебмастера Яндекс и Гугл.
Шаг 4. Проверяем ошибки найденные в карте сайта.


Если вы изменили добавленный в Вебмастер файл Sitemap, его не надо удалять и загружать снова — робот регулярно проверяет файл на обновления и ошибки.
Для более глубокого изучения читаем справку Яндекс и Гугл
Домашнее задание: Сделать самому всё что написано в инструкции, если что то непонятно или не получается, то смело задавайте свои вопросы в комментариях.
Аудит сайта С уважением, Павел Гречко