Как создать файл Robot.txt

В сегодняшней статье речь пойдет о немаловажном факторе в развитии нашего блога на блогспот, это файл robots.txt, его влияние очень велико на индексацию сайта в поисковых системах.
Кому читать статью не очень удобно, вот ссылка на видео https://goo.gl/oUmddk

В двух словах расскажу что такое файл robots.txt. Это текстовый документ в котором написаны рекомендации, или так сказать правила для поисковых систем которые указывают им что нужно индексировать на нашем сайте, а что нет.

В создании и настройке файла robots.txt нет ничего сложного, нужно знать и понимать всего лишь несколько правил, о них чуть позже. А сейчас я предоставлю пример файла robots.txt который использую на своих блогах.

Также в сети интернет есть много сервисов, он-лайн генераторов для создания файла robots.txt. Вот ссылки на некоторые из них https://pr-cy.ru/robots/ , https://seolib.ru/tools/generate/robots/

И так когда наш файл создан или сгенерирован, его нужно вставить на наш сайт.

Переходим в панель управления блогом, в меню настройки,

настройки поиска,

пользовательский файл robots.txt , изменить, да.

И вставляем текст из созданного нами файла robots.txt  в окошко.

Теперь осталось рассказать поисковым системам что у нас появился, или изменился  файл robots.txt , но об этом в следующей статье.

Ссылка на скачивание файла https://goo.gl/tppcvr

Какие директивы существуют?
Директива «User-agent»
Директива, указывающая, для какого поискового робота написаны правила.
Примеры использования:
User-agent: * – для всех поисковых роботов
User-agent: Googlebot – для поискового робота Google
Директива «Disallow»
Директива, запрещающая индексацию определённых файлов, страниц или категорий.
Эта директива применяется при необходимости закрыть дублирующие страницы (например, если это интернет-магазин, то страницы сортировки товаров, или же, если это новостной портал, то страницы печати новостей).
Также данная директива применима к «мусорным для поисковых роботов страницам». Такие страницы, как: «регистрация», «забыли пароль», «поиск» и тому подобные, – не несут полезности для поискового робота.
Примеры использования:
Disallow: /search – в данном случае мы исключим все страницы поиска, url которых начинаются с «/search».
Директива «Allow»
Директива, разрешающая индексировать страницы (по умолчанию поисковой системе открыт весь сайт для индексации). Данная директива используется с директивой «Disallow».
Директива «sitemap»
Данная директива указывает поисковому роботу путь к карте сайта в формате «XML».
Директива должна содержать в себе полный путь к файлу.
Sitemap: http://site.ua/sitemap.xml