Как создать файл Robot.txt
В сегодняшней статье речь пойдет о немаловажном факторе в развитии нашего блога на блогспот, это файл robots.txt, его влияние очень велико на индексацию сайта в поисковых системах.
Кому читать статью не очень удобно, вот ссылка на видео https://goo.gl/oUmddk
В двух словах расскажу что такое файл robots.txt. Это текстовый документ в котором написаны рекомендации, или так сказать правила для поисковых систем которые указывают им что нужно индексировать на нашем сайте, а что нет.
В создании и настройке файла robots.txt нет ничего сложного, нужно знать и понимать всего лишь несколько правил, о них чуть позже. А сейчас я предоставлю пример файла robots.txt который использую на своих блогах.
Также в сети интернет есть много сервисов, он-лайн генераторов для создания файла robots.txt. Вот ссылки на некоторые из них https://pr-cy.ru/robots/ , https://seolib.ru/tools/generate/robots/
И так когда наш файл создан или сгенерирован, его нужно вставить на наш сайт.
Переходим в панель управления блогом, в меню настройки,
настройки поиска,
пользовательский файл robots.txt , изменить, да.
И вставляем текст из созданного нами файла robots.txt в окошко.
Теперь осталось рассказать поисковым системам что у нас появился, или изменился файл robots.txt , но об этом в следующей статье.
Ссылка на скачивание файла https://goo.gl/tppcvr
Какие директивы существуют?
Директива «User-agent»
Директива, указывающая, для какого поискового робота написаны правила.
Примеры использования:
User-agent: * – для всех поисковых роботов
User-agent: Googlebot – для поискового робота Google
Директива «Disallow»
Директива, запрещающая индексацию определённых файлов, страниц или категорий.
Эта директива применяется при необходимости закрыть дублирующие страницы (например, если это интернет-магазин, то страницы сортировки товаров, или же, если это новостной портал, то страницы печати новостей).
Также данная директива применима к «мусорным для поисковых роботов страницам». Такие страницы, как: «регистрация», «забыли пароль», «поиск» и тому подобные, – не несут полезности для поискового робота.
Примеры использования:
Disallow: /search – в данном случае мы исключим все страницы поиска, url которых начинаются с «/search».
Директива «Allow»
Директива, разрешающая индексировать страницы (по умолчанию поисковой системе открыт весь сайт для индексации). Данная директива используется с директивой «Disallow».
Директива «sitemap»
Данная директива указывает поисковому роботу путь к карте сайта в формате «XML».
Директива должна содержать в себе полный путь к файлу.
Sitemap: http://site.ua/sitemap.xml
Кому читать статью не очень удобно, вот ссылка на видео https://goo.gl/oUmddk
В двух словах расскажу что такое файл robots.txt. Это текстовый документ в котором написаны рекомендации, или так сказать правила для поисковых систем которые указывают им что нужно индексировать на нашем сайте, а что нет.
В создании и настройке файла robots.txt нет ничего сложного, нужно знать и понимать всего лишь несколько правил, о них чуть позже. А сейчас я предоставлю пример файла robots.txt который использую на своих блогах.
Также в сети интернет есть много сервисов, он-лайн генераторов для создания файла robots.txt. Вот ссылки на некоторые из них https://pr-cy.ru/robots/ , https://seolib.ru/tools/generate/robots/
И так когда наш файл создан или сгенерирован, его нужно вставить на наш сайт.
Переходим в панель управления блогом, в меню настройки,
настройки поиска,
пользовательский файл robots.txt , изменить, да.
И вставляем текст из созданного нами файла robots.txt в окошко.
Теперь осталось рассказать поисковым системам что у нас появился, или изменился файл robots.txt , но об этом в следующей статье.
Ссылка на скачивание файла https://goo.gl/tppcvr
Какие директивы существуют?
Директива «User-agent»
Директива, указывающая, для какого поискового робота написаны правила.
Примеры использования:
User-agent: * – для всех поисковых роботов
User-agent: Googlebot – для поискового робота Google
Директива «Disallow»
Директива, запрещающая индексацию определённых файлов, страниц или категорий.
Эта директива применяется при необходимости закрыть дублирующие страницы (например, если это интернет-магазин, то страницы сортировки товаров, или же, если это новостной портал, то страницы печати новостей).
Также данная директива применима к «мусорным для поисковых роботов страницам». Такие страницы, как: «регистрация», «забыли пароль», «поиск» и тому подобные, – не несут полезности для поискового робота.
Примеры использования:
Disallow: /search – в данном случае мы исключим все страницы поиска, url которых начинаются с «/search».
Директива «Allow»
Директива, разрешающая индексировать страницы (по умолчанию поисковой системе открыт весь сайт для индексации). Данная директива используется с директивой «Disallow».
Директива «sitemap»
Данная директива указывает поисковому роботу путь к карте сайта в формате «XML».
Директива должна содержать в себе полный путь к файлу.
Sitemap: http://site.ua/sitemap.xml
Ребята а как это понять?
ОтветитьУдалитьЕсли вы изменили файл robots.txt и запретили роботу AdSense индексировать страницы, то показ объявлений Google на вашем сайте будет невозможен.
Чтобы предоставить нашему роботу доступ к своим страницам, удалите из файла robots.txt следующие две строки:
User-agent: Mediapartners-Google
Disallow:
Это позволит нашему поисковому роботу индексировать содержание вашего сайта и сделает возможным показ объявлений Google. Учтите, что изменения в файле robots.txt могут не отражаться в нашем индексе до тех пор, пока роботы не попытаются снова проиндексировать Ваш сайт.
https://support.google.com/adsense/answer/10532
Уважаемы Александр, если дириктива «Disallow» прописана без слеша "/" (после двуеточия нет ничего) то это разрешает индексацию всего содержимого данным роботом
Удалить