-->

Как создать файл Robot.txt

В сегодняшней статье речь пойдет о немаловажном факторе в развитии нашего блога на блогспот, это файл robots.txt, его влияние очень велико на индексацию сайта в поисковых системах.
Кому читать статью не очень удобно, вот ссылка на видео https://goo.gl/oUmddk

В двух словах расскажу что такое файл robots.txt. Это текстовый документ в котором написаны рекомендации, или так сказать правила для поисковых систем которые указывают им что нужно индексировать на нашем сайте, а что нет.

В создании и настройке файла robots.txt нет ничего сложного, нужно знать и понимать всего лишь несколько правил, о них чуть позже. А сейчас я предоставлю пример файла robots.txt который использую на своих блогах.


Также в сети интернет есть много сервисов, он-лайн генераторов для создания файла robots.txt. Вот ссылки на некоторые из них https://pr-cy.ru/robots/ , https://seolib.ru/tools/generate/robots/

И так когда наш файл создан или сгенерирован, его нужно вставить на наш сайт.

Переходим в панель управления блогом, в меню настройки,


настройки поиска,

пользовательский файл robots.txt , изменить, да.

И вставляем текст из созданного нами файла robots.txt  в окошко.

Теперь осталось рассказать поисковым системам что у нас появился, или изменился  файл robots.txt , но об этом в следующей статье.

Ссылка на скачивание файла https://goo.gl/tppcvr

Какие директивы существуют?
Директива «User-agent»
Директива, указывающая, для какого поискового робота написаны правила.
Примеры использования:
User-agent: * – для всех поисковых роботов
User-agent: Googlebot – для поискового робота Google
Директива «Disallow»
Директива, запрещающая индексацию определённых файлов, страниц или категорий.
Эта директива применяется при необходимости закрыть дублирующие страницы (например, если это интернет-магазин, то страницы сортировки товаров, или же, если это новостной портал, то страницы печати новостей).
Также данная директива применима к «мусорным для поисковых роботов страницам». Такие страницы, как: «регистрация», «забыли пароль», «поиск» и тому подобные, – не несут полезности для поискового робота.
Примеры использования:
Disallow: /search – в данном случае мы исключим все страницы поиска, url которых начинаются с «/search».
Директива «Allow»
Директива, разрешающая индексировать страницы (по умолчанию поисковой системе открыт весь сайт для индексации). Данная директива используется с директивой «Disallow».
Директива «sitemap»
Данная директива указывает поисковому роботу путь к карте сайта в формате «XML».
Директива должна содержать в себе полный путь к файлу.
Sitemap: http://site.ua/sitemap.xml  

3 комментария:

  1. Ребята а как это понять?
    Если вы изменили файл robots.txt и запретили роботу AdSense индексировать страницы, то показ объявлений Google на вашем сайте будет невозможен.
    Чтобы предоставить нашему роботу доступ к своим страницам, удалите из файла robots.txt следующие две строки:

    User-agent: Mediapartners-Google
    Disallow:

    Это позволит нашему поисковому роботу индексировать содержание вашего сайта и сделает возможным показ объявлений Google. Учтите, что изменения в файле robots.txt могут не отражаться в нашем индексе до тех пор, пока роботы не попытаются снова проиндексировать Ваш сайт.
    https://support.google.com/adsense/answer/10532

    ОтветитьУдалить
    Ответы
    1. Уважаемы Александр, если дириктива «Disallow» прописана без слеша "/" (после двуеточия нет ничего) то это разрешает индексацию всего содержимого данным роботом

      Удалить
  2. NAGAQQ: AGEN BANDARQ BANDARQ ONLINE ADUQ ONLINE DOMINOQQ TERBAIK

    Yang Merupakan Agen Bandarq, Domino 99, Dan Bandar Poker Online Terpercaya di asia hadir untuk anda semua dengan permainan permainan menarik dan bonus menarik untuk anda semua

    Bonus yang diberikan NagaQQ :
    * Bonus rollingan 0.5%,setiap senin di bagikannya
    * Bonus Refferal 10% + 10%,seumur hidup
    * Bonus Jackpot, yang dapat anda dapatkan dengan mudah
    * Minimal Depo 15.000
    * Minimal WD 20.000
    * Deposit via Pulsa TELKOMSEL & XL
    * 6 JENIS BANK ( BCA , BNI, BRI , MANDIRI , CIMB

    Memegang Gelar atau title sebagai AGEN POKER ONLINE Terbaik di masanya

    Games Yang di Hadirkan NagaQQ :
    * Poker Online
    * BandarQ
    * Domino99
    * Bandar Poker
    * Bandar66
    * Sakong
    * Capsa Susun
    * AduQ
    * Perang Bacarrat (New Game)


    Info Lebih lanjut Kunjungi :
    Website : NAGAQQ
    Facebook : Facebook
    WHATSAPP : +855977509035
    Line : Cs_nagaQQ
    TELEGRAM :+855967014811

    BACA JUGA BLOGSPORT KAMI YANG LAIN:
    Cerita seks
    Winner NagaQQ
    story world
    Daftar NagaQQ

    ОтветитьУдалить

Технологии Blogger.