Файл robots.txt-правильная настройка.
Здравствуйте дорогие друзья!
В этой статье мы поговорим с вами что это такое файл robots.txt .
Прошу извинения, что долго не писал. Но у меня возникли не большие проблемы. Мне нужно было менять права, вроде бы ни чего серьезного. Но это только, на первый взгляд. А дело в том, что я живу в одном городе, а прописка в другом. И вот я столкнулся с такой ситуацией. Что проходя комиссию, психиатра и невропатолога нужно проходить только по месту прописки.
Вот такие у нас законы. Но хотя минздрав и хвалится, что они теперь работают даже по интернету. А элементарный запрос сделать не могут. Зато если пойдешь в платную, то там ни какой прописки не требуют.
Поэтому мне пришлось поездить из одного города в другой за сотни километров.
Ну а теперь к нашей теме.
Файл robots.txt
Robots.txt, как мы все это знаем, является одним из важных, при оптимизации хоть какого сайта.
WordPress robots.txt это файл который ограничивает доступ к содержимому
на вашем блоге.
Его отсутствие, может привести к большой нагрузке на сайт, со стороны поисковиков и медленной индексации и переиндексации. Ну а если к тому же он будет настроен неправильно, тогда сайт полностью может пропасть из поиска. Он просто-напросто не будет проиндексирован. Кстати как Создать бесплатно сайт на WordPress можете прочитать в моей статье.
Последующая и наверняка самая грубейшая ошибка, которую делает большая часть новичков.
Хотя не только лишь новички прокалываются на этом. Разговор пойдет о robots.txt.
Если мы сделаем запрос у Yandex либо Google, «как написать, либо как сделать robots.txt, то вы отыщите
несколько сот, а то и больше ответов на данный вопрос. Но если посмотреть на публикации, то вы увидите, что конкретного ответа нет. И в большинстве случаев, Вас обучат тому, что нельзя делать.
Robots.txt, есть ли правильный ответ
Это не от того, что кто-то хочет Вам зла – просто на этот вопрос по сути никто не знает толком ответа . Не будем сейчас вдаваться в теорию – мой блог и материал главным образом предназначен новичкам, и я буду рассказывать понятным языком. Я иногда тоже когда-то приобретал курсы, и обучался без помощи других создавать robots.txt, и как большая часть, повторил ошибки многих вебмастеров.
И так, давайте для начала вспомним, для чего нам нужен данный файл на нашем блоге. Если карту блога мы создаем для наших читателей. Чтобы им удобно было находить подходящий материал. А потом уже для поискового бота. То файл robots.txt как мы знаем, предназначен только для роботов.
Он указывает боту куда входить, а куда не надо. То есть, мы с вами закрываем то, что желаем утаить от бота. Но он гад непременно пойдет туда, куда мы его не желаем пускать.
И сделает свое темное дело – вознаградит нас разными «неожиданностями». Так может лучше не мешать ему? Пусть прогуливается всюду, а необходимое от индексации можно будет закрыть другими методами. А сейчас давайте поближе к делу. И так, заходим при помощи FileZilla в корневую папку собственного блога и скачиваем robots.txt.
Создаем правильный файл robots.txt
Если его у вас еще нет, тогда создайте его в текстовом блокноте.
Давайте правильно настроим данный robots.txt. Смотрим как он должен выглядеть.
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*? Disallow: /*?*
Disallow: /tag
Host: site.ru
Sitemap:https://ваш домен/sitemap.xml
где site.ru ваш сайт
Ожидайте переиндексации и Вы получите сдвиги в наилучшую сторону. Многие со мной могут не согласиться.
Но это дело уже каждого конкретного человека. Да кстати, проверить в этом случае файл robots,
можно пройдя по ссылке https://ваш сайт/robots.txt. На этом все. До скорой встречи.
Пока, пока.
Конкурс.
Условия конкурса читать в разделе Конкурсы.
⇒>> Начать разгадывать <<⇐
⇒>> Прислать ответ <<⇐
Ответы присылать с пометкой кроссворд.