Как создать файл robots txt — правильно и это важно!

Во вчерашней статье – мы поставили цели по достижению количества людей через два месяца, которые будут приходить к нам и читать наши статьи, комментировать и высказывать свое мнение.

Единственное, что забыла упомянуть – это, сколько же планируется потратить. Честно говоря, с бюджетом на сегодняшний день, пока не определилась окончательно. Давайте остановимся на идее того, что будем его модифицировать в зависимости от наших потребностей. Какие вообще расходы могут быть по сайту:

• Хостинг
• Домен
• Статьи – писать самим лень да и не умеем мы?
• Покупка ссылок
• Прочие плюшки типажа заказать программиста, который все сделает за нас, настроит и так далее – а еще лучше оптимизатора и просто смотреть, как сайт развивается

Наверное, при таком раскладе вообще не оптимально поднимать тему сайтостроении и продвижения. Поэтому мы остановимся на минимальных растратах.

• Хостинг
• Домен
• Минимум ссылок

Все остальное будем делать своими ручками, проклинать тексты, ругаться на код и бороться с рутиной.

Вернемся к нашему чек-листу. Вчера мы уже поговорили о том, что за минимум должен быть в нем – но пока, что на нашем сайте не было совершенно никакой информации по robot.txt. Поэтому сегодняшняя наша тема – это создание robot txt.

Как правильно создать robot txt и для чего он нужен?

Данный файл просто смертельно необходим и если в случае еще sitemap.xml мы можем говорить о том, что без него теоретически можно обойтись, то без robot txt – никак. Это файл, который ведет роботов поисковых систем по сайта, мягко намекая им о том, что нас надо скушать и пустить в индекс.

Созданию robot txt отведено огромное количество статей, но мне почему-то всегда было лень в этом разбираться, поэтому сегодня я буду разбираться с Вами, как бы это смешно не звучало.

Кстати, если Вам лень разбираться самостоятельно – сегодня я натыкалась на несколько вариантов создать robot txt онлайн, но мы пойдем по стандартному способу.

User-agent: *
Disallow /js
Host:
Lost: heulrakete.ru

Вот так простенько выглядит robot txt.

User-agent – при создание файла robot txt он непосредственно отвечает за то какие системы нас будут индексировать. Смело ставьте * — нам нужны все, так мы получим больше трафика!

В случае, если Вы хотите, чтобы «создать robot txt» был чисто для Яндекса – указываем Yandex вместо *, но так мы теряем огромное количество трафика – оно нам надо? Сомневаюсь.

Директива disallow – запрещаем индексирование определенных категорий, рубрик и так далее. Если у Вас вордпресс рекомендую запретить /tag – так как это будет портить нашу выдачу, мешать НЧ и вообще полная путаница – так что смело запрещаем (там еще и контента будет маловато).

И последнее в пункте как создать robot txt – это, конечно же, host – указываем зеркала нашего сайта и намекаем на индексирование всех лишь главного. Тут вопрос стоит как Вы хотите, чтобы Ваш сайт индексировался с www или же без.

Если у Вас остались вопросы – задавайте их. Мы практически закончили с подготовительным этапом и вскоре перейдем к следующему – к написанию правильных статей.

Подписаться
Уведомить о
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии