[Статья] Описание частей robots.txt для uCoz сайта (основы для создания своего robots.txt у себя на сайте)

Всем привет! С Вами GaV, и сегодня я буду рассказывать во всех подробностях о правильном заполнение файла robots.txt. Из данной статьи Вы узнаете много новой и полезной информации. Если Вы некогда не сталкивались и тем более не создавали собственными руками robots.txt для своего сайта, то данная статья будет для Вас очень полезна и познавательна. В данной статье будут подробно рассмотрены такие вопросы как:

1) Для чего же нужен robots.txt и какая от него польза?
2) Где находится robots.txt на сайте uCoz, как его найти и изменить?
3) С какой буквы следует заполнять robots.txt (заглавной или маленькой)?
4)Какой знак ставится, чтоб все поисковики индексировали страницы сайта? Так же тут я расскажу, что и где нужно прописывать, чтоб сайт индексировался только одним конкретным поисковиком
5) Куда устанавливается «/» (слэш) чтоб robots.txt индексировал или не индексировал конкретный раздел полностью или только его часть?
6) Как правильно заполнить строку «Host» для поискового робота, чтоб он ее просматривал?
7) Какую ссылку нужно указывать для регистрации «www.» или «http//»?
8) Как правильно сохранить файл robots.txt и задать ему имя?
9) Как «залить» robots.txt на свой сайт в «Файловый менеджер»?

Мы начнем изучать robots.txt с простого к более сложно (в таком порядке выстроены вопросы и в таком же порядке Вы будите получать на них ответы). Приступим…

Вопрос №1. «Для чего же нужен robots.txt и какая от него польза?»
Ответ №1. Файл robots.txt очень полезен для Вашего сайта, он (файл robots.txt) выполняет функцию так сказать «секьюрити» который разрешает поисковикам индексировать или не индексировать определенные разделы (страницы) Вашего сайта. Часто бывает, что поисковые роботы, зайдя на сайт где неправильно составлен robots.txt индексируют (или совсем нечего не индексируют сайт) все подряд в плоть до страниц пользователей или админ бара. По сути не кто в интернете не будет искать пользователя с Вашего сайт, проще зайти на сайт и зная ник найти пользователя прямо на сайте, а представьте ситуацию когда человек «вбивает» адрес Вашего сайта, а ему в ответ показывают Вашу админ панель…. Эти мелочи во первых отталкивают пользователей, а во вторых в индекс поисковика попадает то, от чего пользы 0% и не более и то, что в индексе у поисковика будет 1000 страниц всего подряд – это не лучше чем, если страниц будет всего 250 и все они будут действительно реальными, а не просто «пшик». Правильно составленный robots.txt позволит Вам разрешит или запретить индексацию определенных страниц Вашего сайта, так же в robots.txt можно указать, чтоб только один определенный поисковик (поисковый робот), а не все как это обычно бывает, индексировали страницы Вашего сайта.

Вопрос №2. «Где находится robots.txt на сайте uCoz, как его найти и изменить?»
Ответ №2. Файл robots.txt на сайте uCoz находится по умолчанию в ФМ (файловом менеджере) и его там не видно, он визуально скрыт для того чтоб неопытный WEB мастер случайно его не удалил. Скрытый файл robots.txt настроен по умолчанию (по стандарту), что позволяет поисковым роботам на начальном этапе развития Вашего сайта индексировать то, что наиболее актуально. Но Вам не стоит забывать, что затягивать надолго с создание своего собственного (нестандартного) файла robots.txt не стоит, так как это может неблагоприятно отразиться на развитии Вашего сайта в будущем.
Изменить файл robots.txt очень прост, нужно просто создать документ txt. (блокнот), вписать в него свои параметры сайта, задать ему правильное имя и правильно его сохранить, после этого созданный файл robots.txt нужно «залить» в ФМ своего сайта. Автоматически после «залития» файла robots.txt к себе на сайт, стандартный файл robots.txt исчезнет, и поисковики будут ориентироваться (что индексировать, а что нет) по залитому файлу robots.txt в ФМ.


Вопрос №3. «С какой буквы следует заполнять robots.txt (заглавной или прописной)?»
Ответ №3. При создание собственного файла robots.txt не следует в каких либо местах писать текст с заглавной буквы кроме начала строки. Вот правильный пример заполнения файла robots.txt:


а это не правильный пример заполнения файла robots.txt:


Вопрос №4. «Какой знак ставится, чтоб все поисковики индексировали страницы сайта? Так же тут я расскажу, что и где нужно прописывать, чтоб сайт индексировался только одним конкретным поисковиком»
Ответ №4. В самом начале составления файла robots.txt мы прописываем опцию которая означает какие поисковики (поисковые роботы) смогут индексировать разделы, которые будут ниже, а какие не смогут. Первой строкой идет надпись User-agent: после нее стоит поставить «*» (звездочку) если Вы желаете чтоб Ваш сайт индексировали все поисковики (поисковые роботы), но если Вы желаете чтоб Ваш сайт индексировал к примеру только «google», то Вы должны вставить не «*», а прописать имя поисковика «google». Смотрим пример ниже:


Отсюда следует, что при желании Вы сможете прописать имя любого поисковика и только он будет индексировать Ваш сайт, остальные поисковые роботы его не будут затрагивать страницы Вашего сайта вообще.

Вопрос №5. «Куда устанавливается «/» (слэш) чтоб robots.txt индексировал или не индексировал конкретный раздел полностью или только его часть?»
Ответ №5. Слэш – это косая черточка «/» устанавливается в разные места при составление файла robots.txt Если поставить слэш вот так: «Disallow: /informer/» (взяв им в скобки слово «informer»), то мы запретим поисковикам индексировать только данный раздел (конкретно одну директорию информеров), но если мы поставим слэш вот так: «Disallow: /mchat», то все то что будет в разделе мини-чата не будет индексироваться, так как поисковой робот автоматически распознает это действие как «Запрет на индексацию полностью всего раздела». Сколько теперь информации будет добавлено в мини-чат или его разделы и под разделы, она некогда не будет проиндексирована, пока Вы не измените файл robots.txt.


Вопрос №6. «Как правильно заполнить строку «Host» для поискового робота, чтоб он ее просматривал?»
Ответ №6. В данном случае все предельно просто, а именно…. От Вас требуется написать «Host: адрес своего сайта (Host: pontov.ucoz.net)». Обратите внимание, что строка начинается с заглавной буквы, а все остальные буквы являются прописными и ни в коем случае нельзя перепутать, так как это приведет к тому, что поисковый робот не сможет проиндексировать то, что ему разрешено индексировать через robots.txt.
В этом же пункте (строке) нужно указать правильно адрес сайта, а именно… Если Вы при регистрации в поисковиках указали вот такой адрес www.pontov.ucoz.net то так же и нужно указывать в Host (Host: www.pontov.ucoz.net), если Вы при регистрации сайта в поисковиках указали его имя вот так http//pontov.ucoz.net, то и в Host нужно писать именно так (Host: http//pontov.ucoz.net). Если написать адрес сайта не так как Вы указали при регистрации в поисковике, то сайт будет рассмотрен поисковым роботом как совсем другой и получится два разных сайт но с одинаковым стержнем (http//pontov.ucoz.net и www.pontov.ucoz.net), это плохо отразится на Вашем сайте в целом. Правильный хост должен выглядеть вот та:


Вопрос №7. Какую ссылку нужно указывать для регистрации «www.» или «http//»?
Ответ №7. Разницы нет в том, как регистрировать свой сайт в поисковиках, так как в целом это не принципиально, но Вам не стоит забывать о том, что если Вы в поисковике зарегистрировали свой сайт через WWW, то и в robots.txt вы должны писать WWW.pontov.ucoz.net (смотрите ответ на вопрос №6)

Вопрос №8. Как правильно сохранить файл robots.txt и задать ему имя?
Ответ №8. После то как Вы уже закончили редактировать свой файл robots.txt заходите в раздел «Файл» > «Сохранить как…». В открывшивсем окне Вам нужно выбрать куда будет сохранен файл robots.txt у Вас в компьютере > задать правильное имя файлу (в этом пункте пишем robots.txt, (данное название пишется с маленькой буквы и без пробелов)) > выбрать тип файла (выбираем Текстовый документ (*.txt)) > выбираем кодировку ANSI > жмем кнопку «Сохранить».




Вопрос №9. Как «залить» robots.txt на свой сайт в «Файловый менеджер»?
Ответ №9. Тут все очень просто и от Вас требуется только открыть «Файловый менеджер» на своем сайте > найти файл, который Вы сохранили у себя на компьютере > и выбрать пункт «Загрузить файл» и все. Вот так у Вас должно получиться в файловом менеджере вашего сайта:
Так же выбрав пункт «Изменить содержимое файла» вы сможете, прям в своем файловом менеджере, при надобности отредактировать файл robots.txt




От себя я добавлю к данной статье один из вариантов файла robots.txt для того, чтобы Вы не набирали все описанное выше в ручную, а просто оставили то, что считаете нужным и дописали свое.



Еще хочется попросить Вас быть внимательными и не допускать грамматических ошибок при создание файла robots.txt, так как это повлечет частичную или полную его не работоспособность.
С Вами был GaV, до новых статей…

Все права на данный урок принадлежат только сайту www.pontov.ucoz.net, при копировании урока ссылка на источник обязательна, в противном случае на Вас будет подана жалоба по статье 146. Нарушение авторских и смежных прав.