Вы не зашли.

#1 

VitrOn
Мастер
Имя: Андрей
Откуда: Россия
Зарегистрирован: 2009-09-09
Сообщений: 3445
На форуме: 721 час.
Репутация: 330 (95%) ±
Инфо  Вебсайт  Написать

Есть сайт, с доменом www.domain1.ru, на нем robots.txt такого содержания -

Какие последствия могут ожидать?

Отредактированно VitrOn (2013-01-28 02:14:01)

Неактивен

#2 

F_a_R_i_D
Мастер
Имя: Фарид
Откуда: Азербайджан,Баку
Зарегистрирован: 2008-01-21
Сообщений: 3467
На форуме: 562 час.
Репутация: 285 (80%) ±
Инфо  Вебсайт  Написать

http://robotstxt.org.ru/robotsexclusion/guide

для себя почитай, в дальнейщем понадобится.


Даже под самым красивым хвостом павлина скрывается самая обычная куриная жопа. Так что меньше пафоса, господа.

Портал и блогосоциальная сеть Кавказа
Сервис форумов

Неактивен

#3 

irbit
Новичок
Имя: Артём
Откуда: Россия
Зарегистрирован: 2015-01-09
Сообщений: 9
На форуме: 6 час.
Репутация: 0 (50%) ±
Инфо  Вебсайт  Написать

Добрый день!
Данный метод использования файла Robots.txt применяется, как наиболее эффективный в борьбе с так называемым "сопливым индексом". Но для его использования, вам обязательно следует прописать мета-тег robots на страницах вашего ресурса. Осуществить это можно, вставив в functions.php, расположенный в файлах вашей темы, в самом начале, после php тега <?php, следующую функцию. Которая и будет защищать ваш сайт от нежелательных дублей:

function mayak_meta_robots () {
if (is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search())
{
echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";
}
}
add_action('wp_head', 'mayak_meta_robots');


Обращаю ваше внимание, что данный способ я применяю на блоге: http://abrek-ad-abra.ru/ С использованием движка: WordPress. Сам же Robots.txt имеет следующий вид:
User-agent: *
Allow: /wp-content/uploads
Disallow: /wp-
Host: abrek-ad-abra.ru
Sitemap: http://abrek-ad-abra.ru/sitemap.xml

Отредактированно irbit (2015-02-02 14:07:31)

Неактивен

[ Generated in 0.005 seconds, 8 queries]