Запретить гугл бота?.

[balamutik]

Как запретить полностью гуглу просматривать сайт? Думаю на дорах запретить его,трафа с гугла всё равно нету,всё в соплях,а нагрузку создаёт приличную,доры заточены под яндекс,хочется побольше доров на сервак засовывать.Как думаете есть смысл?.
Или чего ему надо? Индексит всё,а в выдачу не ставит,сабы,свежерег домены,проспамить их? Раньше хватало на 5-6 сайтах проставить ссылки для топа,потом как-то наебнулось всё.

[Drg]

Лично я сделал robots.txt и там указал:
User-agent: *
Disallow: /
Однако если на сайт ссылок много, гуглбот все равно будет шариться( только если банить в .htaccess всех по юзерагент-гугл-ботов или по IP.

[Hesoyam]

Сообщение от Drg

Лично я сделал robots.txt и там указал:
User-agent: *
Disallow: /

User-agent: Google
Disallow: /

[Пиллигрим]

Да мог бы сам погуглить

Символ # используется для обозначения начала комментария (текст, игнорируемый роботом). Например:
User-agent: * #Запрет индексации папки cgi
Disallow: /cgi/
Пример 1. Разрешаем индексировать все страницы сайта всем поисковикам (примечание: эквивалентом данной инструкции будет пустой файл robots.txt):
User-agent: *
Disallow:
Пример 2. Запрещаем индексировать все страницы сайта всем поисковикам:
User-agent: *
Disallow: /
Пример 3. Разрешаем индексировать всем кроме Яндекса:
User-agent: Yandex
Disallow: /
Пример 4. Запрещаем индексировать всем поисковикам кроме Яндекса (примечание: обратите внимание на обязательную пустую строку между двумя инструкциями, без нее файл не будет воспринят правильно)
User-agent: Yandex
Disallow:
User-agent: *
Disallow: /
Пример 5. Яндексу запрещаем индексировать папки cgi и images, а Апорту файлы myfile1.htm и myfile2.htm в директории dir
User-agent: Yandex
Disallow: /cgi/
Disallow: /images/
User-agent: Aport
Disallow: /dir/myfile1.htm
Disallow: /dir/myfile2.htm
Пример 6. Весьма актуальная проблема. Запрещаем индексировать динамические ссылки, пример (?sl=…) всем поисковикам:
User-agent: *
Disallow: /*?sl* #Запрет индексации динамических ссылок
Пример 7. Указание значения для Disallow без открывающего слеша приведет к тому, что робот пропустит не только папки с таким именем, но и файлы. В следующем примере, роботы не будут индексировать папку с именем myfile, а также все файлы, имеющие данное имя например myfile.php.
User-agent: *
Disallow: myfile
Пример 8. Итоговый пример файла robots.txt
User-agent: * #Запрет индексации папок cgi и images для всех поисковиков
Disallow: /cgi/
Disallow: /images/
User-agent: Google #Запрет индексации файлов myfile1.htm и myfile2.htm для Google
Disallow: /myfile1.htm
Disallow: /myfile2.htm
User-agent: * #Запрет индексации файлов spisok.php и vsakaya-fignya.php для всех поисковиков
Disallow: /spisok.php
Disallow: /vsakaya-fignya.php
User-agent: *
Disallow: /*?sl* #Запрет индексации динамических ссылок с переменной sl

[megtraff]

У Жоры много трафа, но такие вопросы задает Просто убивает.

[Strikelol]

Сообщение от Drg

Лично я сделал robots.txt и там указал:
User-agent: *
Disallow: /
Однако если на сайт ссылок много, гуглбот все равно будет шариться( только если банить в .htaccess всех по юзерагент-гугл-ботов или по IP.

И кто индексирует теперь?

[Drg]

Да Hesoyam, прав, я выложил роботс.txt со своего фида, который не надо индексировать совсем. Я не заметил, что ТС писал про Яндекс.

[balamutik]

Спасибо большое,а может кто-нибудь подсказать более дешёвые домены под яндекс чем .ру? Что бы индексировались так же хорошо?.

[rgb]

Сообщение от balamutik

Спасибо большое,а может кто-нибудь подсказать более дешёвые домены под яндекс чем .ру? Что бы индексировались так же хорошо?.

Да куда ж дешевле то? Итак по 2,5$ штука

[balamutik]

Это где по 2.5$? Я самые дешёвые по 89р брал.
Когда сотнями берёшь хочется сэкономить.Может какие-нибудь .инфо или .ин?.