Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Поисковые системы
Дата
USD/RUB58.8570
BTC/USD0.0000
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д.

Закрытая тема
Опции темы Опции просмотра
Старый 10.04.2012, 15:01   #1
balamutik
Страдаю приступами политических высеров.
 
Аватар для balamutik
 
Регистрация: 12.12.2007
Сообщений: 2,091
Бабло: $371815
По умолчанию Запретить гугл бота?.

Как запретить полностью гуглу просматривать сайт? Думаю на дорах запретить его,трафа с гугла всё равно нету,всё в соплях,а нагрузку создаёт приличную,доры заточены под яндекс,хочется побольше доров на сервак засовывать.Как думаете есть смысл?.
Или чего ему надо? Индексит всё,а в выдачу не ставит,сабы,свежерег домены,проспамить их? Раньше хватало на 5-6 сайтах проставить ссылки для топа,потом как-то наебнулось всё.
__________________
http://goo.gl/duXu9C - парсер контента, 08C8ACDC7131414A промокод на скидку 40%.http://goo.gl/JUU4Lu - 100% бонус первого платежа + месяц халявы на VPS по промокоду EBP1EYB.

Последний раз редактировалось balamutik; 10.04.2012 в 15:07.
balamutik вне форума  
Старый 10.04.2012, 15:24   #2
Drg
Senior Member
 
Регистрация: 19.09.2009
Сообщений: 4,100
Бабло: $611505
По умолчанию

Лично я сделал robots.txt и там указал:
User-agent: *
Disallow: /
Однако если на сайт ссылок много, гуглбот все равно будет шариться( только если банить в .htaccess всех по юзерагент-гугл-ботов или по IP.
Drg вне форума  
Старый 10.04.2012, 15:50   #3
Hesoyam
Ебланнед
 
Регистрация: 27.03.2012
Адрес: Взросляндия
Сообщений: 42
Бабло: $16205
По умолчанию

Цитата:
Сообщение от Drg Посмотреть сообщение
Лично я сделал robots.txt и там указал:
User-agent: *
Disallow: /
User-agent: Google
Disallow: /
__________________
Заблокирован! Причина: Реклама Фин. Пирамиды в подписи. (by Inquisitor)
Hesoyam вне форума  
Старый 10.04.2012, 16:03   #4
Пиллигрим
Senior Member
 
Аватар для Пиллигрим
 
Регистрация: 08.08.2008
Адрес: ЛНР
Сообщений: 1,458
Бабло: $321450
Отправить сообщение для Пиллигрим с помощью ICQ
По умолчанию

Да мог бы сам погуглить
Цитата:
Символ # используется для обозначения начала комментария (текст, игнорируемый роботом). Например:
User-agent: * #Запрет индексации папки cgi
Disallow: /cgi/
Пример 1. Разрешаем индексировать все страницы сайта всем поисковикам (примечание: эквивалентом данной инструкции будет пустой файл robots.txt):
User-agent: *
Disallow:

Пример 2. Запрещаем индексировать все страницы сайта всем поисковикам:
User-agent: *
Disallow: /

Пример 3. Разрешаем индексировать всем кроме Яндекса:
User-agent: Yandex
Disallow: /

Пример 4. Запрещаем индексировать всем поисковикам кроме Яндекса (примечание: обратите внимание на обязательную пустую строку между двумя инструкциями, без нее файл не будет воспринят правильно)
User-agent: Yandex
Disallow:

User-agent: *
Disallow: /

Пример 5. Яндексу запрещаем индексировать папки cgi и images, а Апорту файлы myfile1.htm и myfile2.htm в директории dir
User-agent: Yandex
Disallow: /cgi/
Disallow: /images/

User-agent: Aport
Disallow: /dir/myfile1.htm
Disallow: /dir/myfile2.htm

Пример 6. Весьма актуальная проблема. Запрещаем индексировать динамические ссылки, пример (?sl=…) всем поисковикам:
User-agent: *
Disallow: /*?sl* #Запрет индексации динамических ссылок
Пример 7. Указание значения для Disallow без открывающего слеша приведет к тому, что робот пропустит не только папки с таким именем, но и файлы. В следующем примере, роботы не будут индексировать папку с именем myfile, а также все файлы, имеющие данное имя например myfile.php.
User-agent: *
Disallow: myfile

Пример 8. Итоговый пример файла robots.txt
User-agent: * #Запрет индексации папок cgi и images для всех поисковиков
Disallow: /cgi/
Disallow: /images/

User-agent: Google #Запрет индексации файлов myfile1.htm и myfile2.htm для Google
Disallow: /myfile1.htm
Disallow: /myfile2.htm

User-agent: * #Запрет индексации файлов spisok.php и vsakaya-fignya.php для всех поисковиков
Disallow: /spisok.php
Disallow: /vsakaya-fignya.php

User-agent: *
Disallow: /*?sl*
#Запрет индексации динамических ссылок с переменной sl
Пиллигрим вне форума  
Старый 10.04.2012, 16:08   #5
megtraff
Ебланнед
 
Регистрация: 22.02.2012
Сообщений: 53
Бабло: $17260
По умолчанию

У Жоры много трафа, но такие вопросы задает Просто убивает.
megtraff вне форума  
Старый 10.04.2012, 16:47   #6
Strikelol
Senior Member
 
Регистрация: 31.03.2011
Сообщений: 3,056
Бабло: $632595
По умолчанию

Цитата:
Сообщение от Drg Посмотреть сообщение
Лично я сделал robots.txt и там указал:
User-agent: *
Disallow: /
Однако если на сайт ссылок много, гуглбот все равно будет шариться( только если банить в .htaccess всех по юзерагент-гугл-ботов или по IP.
И кто индексирует теперь?
Strikelol вне форума  
Старый 10.04.2012, 17:07   #7
Drg
Senior Member
 
Регистрация: 19.09.2009
Сообщений: 4,100
Бабло: $611505
По умолчанию

Да Hesoyam, прав, я выложил роботс.txt со своего фида, который не надо индексировать совсем. Я не заметил, что ТС писал про Яндекс.
Drg вне форума  
Старый 10.04.2012, 17:54   #8
balamutik
Страдаю приступами политических высеров.
 
Аватар для balamutik
 
Регистрация: 12.12.2007
Сообщений: 2,091
Бабло: $371815
ТС -->
автор темы ТС По умолчанию

Спасибо большое,а может кто-нибудь подсказать более дешёвые домены под яндекс чем .ру? Что бы индексировались так же хорошо?.
__________________
http://goo.gl/duXu9C - парсер контента, 08C8ACDC7131414A промокод на скидку 40%.http://goo.gl/JUU4Lu - 100% бонус первого платежа + месяц халявы на VPS по промокоду EBP1EYB.
balamutik вне форума  
Старый 10.04.2012, 18:07   #9
rgb
Senior Member
 
Аватар для rgb
 
Регистрация: 19.09.2010
Сообщений: 639
Бабло: $163098
По умолчанию

Цитата:
Сообщение от balamutik Посмотреть сообщение
Спасибо большое,а может кто-нибудь подсказать более дешёвые домены под яндекс чем .ру? Что бы индексировались так же хорошо?.
Да куда ж дешевле то? Итак по 2,5$ штука
rgb вне форума  
Старый 10.04.2012, 18:18   #10
balamutik
Страдаю приступами политических высеров.
 
Аватар для balamutik
 
Регистрация: 12.12.2007
Сообщений: 2,091
Бабло: $371815
ТС -->
автор темы ТС По умолчанию

Это где по 2.5$? Я самые дешёвые по 89р брал.
Когда сотнями берёшь хочется сэкономить.Может какие-нибудь .инфо или .ин?.
__________________
http://goo.gl/duXu9C - парсер контента, 08C8ACDC7131414A промокод на скидку 40%.http://goo.gl/JUU4Lu - 100% бонус первого платежа + месяц халявы на VPS по промокоду EBP1EYB.
balamutik вне форума  
Закрытая тема



Опции темы
Опции просмотра