Цитата:
Сообщение от sim0n
Цитата:
Сообщение от Andrusha
Только что потестил, бот перешел - по индексу сообщу )) до конца дня. Пока бот зашел с юзергаентом ютьюба и не глубже той страницы, что в видео было.
|
ну что получилось?)
|
По логам через часа два бот зашел, но в индекс не скушало до сих пор
[17/Dec/2018:13:00:47 +0100] "GET /test/google-index HTTP/1.1" 200 10890 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
[17/Dec/2018:13:03:03 +0100] "GET /test/google-index HTTP/1.1" 200 10889 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
[17/Dec/2018:13:05:31 +0100] "GET /test/google-index HTTP/1.1" 200 10890 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"