|
| Дата |
|
USD/RUB | 90.2486 | BTC/USD | 69283.0007 |
|
|
|
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д. |
11.09.2020, 15:36
|
Start Post: Возможности низкочастотного обхода алгоритма BERT
|
Senior Member
Регистрация: 10.05.2018
Сообщений: 235
Бабло: $54940
|
Привет друзья, хотел бы обсудить Google , безраздельно властвующий там алгоритм BERT и ваши/наши способы обхода его
Берт это алгоритм глубокого обучения поисковых систем, который базируется на технологии обработки естественного языка (НЛП) на основе нейронной сети
Коротенькая справка что такое Bert , только своими словами
Алгоритм анализирует низкочастотный ключевик не словоформу целиком, а разделив на части и проанализировав с помощью алогоритмов нейросетей выдает релевантную выдачу с помощью крупных сайтов , зах*рив нащи дорвейчики
Внимание вопрос: что делать ?
По опыту - дорвеи в приниципе живы и получают кое какой нч-трафик, но не так как раньше
В принципе немного заморочилс, добавил контента спаршенного, сделал автопостинг, кое какие ключи все так берт не затронул
Какой метод предпологается: добавить контента оригинального, оптимизировать под запрос
Внимание вопрос, кто как обходит Берт и есть ли трафик по НЧ ?
|
|
|
14.09.2020, 09:19
|
#22
|
Senior Member
Регистрация: 29.01.2015
Сообщений: 487
Бабло: $66495
|
Цитата:
Сообщение от Dor
Ну в моем понимании динамика - это когда отдает контент пхп или что то альтернативное. (контент может как меняться, так и не меняться со временем)
Статика - залитые или сгенеренные физические .htm* файлы. И отдает их вебсервер. Их можно тоже обновлять в принципе(дописывать или модифицировать контент).
|
Каким образом отдавать ссылки на партнёрки при таком способе генерации?
Статическая ссылка на ТДС с баннера? А если нужно заменить домен, то лопатить тонны hmtl-файлов(пусть не руками, а скриптом - один хрен, это геморрой...)?
|
|
|
14.09.2020, 10:11
|
#23
|
Ебланнед
Регистрация: 02.10.2015
Сообщений: 2,142
Бабло: $270665
|
Цитата:
Сообщение от gumu
Цитата:
Сообщение от Dor
Ну в моем понимании динамика - это когда отдает контент пхп или что то альтернативное. (контент может как меняться, так и не меняться со временем)
Статика - залитые или сгенеренные физические .htm* файлы. И отдает их вебсервер. Их можно тоже обновлять в принципе(дописывать или модифицировать контент).
|
Каким образом отдавать ссылки на партнёрки при таком способе генерации?
Статическая ссылка на ТДС с баннера? А если нужно заменить домен, то лопатить тонны hmtl-файлов(пусть не руками, а скриптом - один хрен, это геморрой...)?
|
Можно же не html генерить, а php статику с инклудом txt в котором ссылка на партнерку
Можно на дорах ссылаться на домен-прокладку, а с него 302 редирект на домен с тдс
|
|
|
14.09.2020, 10:36
|
#24
|
Senior Member
Регистрация: 24.01.2013
Сообщений: 1,563
Бабло: $213575
|
Цитата:
Сообщение от gumu
Цитата:
Сообщение от Dor
Ну в моем понимании динамика - это когда отдает контент пхп или что то альтернативное. (контент может как меняться, так и не меняться со временем)
Статика - залитые или сгенеренные физические .htm* файлы. И отдает их вебсервер. Их можно тоже обновлять в принципе(дописывать или модифицировать контент).
|
Каким образом отдавать ссылки на партнёрки при таком способе генерации?
Статическая ссылка на ТДС с баннера? А если нужно заменить домен, то лопатить тонны hmtl-файлов(пусть не руками, а скриптом - один хрен, это геморрой...)?
|
можно в шаблоне подключить внешний JS файл (несколько файлов в нужных местах) и там выводить рекламу. Править придется в 1 месте тогда.
Цитата:
Сообщение от Бздетектив
Можно же не html генерить, а php статику с инклудом txt в котором ссылка на партнерку
|
Не уверен, что был бы такой эффект, если сгенерить кучу php файлов , вместо html .
Если дело в http заголовках. Возможно, гугл дает какой то другой вес статике.
Попробовать полностью эмулировать заголовки - то может быть.
Но разница точно была одно время у меня.
Сейчас статику не генерю давно. ничего не могу сказать. Пока динамика лезет как то, со скрипом...
Последний раз редактировалось Dor; 14.09.2020 в 10:45.
|
|
|
14.09.2020, 11:48
|
#25
|
$400
Регистрация: 17.05.2009
Сообщений: 14,034
Бабло: $1904260
|
Цитата:
Сообщение от Трафуха
Коротенькая справка что такое Bert , только своими словами
Алгоритм анализирует низкочастотный ключевик не словоформу целиком, а разделив на части и проанализировав с помощью алогоритмов нейросетей выдает релевантную выдачу с помощью крупных сайтов , зах*рив нащи дорвейчики
|
раньше тоже самое было
Bidirectional Encoder Representations from Transformers
https://github.com/google-research/bert
судя по тому, что он по маскам разбирает предложение, возникает вопрос важности и целесообразности использования в тексте точного вхождения нч лонгтейлов
Input: the man went to the [MASK1] . he bought a [MASK2] of milk.
Labels: [MASK1] = store; [MASK2] = gallon
|
|
|
14.09.2020, 12:00
|
#26
|
сыроед
Регистрация: 01.10.2015
Сообщений: 15,877
Бабло: $1862895
|
Цитата:
Сообщение от slurp
статика от динамики может отличаться только отдаваемыми хедерами или тем фактом, что страница меняется от запроса к запросу.
Например, проверить хедеры X-Powered-By, Content-Type, Content-Length. Да и статика должна кешироваться, т.е. 304 ответ, E-Tag и т.п.
|
хедеры ниачом. Самое главное - неизменность контента.
А если, например, сервер отдаёт 304, а гугл видит, что контент отличается от сохранённого, то он сервер запишет в "глюкавые".
Все эти статусы можно руками исправить в исходниках. Как и поведение.
Цитата:
Сообщение от Dor
Цитата:
Сообщение от IDL
Цитата:
Сообщение от Dor
У самого, было дело, перестали нести траф доры динамические по фарме (контент кешировался. и отдавался один и тот же потом)
|
Так это получается не динамические доры, по факту что бот видит одинаковый контент в любой момент времени
|
Ну в моем понимании динамика - это когда отдает контент пхп или что то альтернативное. (контент может как меняться, так и не меняться со временем)
Статика - залитые или сгенеренные физические .htm* файлы. И отдает их вебсервер. Их можно тоже обновлять в принципе(дописывать или модифицировать контент).
|
html-файлы можно изменить
статика - это именно контент
Последний раз редактировалось веломан; 14.09.2020 в 12:14.
|
|
|
14.09.2020, 13:21
|
#27
|
Senior Member
Регистрация: 25.09.2016
Адрес: London
Сообщений: 318
Бабло: $44305
|
Запускал наделю назад 2 пачки, контент генерится на лету, но в одной страницы отдается при заходе бота или юзера одинаковые всегда, а в другом случает меняется часть контента. Так там где меняется пошел быстро траф, 2 дня все сайты выплюноло.
|
|
|
14.09.2020, 15:55
|
#28
|
Senior Member
Регистрация: 29.11.2016
Сообщений: 128
Бабло: $26835
|
Цитата:
Сообщение от веломан
хедеры ниачом. Самое главное - неизменность контента.
А если, например, сервер отдаёт 304, а гугл видит, что контент отличается от сохранённого, то он сервер запишет в "глюкавые".
Все эти статусы можно руками исправить в исходниках. Как и поведение.
|
Ответ был о том, как полностью имитировать статику, чтоб поисковик не имел возможности понять, что она генерится налету. Конечно, главное - неизменность контента.
Цитата:
Сообщение от Dor
Не уверен, что был бы такой эффект, если сгенерить кучу php файлов , вместо html .
Если дело в http заголовках. Возможно, гугл дает какой то другой вес статике.
Попробовать полностью эмулировать заголовки - то может быть.
Но разница точно была одно время у меня.
Сейчас статику не генерю давно. ничего не могу сказать. Пока динамика лезет как то, со скрипом...
|
возможно, еще влияет время ответа сервера. Динамика дольше генерится. Если используется cloudflare, то статика может им закешироваться, что дополнительно ускорит загрузку страницы
|
|
|
14.09.2020, 16:12
|
#29
|
Senior Member
Регистрация: 24.01.2013
Сообщений: 1,563
Бабло: $213575
|
Цитата:
Сообщение от веломан
Цитата:
Сообщение от slurp
статика от динамики может отличаться только отдаваемыми хедерами или тем фактом, что страница меняется от запроса к запросу.
Например, проверить хедеры X-Powered-By, Content-Type, Content-Length. Да и статика должна кешироваться, т.е. 304 ответ, E-Tag и т.п.
|
хедеры ниачом. Самое главное - неизменность контента.
А если, например, сервер отдаёт 304, а гугл видит, что контент отличается от сохранённого, то он сервер запишет в "глюкавые".
Все эти статусы можно руками исправить в исходниках. Как и поведение.
Цитата:
Сообщение от Dor
Цитата:
Сообщение от IDL
Цитата:
Сообщение от Dor
У самого, было дело, перестали нести траф доры динамические по фарме (контент кешировался. и отдавался один и тот же потом)
|
Так это получается не динамические доры, по факту что бот видит одинаковый контент в любой момент времени
|
Ну в моем понимании динамика - это когда отдает контент пхп или что то альтернативное. (контент может как меняться, так и не меняться со временем)
Статика - залитые или сгенеренные физические .htm* файлы. И отдает их вебсервер. Их можно тоже обновлять в принципе(дописывать или модифицировать контент).
|
html-файлы можно изменить
статика - это именно контент
|
Ладно, хер с ней, с терминологией.
вот такая ситуация была:
-на сайт ставился скрипт, который разворачивал дор по заданным кеям.
(при заходе бота на страницу, она генерилась и кешировалась. но контент всегда отдавал пхп скрипт)
-где не работал скрипт(нет пхп, или нельзя открыть урл удаленный из скрипта)
генерились и заливались статические страницы по указанным кеям.
-генератор один и тот же. Был допилен основной дорген. Для генерации и заливки сайта.
Какое то время все было ОК.
Потом было замечено, что там, где залиты статичные html страницы траф есть. А где стоит пхп скрипт - трафа почти нет.
Было решено лить везде статику(хоть и геморно).
Траф вырос.
В чем разница для гугла была - ХЗ. Только в http ответах и заголовках.
Пол года или год работало. А может и более. Уже не помню. Потом гугл что то поменял и статику подкосило.
На данный статику не заливаю. Работает дорген на пхп.
|
|
|
14.09.2020, 16:20
|
#30
|
Senior Member
Регистрация: 25.09.2016
Адрес: London
Сообщений: 318
Бабло: $44305
|
Dor, да точно такая же ситуация, начинает идти траф, через несколько дней выкидывает страницы из индекса остается 4-6 страниц, при замене шаблона и тематики сайта 20% можно вернуть
|
|
|
14.09.2020, 16:29
|
#31
|
hustle
Регистрация: 02.05.2008
Адрес: 3d world
Сообщений: 12,890
Бабло: $1717315
|
Dor, наверное дело не в статике, если ты генерил на лету дор и потом сохранял страницы в кеш - то не вижу никакой разницы. Ты просто генеришь во время первого захода ботом на страницу.
|
|
|
|