Нейронная сеть оказалась способна генерировать целые страницы связного текста.

[Dor]

Не успели отшуметь новости о нейросети BERT от Google, показавшей state-of-the-art результаты на целом ряде разговорных (NLP) задач в машинном обучении, как OpenAI выкатили новую разработку: GPT-2. Это нейронная сеть с рекордным на данный момент числом параметров (1.5 млрд, против обычно используемых в таких случаях 100-300 млн) оказалась способна генерировать целые страницы связного текста.

Генерировать настолько хорошо, что в OpenAI отказались выкладывать полную версию, опасаясь что эту нейросеть будут использовать для создания фейковых новостей, комментариев и отзывов, неотличимых от настоящих.

Тем не менее, в OpenAI выложили в общий доступ уменьшенную версию нейросети GPT-2, со 117 млн параметров. Именно ее мы запустим через сервис Google Colab и поэкспериментруем с ней.

https://habr.com/ru/post/440564/


как вам такое ? )

[kibnet]

Сообщение от Dor

Генерировать настолько хорошо, что в OpenAI отказались выкладывать полную версию, опасаясь что эту нейросеть будут использовать для создания фейковых новостей, комментариев и отзывов, неотличимых от настоящих.

обидно то(
я прочел титл и подумал, вот отлично, возрождение доров

[Lord_Alfred]

И вправду обидно, что зажопили заопенсорсить это...

Правда, не представляю какой большой кластер нужен для обучения 40ГБ датасета - поэтому вряд ли получилось бы заюзать эту архитектуру даже при желании..

UPD:

(похоже, что они обучали ее на 256 TPU несколько дней, и по предварительным подсчетам это обошлось им около 45 тыс. $)

[веломан]

openAI прикольный, в доту2 рвёт и мечет
разработка Илона опять же
Илон захватывает мир.
Илон хороший.
будь как Илон.

[Юнга]

Сообщение от веломан

openAI прикольный, в доту2 рвёт и мечет
разработка Илона опять же
Илон захватывает мир.
Илон хороший.
будь как Илон.

да он там вообще не при делах

https://www.bloomberg.com/news/artic...ompany-pathway