время ответа в gpt-3.5-turbo по API

[Dor]

Всем хай
Поигрался с апи от опен аи.
Кто пробовал, для модели gpt-3.5-turbo у вас какое время ответа среднее?
У меня на небольшой простой запрос написать до 10 предложений уходит 30-60 сек.
Это нормальная скорость ?
Причем, сокращал до 2х предложений - разница не существенная в скорости ответа.

Попросил 20 предложений - до 2х минут может отвечать.

Также часто ответ - That model is currently overloaded with other requests.

Это норм скорость ? или это для триального тарифа так медленно?

[Dor]

схоже медленная скорость ответа - это норм

The response speed of the gpt-3.5 turbo api is very slow. Is there any way to improve faster?

All required times were measured, and it was confirmed that 99% of the time was waiting for API responses.

model = gpt-3.5 turbo
top_p = 0
temperature = 0

average response time = 24.21 sec
200 tests

shortest response speed = 2.5 sec
roll = user " Just tell me 3 types of fruit"

longest response time = 1min 50sec
roll = user “tell me about online advertising”

https://community.openai.com/t/the-r...-faster/178790

[Sultan]

Эта проблема api продуктивности наблюдается и на платных акках и на 4 чате, задержки и ошибки

Думаю это связано с возросшей популярностью

Веб чат работает на много лучше

[Dor]

Сообщение от Sultan

Эта проблема api продуктивности наблюдается и на платных акках и на 4 чате, задержки и ошибки

Думаю это связано с возросшей популярностью

Веб чат работает на много лучше

а парсится нормально вэб версия скриптами или зенкой? (если работал с ней)
глянул документация а-парсера - только по апи работает. На зеннофоруме еще не лазил.

[Sultan]

Сообщение от Dor

а парсится нормально вэб версия скриптами или зенкой? (если работал с ней)
глянул документация а-парсера - только по апи работает. На зеннофоруме еще не лазил.

Не пробовал

[Юзлес конч]

Сообщение от Sultan

Эта проблема api продуктивности наблюдается и на платных акках и на 4 чате, задержки и ошибки
Думаю это связано с возросшей популярностью
Веб чат работает на много лучше

вам, блять, искственный интелект дали, чтобы он вам помагал в решении вопросов, подсказал бы что да как, а вы...
а вы начели тексты вагонами в блоги штапмовать, сетки сайтов с ахулеардом страниц делать - вот и результат

чево тока плагины бесплатные под WP стоят.

Купила одна бабка корову. На первый день надоила ведро молока, на второй — полведра, на третий — почти ничего. Пошла к ветеринару, объяснила ситуацию. Ветеринар, тщательно осмотрев корову, говорит:
— Бычок, конечно, задроченный, но жить будет.

[Sultan]

Юзлес конч, делай не доры, это прикольная тема

[GAGAn]

Логично что чем больше генерируется слов тем больше времени уходит на это.
К примеру мы грузим промт "Ебаника мне текс из 20 предложений в каждом по 15 слов." И Получаем ответ.
Под капотом в нейронку идет 300 обращений так как каждое следующие слово генерируется на основе предыдущего текст.

[Dor]

на серваках майкрософт кто то пробовал опенаи?
как там скорость?

[Юзлес конч]

Сообщение от Dor

как там скорость?

впечатляет