Cuales son los costos de ChatGPT 4?

[pgranados]

Hola, tengo una aplicación y quiero implementar la IA de OpenAI, pero el tema de los costos me parece un poco extraño, al parecer entiendo es que el precio depende de la cantidad de caracteres que tenga la pregunta (request) y el tamaño de la respuesta (response)

alguien que tenga experiencia el api para empresas? saludos.

[dec]

Hola a todos,

En efecto, cobran por uso. También existe un servicio de suscripción, pero, creo que no está relacionado con el uso del propio API, donde, cobran dependiendo del uso que se le dé al mismo. Aquí está explicado, vaya, lo que ellos explican.

[pgranados]

Hola Dec,

Lo que no entiendo es lo de Input y Output, porque input vale 10USD 1M de tokens y output 30USD 1M de tokens?

[dec]

Hola a todos,

Empezado por pgranados

Hola Dec,

Lo que no entiendo es lo de Input y Output, porque input vale 10USD 1M de tokens y output 30USD 1M de tokens?

Pues, honestamente, no sabría decir... es claro que alguna razón debe haber: acaso el coste de procesamiento de una cosa y otra difieran, y, de ahí su diferente precio. Supongo que no quedaría más que hacer pruebas, para hacerse una idea del coste aproximado del asunto: en tu misma cuenta de Open AI podrás ir viendo cuánto consumes a diario.

A ver si algún otro compañero con más experiencia puede orientarnos de otro modo. A mí se me ocurre, que, dependiendo del programa, puede ser el propio usuario quien use su propia "API key", de modo que los costes los asumirá dicho usuario: tu programa puede proporcionar la funcionalidad, la comunicación con el API, pero, no el propio "API key".

[mamcx]

La experiencia general con todos los productos tipo nube:


- En bajo volumen es "barato"
- En medio, quizás
- En alto, astronómico (Hace un tiempo se informo que ChatGPT les cuesta US 700.000/dia, así que con algo tienen que recuperar costos)


En mi opinion:

- Asegurate que realmente "necesitas" este tipo de solución y que no es que *crees* cuando hay opciones mas rentables y simples (ie: Hay mucha "IA" que realmente es puro sql y matemática simple). Es como cuando la gente bota un infierno de plata con soluciones nube/"escalables" dizque porque tiene una insignificante BD de 10 TB y "creen" que eso no se puede en un simple equipo: Spoiler: Si se puede.
- Si no tienes muchos clientes/concurrencia por lo general estos bichos son rentables de usar al inicio
- Tienes que tener algo de soporte económico, si estas quebrado piensa en cosas mas razonables que hagan tu negocio rentable!
- Si metes CUALQUIER producto de costo variable e impredecible ASEGURATE de poner "back pressure" para evitar que por un error termines pagando miles de dólares por usar esto unos minutos.

---

Normalmente es mas rentable usar el software dentro de tu propia infraestructura "nube/local", pero correr LLM en la nube hoy es muy costoso, usando mi proveedor que sale mejor que amazon o google:

https://www.vultr.com/pricing/#cloud-gpu


---


La otra opción es usar tu propio hardware local, pero estamos hablando de quipos que son tan o mas costosos que correr crypto:

https://www.hardware-corner.net/guid...lama-ai-model/

Osea necesitas mínimo un equivalente de Mac/M3 + 32 GB RAM + 16 GB GPU. Lo que entiendo es que un equipo maso es> US 4000 pa que realmente aguante, y eso con un nivel de concurrencia muy bajo.

La otra es armar un cluster, pero estamos hablando que estos juguetes son costosos aun.

Otra opcion es jugando con una combinacion de nube/local donde haces el "entrenamiento" (que es lo que mas cuesta) y luego pasar a un nube/equipo de ejecucion para solo responder se puede lograr algo viable, pero no es tan simple de hacer en un solo dia...

P.D: Este articulo ayuda a entender lo que es "tokens". Este el resultado de la IA, ie, un token es la unidad de inferencia.

Por ejemplo el articulo señala que usando :

DDR4-3600 + Ryzen 5 3600 = ~ 7 tokens/second

[Parveen]

Empezado por pgranados

Hola Dec,

Lo que no entiendo es lo de Input y Output, porque input vale 10USD 1M de tokens y output 30USD 1M de tokens?

When the AI generates text (output), it needs to be creative and consider a vast array of possibilities. This could involve composing different phrasings, structures, or even generating code or scripts. All this complexity requires more computational power from OpenAI's infrastructure, resulting in a higher cost per token for the response. But processing your input prompt (question) is a simpler task. The AI just needs to understand the context and meaning you provide. This requires less computational power, leading to a lower cost per token.

Large language models like OpenAI's use an "attention mechanism" during response generation. This mechanism allows the model to focus on specific parts of the input prompt (tokens) while generating the response.
Here's where the cost difference comes in: to decide the next word in the response, the model needs to constantly refer back to the input tokens and the previously generated response tokens. This ongoing analysis throughout the generation process contributes to the higher cost of output tokens compared to input tokens.