FTP | CCD | Buscar | Trucos | Trabajo | Foros |
|
Registrarse | FAQ | Miembros | Calendario | Guía de estilo | Temas de Hoy |
|
Herramientas | Buscar en Tema | Desplegado |
#1
|
||||
|
||||
Cuales son los costos de ChatGPT 4?
Hola, tengo una aplicación y quiero implementar la IA de OpenAI, pero el tema de los costos me parece un poco extraño, al parecer entiendo es que el precio depende de la cantidad de caracteres que tenga la pregunta (request) y el tamaño de la respuesta (response)
alguien que tenga experiencia el api para empresas? saludos. |
#2
|
||||
|
||||
Hola a todos,
En efecto, cobran por uso. También existe un servicio de suscripción, pero, creo que no está relacionado con el uso del propio API, donde, cobran dependiendo del uso que se le dé al mismo. Aquí está explicado, vaya, lo que ellos explican. |
#3
|
||||
|
||||
Hola Dec,
Lo que no entiendo es lo de Input y Output, porque input vale 10USD 1M de tokens y output 30USD 1M de tokens? |
#4
|
||||
|
||||
Hola a todos,
Cita:
A ver si algún otro compañero con más experiencia puede orientarnos de otro modo. A mí se me ocurre, que, dependiendo del programa, puede ser el propio usuario quien use su propia "API key", de modo que los costes los asumirá dicho usuario: tu programa puede proporcionar la funcionalidad, la comunicación con el API, pero, no el propio "API key". Última edición por dec fecha: 09-03-2024 a las 10:26:54. |
#5
|
||||
|
||||
La experiencia general con todos los productos tipo nube:
- En bajo volumen es "barato" - En medio, quizás - En alto, astronómico (Hace un tiempo se informo que ChatGPT les cuesta US 700.000/dia, así que con algo tienen que recuperar costos) En mi opinion: - Asegurate que realmente "necesitas" este tipo de solución y que no es que *crees* cuando hay opciones mas rentables y simples (ie: Hay mucha "IA" que realmente es puro sql y matemática simple). Es como cuando la gente bota un infierno de plata con soluciones nube/"escalables" dizque porque tiene una insignificante BD de 10 TB y "creen" que eso no se puede en un simple equipo: Spoiler: Si se puede. - Si no tienes muchos clientes/concurrencia por lo general estos bichos son rentables de usar al inicio - Tienes que tener algo de soporte económico, si estas quebrado piensa en cosas mas razonables que hagan tu negocio rentable! - Si metes CUALQUIER producto de costo variable e impredecible ASEGURATE de poner "back pressure" para evitar que por un error termines pagando miles de dólares por usar esto unos minutos. --- Normalmente es mas rentable usar el software dentro de tu propia infraestructura "nube/local", pero correr LLM en la nube hoy es muy costoso, usando mi proveedor que sale mejor que amazon o google: https://www.vultr.com/pricing/#cloud-gpu --- La otra opción es usar tu propio hardware local, pero estamos hablando de quipos que son tan o mas costosos que correr crypto: https://www.hardware-corner.net/guid...lama-ai-model/ Osea necesitas mínimo un equivalente de Mac/M3 + 32 GB RAM + 16 GB GPU. Lo que entiendo es que un equipo maso es> US 4000 pa que realmente aguante, y eso con un nivel de concurrencia muy bajo. La otra es armar un cluster, pero estamos hablando que estos juguetes son costosos aun. Otra opcion es jugando con una combinacion de nube/local donde haces el "entrenamiento" (que es lo que mas cuesta) y luego pasar a un nube/equipo de ejecucion para solo responder se puede lograr algo viable, pero no es tan simple de hacer en un solo dia... P.D: Este articulo ayuda a entender lo que es "tokens". Este el resultado de la IA, ie, un token es la unidad de inferencia. Por ejemplo el articulo señala que usando : Cita:
__________________
El malabarista. Última edición por mamcx fecha: 09-03-2024 a las 20:17:30. |
#6
|
|||
|
|||
Cita:
Large language models like OpenAI's use an "attention mechanism" during response generation. This mechanism allows the model to focus on specific parts of the input prompt (tokens) while generating the response. Here's where the cost difference comes in: to decide the next word in the response, the model needs to constantly refer back to the input tokens and the previously generated response tokens. This ongoing analysis throughout the generation process contributes to the higher cost of output tokens compared to input tokens. |
|
|
Temas Similares | ||||
Tema | Autor | Foro | Respuestas | Último mensaje |
Ejemplo de uso de ChatGPT en Delphi 7 | jars | Varios | 4 | 09-05-2023 03:25:33 |
ChatGPT IA | kurono | La Taberna | 16 | 18-01-2023 10:41:27 |
Delphi, Indy, SSL Cuales versiones trabajan bien con cuales ?. Como se configuran ? | rolandoj | Internet | 12 | 23-03-2014 18:07:41 |
Costos desarrollo sistema | antigrondona | Varios | 15 | 11-01-2010 18:53:27 |
Problema agrupando para crear sumario de costos | joal | SQL | 1 | 20-07-2006 01:14:25 |
|