Consumo de Llama 3.1 u otros modelos IA desde Delphi
 

Saludos amigos,
Quisiera prescindir de las herramientas frontend para interactuar con un modelo de IA en local, quisiera realizarlo desde un formulario en mi aplicación, alguien ha realizado algún trabajo en este campo?

Atte

No he hecho el consumo de Llama 3.1 pero es igual que cualquier API, solo hay que consumirlo con un componente IdHTTP o con RESTDebugger.

Puedes revisar la documentación de Llama para ver como armar el consumo.

O tambien puedes hacer tu propia API en Python (con fastapi y un vps) y utilizar la libreria de Llama para consumir la IA

si es desde delphi hay unos componentes MakerAI https://www.youtube.com/watch?v=sEgfxZBdres