Consumo de Llama 3.1 u otros modelos IA desde Delphi

[darkamerico]

Saludos amigos,
Quisiera prescindir de las herramientas frontend para interactuar con un modelo de IA en local, quisiera realizarlo desde un formulario en mi aplicación, alguien ha realizado algún trabajo en este campo?

Atte

[pgranados]

No he hecho el consumo de Llama 3.1 pero es igual que cualquier API, solo hay que consumirlo con un componente IdHTTP o con RESTDebugger.

Puedes revisar la documentación de Llama para ver como armar el consumo.

[pgranados]

O tambien puedes hacer tu propia API en Python (con fastapi y un vps) y utilizar la libreria de Llama para consumir la IA

[webmasterplc]

si es desde delphi hay unos componentes MakerAI https://www.youtube.com/watch?v=sEgfxZBdres