Si contás con una buena placa de video con bastante memoria, como ser una RTX 3060 de NVIDIA, vas a poder ejecutar los modelos de Inteligencia Artificial directamente en tu computadora.
¿Qué es OLLAMA?
Ollama es una plataforma de vanguardia diseñada para ejecutar modelos de lenguaje grandes de código abierto localmente en tu máquina. Quita la complejidad de la ecuación al integrar los pesos del modelo, la configuración y los datos en un solo paquete definido por un Modelfile.
Esto significa que ya no tenemos que preocuparnos por los detalles intrincados de la configuración, incluido el aprovechamiento de tu GPU para un mejor rendimiento. Ollama lo hará todo por nosotros, y nos permitirá integrarlo a otros proyectos.
PRINCIPALES CARACTERÍSTICAS
Sencillez
Ollama ofrece un proceso de configuración sencillo. No necesitas ser un experto para ponerlo en marcha.
Privacidad
Con Ollama, todo el procesamiento de datos ocurre en tu máquina local. Esto es una gran ventaja para la privacidad del usuario. Además, significa que no estás acumulando costos en la nube. Tu billetera te lo agradecerá.
Versatilidad
Ollama no es solo para aficionados a Python. Su flexibilidad le permite ser utilizado en diversas aplicaciones, incluido en el desarrollo web.
¿Dónde lo consigo?
Lo primero que tenemos que hacer es descargar la versión adecuada de Ollama, dependiendo de nuestro sistema operativo, nosotros lo probamos en Debian GNU-LINUX.
Si queremos utilizar el instalador de una sola línea necesitamos tener instalado CURL, una vez hecho eso, como superusuario copiamos y pegamos la línea que obtuvimos del sitio oficial, eso debería ser suficiente para que Ollama se instale sin problemas.
Una vez instalado podemos elegir entre los distintos modelos soportados, podemos ver los disponibles en el siguiente cuadro:
| Model | Parameters | Size | Comando de descarga y ejecución |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama run llama3 |
| Llama 3 | 70B | 40GB | ollama run llama3:70b |
| Phi-3 | 3.8B | 2.3GB | ollama run phi3 |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Gemma | 2B | 1.4GB | ollama run gemma:2b |
| Gemma | 7B | 4.8GB | ollama run gemma:7b |
| Solar | 10.7B | 6.1GB | ollama run solar |
Aquí podemos ver que si queremos ejecutar codellama, tenemos que ejecutar “llama run codellama“, la primera vez que ejecutamos un modelo, este se descarga automáticamente de internet, como pueden ver en el siguiente ejemplo:
Luego de la descarga el modelo se ejecuta automáticamente, en el siguiente ejemplo ejecutamos el modelo Llama 3 que ya fue descargado previamente, lo ejecutamos con el comando “ollama run llama3“.
Podemos ejecutar cualquiera de los modelos siempre y cuando estos nos superen la memoria de nuestra placa de video. Es importante saber que algunos de ellos tienen sus propias limitaciones y censuras. Otro punto interesante que pueden ver en su documentación es que pueden armar perfiles, esto quiere decir que el modelo puede iniciar condicionado, por ejemplo jugando el rol de psicólogo o cualquier cosa que se nos ocurra siempre y cuando respete las leyes y licencias.
Algunas condiciones sobre el uso de LLAMA 3
La IA de meta viene preparada para evitar que se violen las leyes y otros derechos, incluyendo participar, promover, generar, contribuir, alentar, planificar, incitar o promover actividades o contenidos ilegales o ilícitos, tales como violencia o terrorismo. Explotación o daño a niños, incluida la solicitud, creación, adquisición o difusión de contenido de explotación infantil o la falta de denuncia de material de abuso sexual infantil. Trata de personas, explotación y violencia sexual.
La distribución ilegal de información o materiales a menores, incluidos materiales obscenos, o la falta de empleo de la edad requerida legalmente en relación con dicha información o materiales. Solicitación sexual. Cualquier otra actividad delictiva. Participar, promover, incitar o facilitar el acoso, el abuso, las amenazas o la intimidación de personas o grupos de personas. También todo lo que tiene que ver con generación de contenido falso para crear estafas en línea.
Conclusiones
En menos de un año pudimos ver como pasamos de tener un único programa capaz de hacer funcionar la IA con nuestra GPU (llama.cpp) a tener soluciones más completas como Ollama.
Esto recién empieza, pero lo bueno es que estos son proyectos de Software Libre, y actualmente rivalizan con el ChatGPT de OpenIA, modelos cerrados que si bien se dejan ver al público, poco sabemos de su funcionamiento interno.
Por suerte, la empresa Meta (Facebook), compartió Llama3, y así nos permitió jugar un poco con un modelo que realmente sorprende con su potencial dentro de proyectos libres.
Si cuentas con el hardware necesario, esperamos que puedas hacer tus propias pruebas y ver al igual que nosotros lo bien que funcionan estos modelos.
FIN DEL INFORME
🢃 Pulse para volver a la biblioteca de contenidos. 🢃
