Cómo instalar una IA local en Linux con interfaz web y modelos abiertos

Tener una inteligencia artificial funcionando dentro de una computadora Linux ya no exige montar un laboratorio complejo. Con herramientas como Ollama y Open WebUI es posible descargar modelos abiertos, ejecutarlos localmente y conversar con ellos desde una interfaz web muy parecida a la experiencia de ChatGPT.

La gran diferencia es que el modelo puede ejecutarse en nuestro propio equipo. Esto permite trabajar con documentos, código e información interna sin depender necesariamente de enviar cada conversación hacia un servicio externo.

¿Qué necesitas para tener una IA local?

No es obligatorio disponer de un servidor profesional ni de una GPU de centro de datos.

Una computadora Linux moderna puede ejecutar modelos pequeños incluso utilizando únicamente CPU, aunque una GPU compatible mejora considerablemente la velocidad.

Para una experiencia razonable conviene disponer de:

• Linux de 64 bits actualizado.
• Al menos 8 GB de RAM para experimentar con modelos pequeños.
• 16 GB o más para trabajar con mayor comodidad.
• Espacio libre en disco para almacenar los modelos.
• GPU NVIDIA, AMD o compatible con Vulkan si queremos mayor velocidad.

Ollama: el motor que ejecutará los modelos

Ollama simplifica considerablemente el uso de modelos de lenguaje en Linux.

En lugar de descargar manualmente pesos, configurar bibliotecas y recordar diferentes parámetros de ejecución, podemos trabajar con comandos sencillos para descargar, iniciar y administrar modelos.

La instalación debe realizarse utilizando el instalador oficial para Linux proporcionado por Ollama.

Una vez instalado, podemos comprobar que el servicio funciona con:

ollama --version

Y en sistemas que utilizan systemd:

sudo systemctl status ollama

Si fuera necesario iniciarlo:

sudo systemctl start ollama

Descargar nuestro primer modelo

Uno de los modelos más interesantes para comenzar es Qwen3, disponible en diferentes tamaños.

Para un equipo modesto podemos comenzar con:

ollama run qwen3:4b

Ollama descargará automáticamente el modelo y abrirá una sesión de conversación desde la terminal.

También podemos probar:

ollama run gemma3:4b

Para equipos con más memoria:

ollama run qwen3:8b

Los modelos instalados pueden consultarse mediante:

ollama list

¿Qué modelo conviene elegir?

La respuesta depende principalmente de la memoria disponible y del tipo de trabajo que queremos realizar.

Modelo	Tamaño aproximado en Ollama	Uso recomendado
Qwen3 4B	2,5 GB	Equipos modestos y uso general
Gemma 3 4B	Alrededor de 3,4 GB	Chat y análisis multimodal
Qwen3 8B	5,2 GB	Mayor calidad en PCs con más memoria
Qwen3 14B	9,3 GB	Workstations con más RAM o VRAM

Estas cifras representan principalmente el tamaño del modelo descargado. La memoria necesaria durante la ejecución puede ser superior y cambia según cuantización, contexto y aceleración utilizada.

No todos los “modelos abiertos” tienen exactamente la misma licencia

Este punto merece atención.

Qwen, Gemma, Llama, Mistral y otras familias permiten descargar sus pesos y ejecutarlos localmente, pero sus condiciones de licencia pueden ser diferentes.

Por eso es más preciso hablar en muchos casos de modelos abiertos o de pesos abiertos, en lugar de asumir que todos cumplen exactamente la misma definición de software open source.

Para uso empresarial conviene revisar siempre las condiciones de cada modelo.

Ahora instalaremos la interfaz web

Podríamos utilizar Ollama únicamente desde terminal, pero una interfaz web hace que la experiencia resulte mucho más cómoda.

Open WebUI permite tener conversaciones, seleccionar modelos, organizar chats y posteriormente añadir funciones como documentos, memoria o búsqueda.

Una de las formas más sencillas de instalarlo en Linux es mediante Docker.

En Debian o Ubuntu podemos instalar el motor de contenedores disponible en los repositorios:

sudo apt update
sudo apt install docker.io
sudo systemctl enable --now docker

Instalar Open WebUI

Para una instalación personal únicamente accesible desde la misma computadora podemos utilizar:

sudo docker run -d \
  -p 127.0.0.1:3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  -e WEBUI_SECRET_KEY='CAMBIA-ESTA-CLAVE-POR-UNA-MUY-LARGA' \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

Después abrimos en el navegador:

localhost:3000

En el primer inicio, Open WebUI solicitará crear una cuenta.

Open WebUI debería detectar Ollama

Cuando ambos servicios están correctamente instalados, Open WebUI puede conectarse al servidor Ollama que funciona en la misma máquina.

Desde la interfaz podemos revisar:

Settings → Admin → Connections

Allí debería aparecer la conexión Ollama.

Si no aparece, debemos comprobar primero que Ollama está funcionando:

sudo systemctl status ollama

También podemos revisar los logs:

journalctl -e -u ollama

Y para Open WebUI:

sudo docker logs -f open-webui

Ya podemos utilizar nuestra IA como un chatbot

Una vez detectado el modelo, Open WebUI mostrará un selector desde el que podremos elegir Qwen3, Gemma u otros modelos instalados.

A partir de ese momento la experiencia es muy similar a otros asistentes conversacionales:

• Crear nuevos chats.
• Guardar historial.
• Cambiar de modelo.
• Regenerar respuestas.
• Adjuntar información.
• Configurar instrucciones personalizadas.

También podemos descargar modelos desde la propia interfaz

No es obligatorio regresar continuamente a la terminal.

Open WebUI puede administrar la conexión con Ollama y descargar nuevos modelos desde su propia interfaz.

Esto hace que una computadora Linux pueda convertirse prácticamente en un pequeño servidor privado de IA para una persona, familia, laboratorio o equipo de trabajo.

¿La IA realmente funciona sin Internet?

Sí, siempre que todo lo necesario esté instalado localmente.

Después de descargar el modelo, Ollama puede ejecutarlo sin conexión a Internet.

Open WebUI también puede funcionar offline.

Sin embargo, hay una diferencia importante.

Para un entorno realmente aislado debemos descargar previamente modelos, embeddings y componentes necesarios y controlar también el acceso de red.

Una IA local también puede conversar con nuestros documentos

Open WebUI dispone de funciones de conocimiento y RAG que permiten cargar documentación y realizar preguntas sobre ella.

Esto puede resultar útil para trabajar con:

• Manuales internos.
• Procedimientos.
• Documentación técnica.
• Informes.
• Contratos.
• Material académico.

En una empresa puede utilizarse, por ejemplo, para construir un asistente que responda exclusivamente sobre procedimientos internos.

Sin embargo, para que todo el proceso sea privado también deben ejecutarse localmente la extracción de documentos y los modelos de embeddings utilizados.

El contexto también consume memoria

Un modelo puede funcionar perfectamente en una conversación corta y comenzar a necesitar más recursos cuando agregamos conversaciones largas o documentos.

El tamaño del contexto influye sobre:

• Uso de memoria.
• Velocidad.
• Cantidad de información procesada.

Por eso no siempre conviene configurar el máximo contexto posible.

Para una computadora doméstica es mejor comenzar con valores moderados y ampliarlos solamente cuando realmente sean necesarios.

¿Necesito una tarjeta NVIDIA?

No.

Ollama puede ejecutar modelos sobre CPU y dispone también de soporte para diferentes GPU.

Las tarjetas NVIDIA suelen proporcionar una experiencia sencilla mediante CUDA cuando el hardware y el controlador son compatibles.

En AMD, Ollama dispone de soporte mediante ROCm para determinados dispositivos y también existen opciones adicionales mediante Vulkan.

En la práctica, una GPU permite generar respuestas mucho más rápido, especialmente a medida que aumenta el tamaño del modelo.

Cómo saber si realmente está utilizando la GPU

Con NVIDIA podemos comenzar revisando:

nvidia-smi

Mientras el modelo está trabajando debería observarse utilización de memoria y actividad de GPU.

Ollama también permite consultar los modelos que están cargados mediante:

ollama ps

¿Qué modelo usar para cada tarea?

Necesidad	Qué buscar
Chat cotidiano	Modelo pequeño o medio, rápido
Programación	Modelo con buen desempeño en código
Documentos	Buen contexto y configuración RAG
Imágenes	Modelo multimodal como Gemma 3 compatible
Servidor potente	Modelos más grandes y mayor contexto

No descargues el modelo más grande únicamente porque aparece primero

Una de las ventajas de ejecutar IA localmente es poder elegir.

También es una de las principales fuentes de frustración.

Un modelo de decenas de gigabytes puede ser excelente en un servidor con varias GPU, pero extremadamente lento en un portátil con 16 GB de RAM.

Para empezar, Qwen3 4B, Gemma 3 4B o un modelo de tamaño similar permiten comprobar si la instalación funciona correctamente.

Después podemos subir progresivamente.

Una ventaja importante: podemos cambiar de modelo cuando queramos

No estamos obligados a utilizar siempre la misma inteligencia artificial.

Podemos mantener varios modelos instalados y elegir uno diferente según el trabajo.

Para eliminar un modelo que ya no necesitamos:

ollama rm NOMBRE_DEL_MODELO

Esto resulta especialmente útil cuando el almacenamiento comienza a llenarse.

¿Podemos compartir nuestra IA con otras computadoras?

Sí, pero aquí debemos ser mucho más cuidadosos.

La configuración anterior publica Open WebUI únicamente sobre localhost, por lo que solamente puede utilizarse desde la misma computadora.

Para compartirla dentro de una red será necesario modificar deliberadamente la publicación del servicio y configurar firewall, autenticación y preferiblemente HTTPS.

Para una empresa, la seguridad cambia completamente

Una instalación personal es relativamente sencilla.

Pero si queremos que varios empleados utilicen la plataforma deberíamos considerar:

• Usuarios y roles.
• HTTPS.
• Backups.
• Actualización de contenedores.
• Control de modelos disponibles.
• Registro de accesos.
• Restricciones de red.
• Protección de documentos.

Open WebUI dispone de mecanismos de autenticación y control de usuarios, pero eso no elimina la necesidad de proteger correctamente el servidor Linux.

Actualizar Ollama y Open WebUI

Los modelos y las herramientas cambian rápidamente.

Ollama debe mantenerse actualizado utilizando su mecanismo oficial de instalación o actualización.

Para Open WebUI, cuando usamos Docker, el procedimiento habitual consiste en descargar una imagen reciente y recrear el contenedor conservando el volumen persistente.

Los datos de Open WebUI están almacenados en:

open-webui

gracias al volumen configurado durante la instalación.

Antes de actualizaciones importantes conviene mantener una copia de seguridad de ese volumen.

Qué revisar si la IA responde demasiado lento

Antes de pensar que algo está roto, conviene comprobar:

• Si el modelo está utilizando CPU o GPU.
• Cuánta RAM y VRAM hay disponible.
• El tamaño del modelo.
• El contexto configurado.
• Si existen otras aplicaciones consumiendo GPU.

Muchas veces la solución más efectiva no es modificar Linux.

Es simplemente utilizar un modelo más pequeño.

IA local no significa necesariamente mejor IA

Los grandes servicios comerciales suelen disponer de modelos mucho más grandes, infraestructura especializada y herramientas integradas.

Una IA local tiene otras ventajas:

• Mayor control.
• Privacidad.
• Funcionamiento offline.
• Coste predecible.
• Libertad para cambiar de modelo.

La decisión debería depender del caso de uso.

¿Para qué puede servir esta instalación?

Una IA local puede utilizarse para tareas cotidianas como redactar, resumir, traducir, programar o analizar documentos.

Pero resulta especialmente interesante cuando existen datos que no queremos enviar indiscriminadamente hacia servicios externos.

Por ejemplo:

• Laboratorios de desarrollo.
• Documentación empresarial.
• Investigación académica.
• Servidores internos.
• Capacitación.
• Proyectos personales.

Puede leer también | La IA de código abierto es el camino a seguir

La experiencia ya se parece mucho a un chatbot comercial

Hace algunos años ejecutar un modelo local significaba trabajar casi exclusivamente desde terminal y configurar manualmente múltiples dependencias.

Hoy Open WebUI proporciona una experiencia mucho más familiar.

Además del chat básico, la plataforma puede incorporar documentos, memoria, búsqueda, herramientas, audio y diferentes proveedores de modelos.

Eso permite comenzar con una instalación completamente local y añadir nuevas capacidades solamente cuando sean necesarias.

Recomendamos

• La IA de código abierto es el camino a seguir
• OpenHands: la plataforma de desarrollo de software con IA de código abierto
• Herramientas esenciales para proteger tu Sistema Operativo Linux de Hackers

En resumen

Instalar una inteligencia artificial local en Linux es hoy mucho más sencillo gracias a herramientas como Ollama y Open WebUI.

Ollama se encarga de ejecutar y administrar los modelos, mientras Open WebUI proporciona una interfaz gráfica desde el navegador.

Podemos empezar con modelos relativamente pequeños como Qwen3 4B o Gemma 3 4B y aumentar el tamaño a medida que dispongamos de más RAM o VRAM.

La solución puede funcionar sin Internet una vez descargados los componentes necesarios, aunque debemos recordar que funciones como búsqueda web o APIs externas dejan de ser locales.

Conclusión editorial

Durante mucho tiempo utilizar inteligencia artificial avanzada significaba aceptar una condición prácticamente inevitable: nuestros datos tenían que viajar hacia la infraestructura de otra compañía.

Los modelos abiertos están cambiando ese escenario.

Hoy una computadora Linux razonablemente moderna puede convertirse en un pequeño servidor de IA capaz de mantener conversaciones, analizar documentos y ayudar con programación sin depender constantemente de la nube.

La gran ventaja no es intentar reemplazar exactamente a ChatGPT, Claude o Gemini.

Es recuperar capacidad de elección.

Podemos decidir qué modelo utilizar, dónde se ejecuta, quién puede acceder y qué información permanece dentro de nuestra infraestructura.

Para una persona puede ser un interesante laboratorio doméstico.

Para una empresa puede convertirse en la base de un asistente privado conectado con documentación interna.

Y para quienes utilizan Linux, la combinación Ollama y Open WebUI demuestra algo especialmente interesante: ejecutar inteligencia artificial local dejó de ser una tarea reservada a especialistas.

Ahora puede instalarse, administrarse y utilizarse desde un navegador con una experiencia suficientemente sencilla como para formar parte del escritorio cotidiano.

Fuentes: Ollama — documentación oficial para Linux y soporte de hardware; Open WebUI — Quick Start, conexión con Ollama, funcionamiento offline y Knowledge/RAG; Ollama Model Library — Qwen3 y Gemma 3.