Ollama es una de las herramientas más populares para instalar modelos de IA en tu ordenador. Pero aunque un modelo de IA local tiene muchas ventajas, como más privacidad y control sobre tus datos, también tiene algún inconveniente. El principal, el uso intensivo de hardware. Así que, aunque quieras instalar varios modelos de IA en […]

• Así que, para evitar sorpresas como quedarte sin memoria o que tu CPU o GPU se saturen, te proponemos algunos consejos para elegir modelo de IA con Ollama
• Aunque no hay unas cifras exactas, para hacernos una idea, podemos acotar los modelos pequeños entre 1.000 millones y 3.000 millones de parámetros (1B-3B en inglés por la B de billion)...
• Para un contexto de 4k o 4.000 tokens, bastan menos de 24 GB de VRAM
• Solo tienes que ir a sus ajustes y elegir una cifra entre 4k, 8k, 16k, 32k, 64k, o 128k