ollama配置环境变量

Ollama环境变量的配置方法‌

  1. ‌OLLAMA_HOST‌:这个变量定义了Ollama监听的网络接口。通过设置OLLAMA_HOST=0.0.0.0,可以让Ollama监听所有可用的网络接口,从而允许外部网络访问。‌1

  2. ‌OLLAMA_MODELS‌:这个变量指定了模型镜像的存储路径。通过设置OLLAMA_MODELS=F:\OllamaCache,可以将模型镜像存储在E盘,避免C盘空间不足的问题。

  3. ‌OLLAMA_KEEP_ALIVE‌:这个变量控制模型在内存中的存活时间。设置OLLAMA_KEEP_ALIVE=24h可以让模型在内存中保持24小时,提高访问速度。

  4. ‌OLLAMA_PORT‌:这个变量允许我们更改Ollama的默认端口。例如,设置OLLAMA_PORT=8080可以将服务端口从默认的11434更改为8080。

  5. ‌OLLAMA_NUM_PARALLEL‌:这个变量决定了Ollama可以同时处理的用户请求数量。设置OLLAMA_NUM_PARALLEL=4可以让Ollama同时处理两个并发请求。

  6. ‌OLLAMA_MAX_LOADED_MODELS‌:这个变量限制了Ollama可以同时加载的模型数量。设置OLLAMA_MAX_LOADED_MODELS=4可以确保系统资源得到合理分配。

不同操作系统下的环境变量设置方法

  • ‌Linux‌:编辑systemd服务文件,添加环境变量。例如,在/etc/systemd/system/ollama.service文件中添加Environment="OLLAMA_HOST=0.0.0.0"等。‌23
  • ‌macOS‌:通过launchctl setenv命令设置环境变量,例如launchctl setenv OLLAMA_HOST "0.0.0.0"。‌2
  • ‌Windows‌:在“控制面板”>“系统和安全”>“系统”中,单击“高级系统设置”,然后在“环境变量”窗口中新建变量并输入变量名和变量值。‌24

模型存储目录的默认位置

  • ‌macOS‌:\~/.ollama/models
  • ‌Linux‌:/usr/share/ollama/.ollama/models
  • ‌Windows‌:C:\Users\%username%\.ollama\models