潘臣彬的Blog

使用Ollama在本地部署DeepSeek模型的完整指南

Sat, 15 Feb 2025 14:16:16 +0800

为什么选择Ollama？

Ollama作为当前最便捷的本地大模型部署工具，具有以下优势：

一键部署：无需复杂环境配置
自动硬件适配：智能分配CPU/GPU资源
多模型支持：通过Modelfile扩展自定义模型
内存优化：内置量化与显存管理

一、硬件配置要求

1.1 不同模型的推荐配置

模型规格	CPU最低要求	GPU推荐配置	内存需求	存储空间
DeepSeek 1.5B	i5-8代/R5-3600	集成显卡/UHD 630	8GB DDR4	3.5GB
DeepSeek 7B	i7-10代/R7-5800	RTX 3060 (8GB)	16GB DDR4	14GB
DeepSeek 67B	至强银牌/线程撕裂者	RTX 4090 (24GB)	64GB DDR5	120GB

1.2 关键指标说明

VRAM估算公式：模型参数数量（B） × 2 (FP16) × 1.5（安全系数）

例：7B模型需要 ≈7×2×1.5=21GB显存（可通过量化降低）

内存需求：模型参数数量 × 0.5（量化后）
存储空间：模型文件大小 × 1.2

二、三步部署流程

2.1 环境准备

# Linux/macOScurl -fsSL https://ollama.com/install.sh | sh
# Windows（需WSL2）wsl --install

2.2 模型下载

# 基础版本（自动选择适配版本）ollama run deepseek
# 指定模型规格ollama run deepseek:7b
ollama run deepseek:1.5b-instruct
# 自定义量化版本（降低硬件需求）ollama run deepseek:7b-q4_K_M

2.3 运行测试

# 基础对话测试ollama run deepseek "用Python写一个快速排序算法"
# 启动API服务ollama serve# 访问 http://localhost:11434

三、性能优化技巧

3.1 量化方案选择

量化级别	适用场景	内存占用	精度损失
q4_0	低配CPU	-40%	较明显
q5_K_M	平衡模式	-35%	轻微
q8_0	高性能GPU	-15%	几乎无损

使用示例：

# 转换现有模型ollama create deepseek-custom -f Modelfile# Modelfile内容：FROM deepseek:7b
PARAMETER quantization q4_K_M

3.2 硬件加速配置

# 查看可用GPUollama list --gpu# 指定GPU运行OLLAMA_GPU_DEVICE=0 ollama run deepseek:7b# CPU优化配置（适用于无GPU环境）numactl -C 0-3 ollama run deepseek:1.5b

四、不同设备的部署方案

4.1 笔记本电脑方案（无独显）

适用模型：1.5B-q4版本
启动命令：

OLLAMA_NUM_PARALLEL=2 ollama run deepseek:1.5b-q4_K_S

4.2 游戏PC方案（RTX 3060）

# 启用CUDA加速OLLAMA_CMAKE_ARGS="-DLLAMA_CUBLAS=on" makeollama run deepseek:7b-q5_K_M

4.3 服务器方案（多GPU）

# 多卡并行OLLAMA_GPU_DEVICE=0,1 ollama run deepseek:67b# 查看资源占用watch -n 1 ollama stats

五、常见问题解答

5.1 显存不足处理# 动态卸载策略ollama run deepseek:7b --num-gpu-layers 20# 混合计算模式OLLAMA_MMAN_REMAP=1 ollama run deepseek:7b

5.2 提升响应速度

# 设置上下文窗口PARAMETER num_ctx 4096# 预加载模型ollama ps> deepseek:7b  preloaded  GPU:2.4/8.0GB

六、模型对比测试数据

测试项	1.5B-q4	7b-q5	原始7B
启动时间	2.1s	4.7s	8.9s
Tokens/s（CPU）	18.4	6.2	N/A
Tokens/s（GPU）	84.7	47.3	32.1
内存占用	1.8GB	5.3GB	13.6GB

进阶配置

自定义提示模板# 创建custom-preset.yamlsystem: "你是一个严谨的科研助手，用中文回答时要附带英文术语"temperature: 0.3# 加载配置ollama run deepseek:7b --config custom-preset.yaml

监控仪表板

# 安装prometheus exporterollama export-metrics 9100# 访问Grafana模板http://localhost:3000/d/ollama-dashboard

结语

通过本指南，您可以在15分钟内完成DeepSeek模型的本地部署。建议从1.5B版本开始测试，逐步尝试更大模型。部署成功后，您可以通过以下方式验证：

curl http://localhost:11434/api/generate -d '{
  "model": "deepseek:7b",
  "prompt": "解释量子计算的超位置原理"
}'

注意事项：

商业使用需遵守DeepSeek许可协议
长时间运行建议添加散热措施
定期执行ollama prune清理旧版本

如需获取预配置的Ollama镜像包，可在评论区留言获取下载链接

如何将DeepSeek大模型部署到本地计算机：完整指南

Sat, 15 Feb 2025 14:10:47 +0800

如何将DeepSeek大模型部署到本地计算机：完整指南

（示意图：本地计算机与AI模型的交互流程）

前言

随着开源大模型的快速发展，越来越多的开发者希望将先进模型如DeepSeek部署到本地环境。本地部署不仅能实现数据隐私保护，还能根据需求进行定制化开发。本指南将详细介绍从零开始部署DeepSeek模型的完整流程，涵盖硬件准备到API服务的完整链路。

一、部署前准备

1.1 硬件要求

组件	最低要求	推荐配置
GPU	NVIDIA GTX 1080 (8GB)	RTX 3090/4090 (24GB)
内存	16GB DDR4	32GB DDR5
存储	50GB可用空间	NVMe SSD 1TB
CPU	Intel i5 8代	AMD Ryzen 9 7950X

1.2 软件环境

操作系统：Ubuntu 22.04 LTS / Windows WSL2
驱动版本：NVIDIA Driver ≥ 535.86.05
CUDA版本：11.8 或更高
Python环境：3.10 ~ 3.11

1.3 获取模型资源

推荐从以下渠道获取：

官方Hugging Face仓库（需申请访问权限）

git clone https://huggingface.co/deepseek-ai/deepseek-llm-7b-base

社区镜像站（注意验证checksum）
企业版提供的私有模型包

二、详细部署步骤

2.1 环境配置

# 创建虚拟环境conda create -n deepseek python=3.10 -yconda activate deepseek# 安装基础依赖pip install torch==2.1.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install transformers==4.35.0 accelerate sentencepiece

2.2 模型准备

将下载的模型文件放入项目目录：

├── config.json
├── modeling_deepseek.py
├── pytorch_model.bin
└── tokenizer/
    ├── special_tokens_map.json
    └── tokenizer_config.json

2.3 编写推理脚本

创建inference.py：

from transformers import AutoTokenizer, AutoModelForCausalLMimport torch

model_path = "./deepseek-llm-7b-base"tokenizer = AutoTokenizer.from_pretrained(model_path)model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.float16,
    device_map="auto")prompt = "中国的首都是"inputs = tokenizer(prompt, return_tensors="pt").to("cuda")outputs = model.generate(
    inputs.input_ids,
    max_length=100,
    temperature=0.7,
    top_p=0.9)print(tokenizer.decode(outputs[0], skip_special_tokens=True))

2.4 启动基础服务

# 测试运行python inference.py# 预期输出：# 中国的首都是北京，位于华北平原北部...

三、高级部署方案

3.1 使用vLLM加速

pip install vLLM==0.3.3# 启动API服务python -m vllm.entrypoints.api_server \
    --model ./deepseek-llm-7b-base \
    --tensor-parallel-size 2 \
    --gpu-memory-utilization 0.95

3.2 配置Web接口

使用Gradio快速搭建UI：

import gradio as grfrom vllm import LLM, SamplingParams

llm = LLM(model="./deepseek-llm-7b-base")def generate(text):
    sampling_params = SamplingParams(
        temperature=0.7,
        max_tokens=200
    )
    results = llm.generate([text], sampling_params)
    return results[0].outputs[0].text

interface = gr.Interface(
    fn=generate,
    inputs="textbox",
    outputs="text",
    title="DeepSeek本地部署版")interface.launch(server_port=7860)

四、性能优化技巧

4.1 量化压缩

使用AWQ量化技术：

from awq import AutoAWQForCausalLM

quantizer = AutoAWQForCausalLM.from_pretrained(model_path)quantizer.quantize(
    quant_config={"zero_point": True, "q_group_size": 128},
    export_path="deepseek-7b-awq")

4.2 显存优化策略

启用Flash Attention 2：

model = AutoModelForCausalLM.from_pretrained(
    ...,
    use_flash_attention_2=True)

使用PagedAttention管理显存
开启CPU offload机制

五、常见问题排查

5.1 CUDA内存不足

症状：

RuntimeError: CUDA out of memory.

解决方案：

减小max_length参数
添加--load_in_4bit量化加载
使用内存交换策略：pip install memmap

5.2 分词器报错

Token indices sequence length is longer than...

处理方法：

tokenizer.model_max_length = 4096  # 显式设置上下文长度

六、安全建议

在防火墙中限制访问IP：

ufw allow from 192.168.1.0/24 to any port 7860

启用API密钥验证
定期更新模型版本
使用TLS加密通信

结语

通过本指南，您已经成功在本地部署了DeepSeek大模型。建议进一步：

使用LangChain构建AI应用链
尝试LoRA微调适配特定领域
监控GPU使用：nvidia-smi -l 1

部署完成后，您可以通过http://localhost:7860访问本地AI服务。如果在部署过程中遇到任何问题，欢迎在评论区留言讨论！

附录：

注：本文示例代码基于DeepSeek-7B模型编写，实际部署时请根据具体模型版本调整参数。商业使用请遵守模型许可协议。

如何实现批量添加和删除DHCP保留

Wed, 11 Sep 2024 10:39:23 +0800

今天一大早就接到了将60个IP进行绑定的需求，之前是到DHCP服务器中一个一个去添加，突发奇想做一个批量添加；在网络管理中，DHCP（动态主机配置协议）服务器用于自动分配IP地址给网络中的设备。有时，我们需要为特定设备保留固定的IP地址，这就是所谓的DHCP保留。本文将介绍如何使用PowerShell脚本批量添加和删除DHCP保留。

环境准备

在开始之前，请确保你有以下环境准备：

Windows操作系统
安装了DHCP服务器角色
安装了PowerShell

批量添加DHCP保留

首先，我们需要一个包含IP地址、MAC地址和保留名称的文本文件。文件内容如下（防泄密需要，MAC地址已做脱敏处理，随机生成的）：

192.168.45.123    1A-2B-3C-4D-5E-6F    computer-A区-1
192.168.67.89    2B-3C-4D-5E-6F-7A    computer-A区-2
192.168.23.45    3C-4D-5E-6F-7A-8B    computer-A区-3
192.168.56.78    4D-5E-6F-7A-8B-9C    computer-A区-4
192.168.12.34    5E-6F-7A-8B-9C-AD    computer-A区-5
192.168.98.76    6F-7A-8B-9C-AD-BE    computer-A区-6
192.168.54.32    7A-8B-9C-AD-BE-CF    computer-A区-7
192.168.21.43    8B-9C-AD-BE-CF-D0    computer-A区-8
192.168.65.87    9C-AD-BE-CF-D0-E1    computer-A区-9
192.168.34.56    AD-BE-CF-D0-E1-F2    computer-A区-10
192.168.78.90    BE-CF-D0-E1-F2-03    computer-A区-11
192.168.11.22    CF-D0-E1-F2-03-14    computer-A区-12
192.168.33.44    D0-E1-F2-03-14-25    computer-A区-13
192.168.55.66    E1-F2-03-14-25-36    computer-A区-14
192.168.77.88    F2-03-14-25-36-47    computer-A区-15
192.168.99.11    03-14-25-36-47-58    computer-A区-16
192.168.22.33    14-25-36-47-58-69    computer-A区-17
192.168.44.55    25-36-47-58-69-7A    computer-A区-18
192.168.66.77    36-47-58-69-7A-8B    computer-A区-19
192.168.88.99    47-58-69-7A-8B-9C    computer-A区-20
192.168.10.20    58-69-7A-8B-9C-AD    computer-A区-21
192.168.30.40    69-7A-8B-9C-AD-BE    computer-A区-22
192.168.50.60    7A-8B-9C-AD-BE-CF    computer-A区-23
192.168.70.80    8B-9C-AD-BE-CF-D0    computer-A区-24
192.168.90.10    9C-AD-BE-CF-D0-E1    computer-A区-25
192.168.12.34    AD-BE-CF-D0-E1-F2    computer-A区-26
192.168.34.56    BE-CF-D0-E1-F2-03    computer-A区-27
192.168.56.78    CF-D0-E1-F2-03-14    computer-A区-28
192.168.78.90    D0-E1-F2-03-14-25    computer-A区-29
192.168.90.12    E1-F2-03-14-25-36    computer-A区-30

在以上这个TXT中，分别为所需要绑定的IP，MAC，和名称，可以先在excel中编辑好格式，然后复制到txt中，别问我为什么不直接用Excel,因为公司DHCP服务器上没装Excel，只能通过堡垒机进行远程。

接下来，我编写了一个PowerShell脚本来批量添加这些保留。

# 定义文本文件路径
$txtFilePath = "C:\Users\panchenbin\Desktop\bit008.txt"

# 读取文本文件中的数据
$reservations = Import-Csv -Path $txtFilePath -Delimiter "`t" -Header IPAddress,MACAddress,Description

# 定义 DHCP 服务器和作用域
$dhcpServer = "xxx.xxx.com"
$scopeId = "192.168.xx.xx"

# 批量添加保留 IP 地址
foreach ($reservation in $reservations) {
    try {
        # 添加保留 IP 地址并设置保留名称
        Add-DhcpServerv4Reservation -ComputerName $dhcpServer -ScopeId $scopeId -IPAddress $reservation.IPAddress -ClientId $reservation.MACAddress -Name $reservation.Description
        Write-Host "成功为 IP 添加保留: $($reservation.IPAddress) 保留名称: $($reservation.Description)"
    } catch {
        Write-Host "无法为 IP 添加保留: $($reservation.IPAddress). Error: $_" -ForegroundColor Red
    }
}

这个脚本的主要功能是批量添加DHCP保留IP地址，并为每个保留IP地址设置保留名称。以下是脚本的详细工作原理：

定义文本文件路径：

$txtFilePath = "C:\Users\panchenbin\Desktop\bit008.txt"

这行代码定义了一个变量 $txtFilePath，用于存储包含保留IP地址、MAC地址和保留名称的文本文件的路径。

读取文本文件中的数据：

$reservations = Import-Csv -Path $txtFilePath -Delimiter "`t" -Header IPAddress,MACAddress,Description

这行代码使用 Import-Csv cmdlet 读取文本文件中的数据，并将其存储在 $reservations 变量中。文件中的数据使用制表符（\t）分隔，并且每一列分别对应IP地址、MAC地址和保留名称。

定义 DHCP 服务器和作用域：

$dhcpServer = "xxx.xxx.com"
$scopeId = "10.215.212.0"

这两行定义了DHCP服务器的名称和作用域ID。

批量添加保留 IP 地址：

foreach ($reservation in $reservations) {
    try {
        # 添加保留 IP 地址并设置保留名称
        Add-DhcpServerv4Reservation -ComputerName $dhcpServer -ScopeId $scopeId -IPAddress $reservation.IPAddress -ClientId $reservation.MACAddress -Name $reservation.Description
        Write-Host "成功为 IP 添加保留: $($reservation.IPAddress) 保留名称: $($reservation.Description)"
    } catch {
        Write-Host "无法为 IP 添加保留: $($reservation.IPAddress). Error: $_" -ForegroundColor Red
    }
}

这段代码使用 foreach 循环遍历 $reservations 中的每一条记录，并尝试添加保留IP地址。具体步骤如下：

使用 Add-DhcpServerv4Reservation cmdlet 添加保留IP地址，并设置对应的MAC地址和保留名称。

如果添加成功，使用 Write-Host 输出成功信息。

如果添加失败，捕获异常并输出错误信息。

通过这个脚本，可以批量添加DHCP保留IP地址，并为每个保留IP地址设置保留名称，从而简化了手动添加的过程，提高了工作效率

批量删除DHCP保留

另外，有时我们需要删除已经存在的DHCP保留。我们可以使用以下PowerShell脚本来实现批量删除

# 定义文本文件路径
$txtFilePath = "C:\Users\panchenbin\Desktop\bit008.txt"

# 读取文本文件中的数据
$reservations = Import-Csv -Path $txtFilePath -Delimiter "`t" -Header IPAddress,MACAddress,Description

# 定义 DHCP 服务器和作用域
$dhcpServer = "xxxx.xxxx.com"
$scopeId = "10.215.212.0"

# 获取所有保留的详细信息
$allReservations = Get-DhcpServerv4Reservation -ComputerName $dhcpServer -ScopeId $scopeId

# 批量删除保留 IP 地址
foreach ($reservation in $reservations) {
    try {
        # 查找匹配的保留
        $matchingReservation = $allReservations | Where-Object { $_.IPAddress -eq [IPAddress]$reservation.IPAddress }
        if ($matchingReservation) {
            # 删除匹配的保留
            Remove-DhcpServerv4Reservation -ComputerName $dhcpServer -ScopeId $scopeId -ClientId $matchingReservation.ClientId -Confirm:$false
            Write-Host "成功删除 IP 保留: $($reservation.IPAddress)"
        } else {
            Write-Host "未找到 IP 保留: $($reservation.IPAddress)" -ForegroundColor Yellow
        }
    } catch {
        Write-Host "无法删除 IP 保留: $($reservation.IPAddress). Error: $_" -ForegroundColor Red
    }
}

运行脚本

打开PowerShell ISE或PowerShell控制台。
将上述脚本复制并粘贴到PowerShell ISE或PowerShell控制台中。
根据你的实际情况修改 $txtFilePath、$dhcpServer 和 $scopeId 的值。
以管理员权限运行脚本。

总结以及最终实现效果

通过上述步骤，你可以轻松地批量添加和删除DHCP保留。这对于网络管理员来说是一个非常实用的工具，可以大大提高工作效率。如果你在执行过程中遇到任何问题，请确保你的DHCP服务器和作用域ID是正确的，并且你有足够的权限执行这些操作

华为交换机基础命令详解

Mon, 12 Aug 2024 18:05:08 +0800

华为交换机基础命令详解

华为交换机在网络构建与管理中扮演着至关重要的角色，掌握其基础命令对于网络工程师而言至关重要。本文将通过几个实际例子，详细介绍华为交换机的基础命令，包括设备命名、用户密码更改与设置、VLAN划分、管理地址配置以及开启SSH和HTTP服务等。

一、设备命名与用户密码设置

1. 设备命名

登录交换机后，首先需要对其进行命名，以便于管理。通过以下命令实现：

<Huawei> system-view
[Huawei] sysname 这里直接带设备名

其中，“SwitchName”是你为交换机指定的新名称。

2. 用户密码设置与更改

默认情况下，华为交换机的用户名是admin，密码为Admin@huawei.com。出于安全考虑，需要更改这些默认凭证。

修改Console口密码：

[SwitchName] user-interface console 0
[SwitchName-ui-console0] authentication-mode password
[SwitchName-ui-console0] set authentication password cipher NewPassword

这里，“NewPassword”是你设定的新密码，使用cipher选项进行加密处理。

修改Telnet用户密码：

首先，需要配置VTY线路，并设置认证模式和密码：

[SwitchName] user-interface vty 0 4
[SwitchName-ui-vty0-4] authentication-mode password
[SwitchName-ui-vty0-4] set authentication password cipher NewTelnetPassword

为了增强安全性，也可以采用AAA认证方式，配置用户名和密码：

[SwitchName] aaa
[SwitchName-aaa] local-user admin password irreversible-cipher NewTelnetPassword
[SwitchName-aaa] local-user admin service-type telnet
[SwitchName-aaa] local-user admin privilege level 15

二、VLAN划分

VLAN（虚拟局域网）是交换机的一个重要功能，它允许网络被划分为多个逻辑段，提高网络的安全性和灵活性。

1. 创建VLAN

[SwitchName] vlan 10

执行上述命令后，将创建一个VLAN 10。如果需要批量创建VLAN，可以使用：

[SwitchName] vlan batch 10 20 30

2. 将端口加入VLAN

进入端口视图，配置端口类型，并将其加入指定的VLAN：

[SwitchName] interface GigabitEthernet 0/0/1
[SwitchName-GigabitEthernet0/0/1] port link-type access
[SwitchName-GigabitEthernet0/0/1] port default vlan 10

对于需要连接多个VLAN的端口（如Trunk端口），可以使用：

[SwitchName] interface GigabitEthernet 0/0/2
[SwitchName-GigabitEthernet0/0/2] port link-type trunk
[SwitchName-GigabitEthernet0/0/2] port trunk allow-pass vlan 10 20

三、配置交换机管理地址

管理地址用于远程管理交换机，可以通过VLAN接口来配置：

[SwitchName] interface Vlanif 10
[SwitchName-Vlanif10] ip address 192.168.1.1 255.255.255.0

这里，我们将VLAN 10的接口地址设置为192.168.1.1/24。

四、开启SSH和HTTP服务

1. 开启SSH服务

SSH是一种安全的远程登录协议，可以通过以下命令开启：

[SwitchName] stelnet server enable  
[SwitchName] rsa local-key-pair create

然后，配置SSH认证方式和用户权限（类似Telnet用户配置）。

2. 开启HTTP服务

HTTP服务允许通过Web界面管理交换机：

[SwitchName] ip http enable

注意，开启HTTP服务可能增加安全风险，因此应确保网络环境的安全性。

结语

以上通过实际例子详细讲解了华为交换机的基础命令，包括设备命名、用户密码设置、VLAN划分、管理地址配置以及SSH和HTTP服务的开启。掌握这些基础命令，能够有效提升网络管理和维护的效率。在实际应用中，可以根据具体需求和网络环境进行相应的配置和调整。