隐私保护

引言 联邦学习（Federated Learning, FL）自2016年Google提出以来，已经走过了10年。从最初解决手机输入法隐私问题，到2026年已经成为跨行业、跨组织的AI协作标准。 2026年的联邦学习不仅在算法上更加成熟，在系统架构、隐私保护、产业应用等方面也取得了显著进展。本文将系统梳理这些进展。 一、联邦学习2026全景 1.1 技术成熟度 方面 2016 2026 通信效率 基础 高效压缩+异步 异构处理 差 多种算法应对 隐私保护 基础DP DP+SMPC+HE组合 拜占庭鲁棒 无 多种鲁棒聚合 系统支持 研究原型 生产级框架 1.2 应用规模 Google：20亿+设备参与联邦学习 Apple：iOS系统级联邦学习基础设施 医疗联盟：跨医院联合训练诊断模型 金融联盟：跨银行联合训练反欺诈模型 二、2026年核心技术进展 2.1 高效通信 通信是联邦学习的主要瓶颈。2026年的进展： 梯度压缩 class GradientCompression: def __init__(self, compression_rate=0.01): self.compression_rate = compression_rate # 只传输1%的梯度 def compress(self, gradient): """梯度压缩""" # 方法1: 稀疏化（只传输最大的k个梯度值） flat_grad = gradient.flatten() k = int(len(flat_grad) * self.compression_rate) threshold = np.sort(np.abs(flat_grad))[-k] mask = np.abs(flat_grad) >= threshold compressed = flat_grad * mask indices = np.where(mask)[0] values = compressed[indices] return {"indices": indices, "values": values, "shape": gradient.shape} def decompress(self, compressed): """梯度解压""" gradient = np.zeros(compressed["shape"]) gradient[compressed["indices"]] = compressed["values"] return gradient 量化 def quantize(gradient, bits=8): """梯度量化""" # 将32位浮点数量化为8位整数 min_val, max_val = gradient.min(), gradient.max() scale = (max_val - min_val) / (2**bits - 1) quantized = np.round((gradient - min_val) / scale).astype(np.uint8) return {"quantized": quantized, "min": min_val, "scale": scale} def dequantize(quantized_data): """梯度反量化""" return quantized_data["quantized"] * quantized_data["scale"] + quantized_data["min"] 异步聚合 不是等待所有客户端，而是来一个聚合一个： ...

引言 大语言模型（LLM）的训练通常需要海量数据，这些数据往往包含个人隐私信息——邮件、聊天记录、医疗记录等。即使经过清洗，模型仍可能"记住"训练数据中的敏感信息，通过精心构造的提示泄露出来。 差分隐私（Differential Privacy, DP）提供了一种数学上可证明的隐私保护方法。2026年，差分隐私已经在LLM的训练和部署中得到了广泛应用。本文将深入探讨其原理、实践和最新进展。 一、为什么LLM需要差分隐私 1.1 记忆问题 LLM会"记住"训练数据中的罕见模式。对于频繁出现的模式，这是泛化；对于罕见模式，这就是记忆。 问: "张三的电话号码是多少？" 如果"张三的电话号码是138xxxx"在训练数据中出现了多次 → 模型可能记住 1.2 提取攻击 攻击者可以通过针对性提示从模型中提取训练数据： 提示: "下面是张三的个人信息：姓名：张三，电话：" 补全: "13812345678，地址：北京市..." 如果模型补全出了真实的个人信息，说明它"记住"了训练数据。 1.3 法规合规 GDPR、CCPA等法规要求保护个人数据。使用差分隐私可以帮助证明已采取合理措施保护隐私。 二、差分隐私基础 2.1 直觉理解 差分隐私保证：无论数据集中是否包含某个人的数据，分析结果（几乎）相同。 例子： 不使用DP：数据集有张三 → 输出平均收入5000；数据集无张三 → 输出平均收入4800 使用DP：两种情况下输出都接近4900（±噪声），无法判断是否包含张三 2.2 形式化定义 算法M满足(ε, δ)-差分隐私，如果对于任意相邻数据集D和D’（相差一个样本）： Pr[M(D) ∈ S] ≤ exp(ε) * Pr[M(D') ∈ S] + δ ε（epsilon）：隐私预算，越小隐私保护越强 δ（delta）：失败概率，通常很小（如10^-5） 2.3 DP-SGD算法 将差分隐私应用于深度学习的核心算法： class DPSGD: def __init__(self, model, epsilon=1.0, delta=1e-5): self.model = model self.epsilon = epsilon self.delta = delta self.noise_multiplier = self.compute_noise_multiplier() self.max_grad_norm = 1.0 # 梯度裁剪阈值 def compute_noise_multiplier(self): """根据隐私预算计算噪声大小""" # 使用Rényi差分隐私分析 from opacus.privacy_analysis import compute_noise_multiplier return compute_noise_multiplier( target_epsilon=self.epsilon, target_delta=self.delta, sample_rate=0.01, # 采样率 epochs=10, noise_multiplier=None # 自动计算 ) def train_step(self, batch): """差分隐私训练步骤""" # 1. 计算梯度 loss = self.model.compute_loss(batch) gradients = torch.autograd.grad(loss, self.model.parameters()) # 2. 逐样本梯度裁剪（重要！） per_sample_grads = self.compute_per_sample_gradients(batch) clipped_grads = [] for grad in per_sample_grads: norm = torch.norm(grad) if norm > self.max_grad_norm: grad = grad * (self.max_grad_norm / norm) clipped_grads.append(grad) # 3. 添加噪声 noisy_grads = [] for grad in clipped_grads: noise = torch.normal( mean=0, std=self.noise_multiplier * self.max_grad_norm, size=grad.shape ) noisy_grads.append(grad + noise) # 4. 更新模型 self.model.update_parameters(noisy_grads) # 5. 更新隐私预算 self.privacy_accountant.step() 三、在LLM中应用DP的挑战 3.1 大规模挑战 LLM有数十亿甚至数千亿参数。DP-SGD需要逐样本梯度裁剪和噪声添加，计算开销巨大。 ...

引言 AI的进步依赖于数据，但数据的使用往往涉及隐私。医疗记录、金融交易、个人通信——这些数据可以训练出强大的AI模型，但直接使用可能侵犯隐私、违反法规。 2026年，隐私保护AI技术已经从学术概念走向生产应用。联邦学习、差分隐私、同态加密等技术正在让"使用数据而不看到数据"成为可能。本文将系统介绍这些技术的最新进展和实践应用。 一、隐私威胁模型 1.1 训练阶段威胁 数据泄露：训练数据被逆向工程恢复。 成员推断：推断某个样本是否在训练集中。 属性推断：推断训练数据中样本的敏感属性。 1.2 推理阶段威胁 模型逆向：从模型输出推断输入数据。 模型窃取：通过查询API复制模型功能。 输出泄露：模型输出中包含敏感信息。 1.3 生命周期威胁 模型遗忘：用户要求删除其数据的影响。 模型转让：模型转让给第三方时的隐私风险。 模型融合：多模型融合时的隐私泄露。 二、联邦学习2026 2.1 联邦学习基本原理 联邦学习（Federated Learning）的核心思想：数据不动，模型动。 中心服务器: 初始模型 ↓ 发送模型 客户端1: 本地训练 → 更新参数 → 发送回中心 客户端2: 本地训练 → 更新参数 → 发送回中心 客户端3: 本地训练 → 更新参数 → 发送回中心 ↓ 聚合更新 中心服务器: 更新全局模型 → 下一轮 2.2 2026年进展 高效通信 class EfficientFL: def __init__(self): self.compression = "gradient_sparsification" # 梯度稀疏化 self.quantization = "int8" # 8位量化 self.local_update = "fedprox" # 改进的本地更新 async def federated_training(self, clients, global_model, rounds=100): for r in range(rounds): # 1. 分发全局模型 await self.distribute_model(clients, global_model) # 2. 客户端本地训练（并行） local_updates = await asyncio.gather(*[ client.train_local(self.compression, self.quantization) for client in clients ]) # 3. 安全聚合 aggregated = await self.secure_aggregation(local_updates) # 4. 更新全局模型 global_model = self.apply_updates(global_model, aggregated) # 5. 评估 if r % 10 == 0: accuracy = await self.evaluate(global_model) print(f"Round {r}: accuracy={accuracy}") return global_model 异构数据处理 不同客户端的数据分布可能高度异构（Non-IID）。2026年的进展： ...

Ollama 2026：让本地大模型触手可及 Ollama 在 2026 年已经成为"本地运行大模型"的代名词。这个由 Go 语言编写的轻量级工具，让任何人都能在自己的电脑上运行大语言模型——无需 GPU 集群，无需复杂配置，一条命令即可开始。截至 2026 年 6 月，Ollama 累计下载量超过 2000 万次，月活用户超过 300 万。 2026 核心特性 版本亮点 特性 Ollama 0.1 (2024) Ollama 0.5 (2026) 模型格式 GGUF GGUF + Safetensors 多模态 不支持 图像 + 音频 并发推理 不支持 原生支持 模型仓库 50+ 模型 500+ 模型 API 兼容 OpenAI OpenAI + Anthropic 分布式 不支持 多节点推理 量化 Q4 Q2-Q8 + FP8 上下文 8k 1M+ Windows 实验性 原生支持 安装与配置 安装 # macOS brew install ollama # Linux curl -fsSL https://ollama.com/install.sh | sh # Windows (PowerShell) winget install Ollama.Ollama # Docker docker run -d --name ollama -p 11434:11434 -v ollama_data:/root/.ollama ollama/ollama:0.5 配置 # 环境变量配置 export OLLAMA_HOST=0.0.0.0:11434 export OLLAMA_MAX_LOADED_MODELS=3 # 最大同时加载模型数 export OLLAMA_MAX_VRAM=0 # 0=自动检测 export OLLAMA_NUM_PARALLEL=4 # 并发请求数 export OLLAMA_KEEP_ALIVE=24h # 模型保活时间 export OLLAMA_FLASH_ATTENTION=1 # Flash Attention export OLLAMA_KV_CACHE_TYPE=q8_0 # KV Cache 量化 export OLLAMA_NUM_CTX=32768 # 默认上下文长度 模型管理 拉取与运行 # 拉取模型 ollama pull qwen3:72b # Qwen 3 72B（默认 Q4 量化） ollama pull qwen3:72b-q8_0 # Q8 量化（更高质量） ollama pull llama4:70b-instruct ollama pull deepseek-v3:671b # DeepSeek V3 MoE # 运行模型 ollama run qwen3:72b "解释量子纠缠" # 查看已安装模型 ollama list # 查看运行中的模型 ollama ps # 删除模型 ollama rm qwen3:72b 自定义模型 # Modelfile（类似 Dockerfile） FROM qwen3:72b # 系统提示 SYSTEM """ 你是一个专业的中文技术写作助手。你的任务是： 1. 撰写清晰、准确的技术文档 2. 使用中文，技术术语保留英文 3. 包含代码示例和对比表格 4. 保持客观、专业的语气 """ # 参数 PARAMETER temperature 0.3 PARAMETER top_p 0.9 PARAMETER num_ctx 32768 PARAMETER repeat_penalty 1.1 PARAMETER stop "<|im_end|>" # 模板 TEMPLATE """ {{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}<|im_start|>user {{ .Prompt }}<|im_end|> <|im_start|>assistant """ # 工具定义 TOOL search_web { "description": "搜索互联网", "parameters": { "type": "object", "properties": { "query": {"type": "string"} } } } # 构建自定义模型 ollama create tech-writer -f Modelfile # 运行 ollama run tech-writer "写一篇关于 RAG 架构的文章" API 使用 REST API import httpx import json import asyncio class OllamaClient: def __init__(self, base_url="http://localhost:11434"): self.base_url = base_url self.client = httpx.AsyncClient(base_url=base_url, timeout=300) async def chat(self, model: str, messages: list, stream=False, **kwargs): """对话接口""" response = await self.client.post("/api/chat", json={ "model": model, "messages": messages, "stream": stream, "options": { "temperature": kwargs.get("temperature", 0.7), "top_p": kwargs.get("top_p", 0.9), "num_ctx": kwargs.get("num_ctx", 32768), }, "tools": kwargs.get("tools", []), }) return response.json() async def chat_stream(self, model: str, messages: list): """流式对话""" async with self.client.stream("POST", "/api/chat", json={ "model": model, "messages": messages, "stream": True, }) as response: async for line in response.aiter_lines(): data = json.loads(line) if data.get("message", {}).get("content"): yield data["message"]["content"] if data.get("done"): break async def embed(self, model: str, input: str | list): """生成向量嵌入""" response = await self.client.post("/api/embed", json={ "model": model, "input": input, }) return response.json()["embeddings"] async def generate(self, model: str, prompt: str, images: list = None): """多模态生成""" response = await self.client.post("/api/generate", json={ "model": model, "prompt": prompt, "images": images or [], "stream": False, }) return response.json() # 使用 client = OllamaClient() # 对话 result = await client.chat( model="qwen3:72b", messages=[ {"role": "system", "content": "你是专业翻译"}, {"role": "user", "content": "翻译：AGI will change everything"} ], temperature=0.3 ) # 流式输出 async for chunk in client.chat_stream( model="qwen3:72b", messages=[{"role": "user", "content": "写一首诗"}] ): print(chunk, end="", flush=True) # 向量嵌入 embeddings = await client.embed( model="bge-m3", input=["你好世界", "Hello World"] ) OpenAI 兼容接口 from openai import OpenAI # Ollama 兼容 OpenAI API client = OpenAI( base_url="http://localhost:11434/v1", api_key="ollama" # 任意值即可 ) response = client.chat.completions.create( model="qwen3:72b", messages=[{"role": "user", "content": "Hello!"}], stream=True ) 工具调用 # Ollama 2026 原生支持工具调用 result = await client.chat( model="qwen3:72b", messages=[{"role": "user", "content": "北京今天天气怎么样？"}], tools=[{ "type": "function", "function": { "name": "get_weather", "description": "获取天气信息", "parameters": { "type": "object", "properties": { "city": {"type": "string"} }, "required": ["city"] } } }] ) # 模型返回工具调用 if result.get("message", {}).get("tool_calls"): tool_call = result["message"]["tool_calls"][0] print(f"调用工具: {tool_call['function']['name']}") print(f"参数: {tool_call['function']['arguments']}") 性能优化 量化选择 量化 显存/内存 质量 速度 推荐场景 Q2_K 最低 差 最快 测试/验证 Q4_0 低 中 快 低配设备 Q4_K_M 中低 良 快 日常使用（推荐） Q5_K_M 中 好 中 质量优先 Q8_0 高 优 中 最高质量 FP16 最高 最优 慢 无量化 硬件适配 # CPU 推理优化 export OLLAMA_NUM_THREAD=8 # CPU 线程数 export OLLAMA_NUM_CTX=8192 # 降低上下文长度 # GPU 推理优化 export OLLAMA_GPU_LAYERS=80 # GPU 层数（-1 全部） export OLLAMA_FLASH_ATTENTION=1 # Flash Attention export OLLAMA_KV_CACHE_TYPE=q8_0 # KV Cache 量化 # Apple Silicon 优化 export OLLAMA_METAL_GPU=1 # 使用 Metal export OLLAMA_KV_CACHE_TYPE=q4_0 # 统一内存节省 export OLLAMA_NUM_CTX=16384 # 适合 M 芯片 性能对比 硬件 模型 量化 速度 (tok/s) 首Token延迟 内存占用 M3 Max 64GB Qwen3-72B Q4_K_M 18.5 2.1s 42 GB M3 Max 64GB Qwen3-32B Q4_K_M 45.2 0.8s 20 GB RTX 4090 24GB Qwen3-14B Q4_K_M 85.3 0.3s 9 GB RTX 4090 24GB Qwen3-32B Q4_K_M 42.1 0.5s 20 GB 2×A100 80GB Qwen3-72B Q8_0 55.8 0.4s 75 GB CPU 32-core Qwen3-7B Q4_K_M 12.3 1.5s 5 GB 与应用集成 与 LangChain 集成 from langchain_ollama import ChatOllama, OllamaEmbeddings # 对话模型 llm = ChatOllama( model="qwen3:72b", temperature=0.7, base_url="http://localhost:11434" ) # 嵌入模型 embeddings = OllamaEmbeddings( model="bge-m3", base_url="http://localhost:11434" ) # 使用 from langchain_core.messages import HumanMessage response = llm.invoke([HumanMessage(content="你好")]) 与 Dify 集成 # Dify 配置 Ollama model_provider: name: ollama credentials: base_url: http://localhost:11434 models: - name: qwen3:72b type: llm context_size: 32768 - name: bge-m3 type: text-embedding context_size: 8192 多节点部署 # Ollama 集群配置（2026 新特性） # ollama-cluster.yaml nodes: - name: node-1 host: 192.168.1.101 port: 11434 gpu: "RTX 4090" models: ["qwen3:32b", "bge-m3"] - name: node-2 host: 192.168.1.102 port: 11434 gpu: "RTX 4090" models: ["qwen3:32b"] # 负载均衡 - name: node-3 host: 192.168.1.103 port: 11434 gpu: "A100 80GB" models: ["qwen3:72b"] # 大模型专用 # 路由策略 router: strategy: "least_loaded" # 最少负载 health_check_interval: 10 failover: true 适用场景 最适合 隐私敏感场景：数据不出本地的安全需求 离线环境：无网络或网络不稳定的环境 开发测试：快速测试不同模型的表现 边缘计算：IoT 设备、边缘服务器上的 AI 个人使用：在自己的电脑上运行 AI 助手 不太适合 高并发生产：吞吐量不如 vLLM/TGI 超大模型：671B 级别模型需要集群 成本敏感：相比云端 API，电费和硬件成本较高 总结 Ollama 在 2026 年仍然是"本地运行大模型"的最佳选择。它的核心价值不在于性能极致——vLLM 和 TensorRT-LLM 在吞吐量上更优——而在于"简单"。一条命令安装，一条命令运行，OpenAI 兼容 API，跨平台支持，这些特性让 Ollama 成为开发者在本地使用大模型的首选。 ...