📚 AI 知识库

大语言模型（Large Language Model，LLM）是一类在海量文本上训练出来的人工智能模型，核心能力是根据已有文字「预测下一个最可能的词」。

经过足够规模和质量的训练后，这种「逐词预测」能力涌现出问答、写作、翻译、代码生成等复杂技能。

注意：模型是在「模仿训练语料中的语言规律」，并不真正「理解」世界；它的回答可能出现事实错误或「一本正经地胡说」，使用时需要自行判断。

模型并不直接处理「字」或「词」，而是把文本切分成更小的单元，称为 Token（词元）。

英文里一个 Token 大约对应 4 个字符或一个单词片段；中文里一个汉字通常对应 1～2 个 Token。各家分词器不同，同一句话切出的 Token 数会有差异。

为什么重要：模型的能力上限用「上下文窗口（Token 数）」衡量，API 的计费也大多按输入 + 输出的 Token 数计算。

上下文窗口（Context Window）指模型单次对话能同时处理的 Token 总量，包含你输入的内容、系统设定和模型已生成的回复。

当对话长度超过窗口上限，最早的内容会被「挤出去」，模型便无法再参考它们，这就是长对话出现「遗忘」或前后矛盾的原因。

处理超长材料时，常用手段是分段总结、检索增强（RAG）或把资料放进支持超长窗口的模型。

Transformer 是绝大多数现代大语言模型的底层架构，2017 年提出，用「注意力机制（Attention）」让模型在处理每个词时，都能直接参考句子中其他相关的词。

相比早期的循环结构，注意力机制可以并行计算，更适合在大规模数据上训练，也更容易扩展到海量参数。

如果你不想深入数学，只需记住一句话：Transformer 让模型学会了「根据上下文给每个词分配不同的关注度」。

DeepSeek 是国内团队推出的大语言模型系列，以「高性能 + 开源权重」著称，训练和推理成本相对可控，因此在开发者社区中讨论度很高。

其模型通常同时提供面向对话的版本与面向代码/推理的版本，适合本地部署、二次开发和科研对比。

提示：不同代际的 DeepSeek 在能力侧重上差异较大，选型时应以官方最新文档和基准为准，避免凭旧印象判断。

GPT（Generative Pre-trained Transformer）是 OpenAI 推出的生成式预训练模型系列，经过多代迭代，在通用对话、写作、代码等任务上应用广泛。

多数用户通过 ChatGPT 产品或开放 API 使用，按 Token 计费；不同档位模型在速度与能力之间各有取舍。

选型建议：追求高质量优先选旗舰模型，追求低成本高频调用可选更小更快的型号。

Claude 是 Anthropic 推出的大语言模型系列，以较长的上下文支持、稳健的长文档处理和对指令的遵循度受到关注，在代码辅助与文档分析场景中口碑较好。

其能力也随代际演进，不同版本在推理、编码、多语言上的表现会有差异。

使用建议：处理超长资料、需要稳定遵循复杂格式要求时，可优先考虑该系列。

Qwen（通义千问）是阿里推出的大语言模型系列，提供从较小到较大的多种参数规格，并以开源权重形式发布，便于本地运行和定制。

该系列通常覆盖通用对话、代码、多语言等方向，社区生态和中文支持较为完善，适合作为中文场景下的本地化底座。

提示：同名模型常有多个尺寸与微调版本，落地前请核对具体版本的能力边界。

混元是腾讯推出的大语言模型系列，覆盖对话、多模态、代码等多个方向，并以开源权重形式发布部分模型，便于开发者和企业本地化部署与二次开发。

其能力随代际持续演进，在中文理解、长文本处理以及与腾讯生态（如微信、企业服务）的结合上具备天然优势，适合作为中文业务场景下的模型底座。

提示：不同代际的混元在能力侧重与上下文长度上差异较大，选型时应以官方最新文档和基准为准，避免凭旧印象判断。

本地部署指把模型运行在你自己的电脑或服务器上，而不是调用云端 API。主要收益是：数据不出本机、可离线使用、长期成本可控。

开始前你需要评估三件事：

1. 显存 / 内存大小（决定能跑多大的模型）
2. 是否需要 GPU 加速（体验差异明显）
3. 用哪种工具托管（Ollama、vLLM、llama.cpp 等）

新手建议先从 Ollama 这类一键工具起步，跑通一个 7B 级别的量化模型，再逐步深入。

Ollama 是流行的本地模型管理工具，把下载、运行、调用封装得比较简单，适合新手。

常见操作（占位示例）：

• 安装 Ollama 后，用一条命令拉取模型
• 直接在终端进入对话
• 也可通过本地接口供其他程序调用

实际命令与可用模型名请以 Ollama 官方文档为准。本文为占位示例，待补充完整步骤与截图。

模型运行需要把权重加载进显存（用 GPU 时）或内存（纯 CPU 时）。一个粗略经验：

• 未量化模型：约 参数量 × 2 字节（FP16）的显存
• 4-bit 量化：约 参数量 × 0.5 字节

例如 7B（70 亿参数）模型，FP16 约需 14GB，4-bit 量化后约 4～5GB，入门级显卡也能尝试。

注意：实际还受上下文长度、并发数影响，以上仅为占位估算，落地前请以具体工具实测为准。

量化是把模型权重从高精度（如 FP16）转换为更低精度（如 INT8、INT4）的技术，目的是减小体积、降低显存占用、提升推理速度。

代价是可能损失少量精度，对多数日常任务影响有限，但某些对数值敏感的任务需谨慎评估。

占位说明：本文为示例条目，正式内容将补充量化原理、常见格式（如 GGUF 的 Q 系列）与选型建议。