文档目录

开始

基础原理2

从零理解 Transformer：自注意力到底在算什么 temperature、top-p 与分词：模型是怎么"选"出下一个词的

RAG 与检索15

RAG 入库8

1 总览1

1.1 RAG 入库：一份文档要过哪四道关

2 解析1

2.1 文档解析：文本层、OCR 与按页路由

3 切片3

3.1 切片：长度、重叠与边界 3.2 上下文切片：父子、层级与句窗 3.3 语义切片：相似度断点与 LLM 辅助

4 向量化1

4.1 Embedding：向量空间与相似度

5 增量与存储2

5.1 索引记录与增量更新：指纹、版本与幂等 5.2 存储分层：四份数据与一致性

RAG 检索4

1 查询理解1

1.1 查询理解与检索计划：规范化、特征与路由

2 向量检索1

2.1 向量索引：HNSW、IVF 与量化

3 关键词检索1

3.1 关键词检索：BM25 的数学

4 混合与重排1

4.1 混合与重排：RRF 与 Cross-Encoder

RAG 实战2

1 端到端1

1.1 端到端：一次入库与一次召回

2 落地1

2.1 RAG 落地实战：从能跑到好用，中间差了哪些环节

专题1

向量检索里，相似度到底是怎么算的

应用与评测2

Prompt 工程的四种范式：从话术到结构化推理怎么知道它变好了：LLM 应用的评测方法

微调与部署2

本地跑大模型：显存、量化与推理框架选型指南微调之前先算这笔账：LoRA 到底省了什么

开始

AI Space 是一个个人 AI 技术笔记站。内容按基础原理、RAG 与检索、应用与评测、微调与部署四个主题整理，记录模型机制、检索工程、评测方法和部署取舍。

从哪读起

先把模型看清注意力、采样与分词，后面所有工程问题都建在这上面。
走一遍 RAG 入库从一份文件到可召回的索引，12 篇按阶段排好。
再谈落地 RAG 实战、LoRA 与本地部署，关心成本和边界时看这组。

按主题浏览

4 个主题，共 21 篇。

基础原理

模型内部怎么算：注意力、采样参数与分词。

从零理解 Transformer：自注意力到底在算什么Attention、QKV、多头、位置编码，配一个能跑的最小实现，不用背公式也能看懂在算什么。
temperature、top-p 与分词：模型是怎么"选"出下一个词的从 logits 到概率，从 temperature 到 top-p，再到 token 是怎么切出来的。三个常被…

RAG 与检索

从文件到召回：解析、切片、索引、存储与相似度。

RAG 入库 8 篇

1 总览 1

1.1 RAG 入库：一份文档要过哪四道关解析、切片、索引、存储各自产出什么，验收线怎么定，成本与延迟在哪放大，坏了按哪一段归因。

2 解析 1

2.1 文档解析：文本层、OCR 与按页路由PDF 解析的关键在逐页判定文本层是否可信：CID 缺字、扫描页、双栏顺序和跨页表，各有可量化的信号与兜底路径。

3 切片 3

3.1 切片：长度、重叠与边界切片没有通用最优：先定 token 预算，再用边界指标和 golden set 调；Chroma 评测里 200…
3.2 上下文切片：父子、层级与句窗把检索单元和生成单元分开：子块召回、父块或句窗补上下文，预算按 k×父块大小算，自动合并阈值与父子同步是主要故障…
3.3 语义切片：相似度断点与 LLM 辅助语义切片在主题混杂的长文里有价值，但成本线性增长且阈值不可迁移；固定切分在多数真实文档上并不落后。

4 向量化 1

4.1 Embedding：向量空间与相似度选 embedding 先算三笔账：维度决定存储，最大长度决定切片，训练目标决定它在哪类查询上失效。

5 增量与存储 2

5.1 索引记录与增量更新：指纹、版本与幂等文档级 manifest 加块级指纹决定哪一层失效；确定性 chunk_id、幂等 upsert、tombsto…
5.2 存储分层：四份数据与一致性原始文件、元数据、向量、倒排各有真源与派生关系；用 outbox、版本可见性和对账把半套数据收敛到可查询状态。

RAG 检索 4 篇

1 查询理解 1

1.1 查询理解与检索计划：规范化、特征与路由检索质量在进入向量库之前就定了一半：先规范化，再抽标识符和精确短语，最后由 planner 决定走向量还是关键词…

2 向量检索 1

2.1 向量索引：HNSW、IVF 与量化索引选型先算内存和召回预算：HNSW 用图换延迟，IVF 用分桶换内存，PQ 用精度换容量，过滤策略决定它们会不…

3 关键词检索 1

3.1 关键词检索：BM25 的数学BM25 的可解释性来自三个可拆的因子：词频饱和、逆文档频率、长度归一化。调参之前先修分词，否则 k1 和 b …

4 混合与重排 1

4.1 混合与重排：RRF 与 Cross-Encoder混合检索的难点不在加一路，而在融合与预算：RRF 用排名避开量纲，Cross-Encoder 用算力换排序，候选…

RAG 实战 2 篇

1 端到端 1

1.1 端到端：一次入库与一次召回跟着一份 60 页 PDF 和一条真实问题走完链路，标出每步输入输出、p50/p95 预算、三类指标、坏 cas…

2 落地 1

2.1 RAG 落地实战：从能跑到好用，中间差了哪些环节按评测集、解析切片、混合检索与重排、模型替换的顺序推进，用可复算的成本和回归指标判断哪一步真的有用。

专题 1 篇

向量检索里，相似度到底是怎么算的余弦和内积只在两边都归一化后同序；度量、维度、前缀、阈值四件事定错，换更大的模型也补不回来。

应用与评测

Prompt 结构、评测集、裁判与一致性判断。

Prompt 工程的四种范式：从话术到结构化推理少样本、思维链、ReAct、结构化输出这几种写法，以及怎么把它们放进版本管理和测试里。
怎么知道它变好了：LLM 应用的评测方法评测的可信度取决于标注集、指标口径和样本量。用 kappa 校准裁判，按 80% 基线算样本，3 个百分点大约要…

微调与部署

LoRA 参数账、显存、量化与本地推理选型。

本地跑大模型：显存、量化与推理框架选型指南显存怎么估、GPTQ/AWQ/GGUF 怎么选、Ollama/vLLM/llama.cpp 各自适合什么，连同一…
微调之前先算这笔账：LoRA 到底省了什么全参数微调要 16 字节/参数，LoRA 只训 0.1% 就能打平。不过多数场景根本不该微调，原因写在第一节。

最近更新

4.1 混合与重排：RRF 与 Cross-Encoder2026.10.27 · RAG 与检索
2.1 RAG 落地实战：从能跑到好用，中间差了哪些环节2026.10.27 · RAG 与检索
1.1 端到端：一次入库与一次召回2026.10.27 · RAG 与检索
5.2 存储分层：四份数据与一致性2026.10.26 · RAG 与检索
3.1 关键词检索：BM25 的数学2026.10.26 · RAG 与检索
2.1 向量索引：HNSW、IVF 与量化2026.10.26 · RAG 与检索