号外：发现hono.js是个神器呀，配合上 cloudflare，再加上 AI 时代的需要，又能跨平台、性能还猛…… 这个系列是基于在鹅厂的工程实践，

本文主题是 pdf 解析器，是离线解析文档的入口，也是比较难的一部分，因为 PDF 里面的内容比较复杂，需要考虑很多细节。 例如：表格数据（尤以多个表格排布最难）、图片、页脚引用等等。本文使用到的资料均已脱敏，不涉及到任何公司隐私，仅做个人复盘。

本文的主题是“分词器”，乍一看是不是感觉很陌生，其实我如果不做 RAG系统开发，我也是懵逼🙂‍↕️，幸好经过调试、开发了我们游戏内的自定义分词器后，现在熟了一些，本文涉及的项目内容、架构实现，都已经经过精简、脱敏处理，仅做📝

flowchart LR Client["前端/调用方"] --> API["FastAPI app_main:app"] API --> UserRouter["router/user_rt.py\n登录、注