# NPU

RK3588 盒子通过 NPU 运行 bge-small-zh-v1.5，为 Cloudreve 提供本地语义搜索，并与 Meilisearch 混合检索。全程不调用云端 API，文本只在私网桥与宿主机服务间传输，无模型费用，也不外发正文。正式部署为宿主机 systemd 服务而非 Docker：RKNN SDK 依赖设备树，容器会遮挡平台识别。服务仅监听私网地址，并设专用用户、密钥和资源限制。CPU 负责分词与归一化，NPU 跑编码器，长文本滑窗聚合。实测 NPU 端到端中位 19.16/78.92 ms，约 CPU 的 8 倍，向量余弦最低 0.999782；但样本小，仍需混合检索。部署后 554 个分块全部向量化；未验证整机重启、功耗和网页端语义搜索效果。

将 Windows DSH graph-memory 插件和自建笔记应用接入已有的本机 NPU 嵌入服务。方案是不新起进程，复用同一 cloudreve-embedding 模型与推理锁，通过独立端口、密钥和单 IP 白名单隔离。DSH 零源码修改，仅改配置，采用带策略版本的对称编码，512 维、阈值 0.58，223 条摘要迁为 512 维且未重抽摘要，需重启 DSH 生效。笔记容器不能用 127.0.0.1，改为固定 172.24.0.2 并加入白名单，实测 512 维、约 215 毫秒。服务无 /v1/models 与 TLS，仅限可信内网，共享单 NPU 会影响排队。