书接上回（传送门）。公司的AI助手已经启用了一段时间。但普遍反映回答问题不够准确，经过多方查找，发现是大模型的原因。因为服务器配置不高，之前配置的qwen2.5已经由7b降到了3b，3b的千问用chat还好，但在使用embedding时，检索出的数据命中率实在是惨不忍睹，连0.5都达不到。无奈之下，只好寻找精度更高一些的embedding模型了。在huggingface中文榜单里多方对比，最终决定使用TencentBAC/Conan-embedding-v1这个大模型，主要指标Retrieval Average (8 datasets)的排名也非常靠前！但，还是要说但是，ollama和Xinference都没办法直接调用Conan-embedding-v1，好在这两个框架都支持从外部自定义导入大模型。于是，曲折的安装之路开始了~1、在ollama上安装并使用Conan-embedding-v1因为HuggingFace上并不会直接提供GGUF文件，所以需要把HuggingFace下载的模型文件用ollama的转化程序进行转化。1.1 从HuggingFace下载Model首先在hf的个
由于公司需要，使用一台新电脑，进行AI环境的配置，需求是在web端和企业微信端安装使用智能助手，且需要离线运行大模型。下面将步骤进行记录，以便后期维护。1、安装系统1.1 准备工作全新电脑（提前考虑好安装的模型，有针对的进行配置）装机U盘（4G+）debian系统镜像（https://mirror.lzu.edu.cn/debian-cd/）镜像刷写工具：balenaEtcher / Rufus 等1.2 步骤下载镜像；使用刷写工具刷写到优盘中；插入电脑，开机使用优盘引导，自动装机；图形界面系统安装，可参考文章：https://blog.csdn.net/weixin_44200186/article/details/1319700402、环境设置2.1 设置网络可能会有多种网络管理工具，比如：ifupdown，修改配置文件：/etc/network/interfacessystemd-networkd，配置文件路径：/etc/systemd/network/NetworkManager，配置文件路径：/etc/NetworkManager/system-connections/2.2
肥牛
半路出家的产品圈怪蜀黍
