摘要：一句话：这篇文章分享我在家用硬件上部署的高性价比大语言模型解决方案及实际使用体验。

与其他教你如何运行模型的文章不同，这篇文章更注重实际的用户体验。它取代了我家里的 ChatGPT和类似软件，我已经把它们全部卸载了。

AI 摘要：分享基于双RTX 3090的家用硬件部署大语言模型方案，解析模型选择策略与隐私优先的AI应用实践。

本文系统阐述了作者在家用级硬件（双RTX 3090+13900K）上部署多模态大语言模型的完整方案。通过量化优化与模块化组合策略，实现了70B级别模型在48GB显存下的稳定运行，支撑自研软件「浮望」的隐私敏感型AI功能。文章对比了不同参数量模型的性能表现，给出显存占用参考表，并演示了网络搜索/图像识别/文档处理等实际应用场景。核心观点强调在硬件受限环境下通过量化策略（最低int4）、上下文管理（最高128K tokens）和模型组合实现隐私保护与性能的平衡。

🧵 Thread • FxTwitter / FixupX

砍怀特@标准件厂长 (@Lakr233)

文章已上线。

Different from other articles that teach you how to run a model, this article focuses more on practical user experience. It replaced ChatGPT and similar software in my home, and I have uninstalled them all.

https://apps.qaq.wiki/docs/flowdown/zh…