“谁来记会议纪要?”——这句灵魂拷问几乎出现在每一个职场人的日常中。传统的做法要么是指定一名倒霉蛋全程手敲键盘,要么是依赖付费的云AI服务,既泄露隐私又费用不菲。如今,一位来自深圳的独立开发者陈立(化名)用一块RTX 5060 Ti显卡和0.9B参数的小模型,在个人电脑上实现了本地实时会议纪要生成,彻底终结了这一“世纪难题”。
小模型,大能耐
“很多人觉得本地跑AI必须上大模型、高端卡,其实完全不是这么回事。”陈立向记者展示了他的方案:一台搭载RTX 5060 Ti(12GB显存版)的普通台式机,配合优化后的0.9B参数Whisper-Tiny衍生模型,不仅能实时转写语音,还能通过本地部署的LLaMA-2-0.9B(量化版)自动生成结构化会议纪要。
这套系统最惊人的是效率:在5060 Ti上,语音识别延迟仅0.3秒,纪要生成耗时不超过5秒,完全达到实时交互标准。而0.9B小模型仅需约1.8GB显存,整机功耗控制在150W以内,远低于云端API调用带来的网络成本和隐私风险。
从“噩梦”到“一键生成”
陈立坦言灵感来源于一次痛苦的经历:“上个月公司连续开了四小时跨部门会议,每个人都在抢话筒,没人记录。散会后老板要求第二天交纪要,我熬到凌晨三点才整理完。”
此后,他花了三周时间,利用开源工具链完成了本地AI纪要管线的搭建。核心流程包括:RTX 5060 Ti上运行的Whisper-Tiny-0.9B负责语音转文字(支持中英混合),利用NVIDIA TensorRT-LLM加速;接着,经过微调的LLaMA-2-0.9B将原始文本自动提炼为“议题-讨论-决议-行动项”四段式纪要。
“0.9B参数量其实刚刚好,”陈立解释,“会议纪要不需要写诗,足够理解上下文和提取关键信息即可。大模型反而容易跑偏,还费显存。”
成本账:一次投入,永久免费
陈立算了一笔账:一块RTX 5060 Ti目前市场价约2800元,整套系统(含其他配件)预算控制在5000元以内。而企业常用的云AI纪要服务,按小时计费往往动辄数十元,一年下来轻松破万。“更重要的是数据不外流,尤其是涉及商业机密时,本地化是刚需。”
记者实测体验:在陈立的电脑上,打开会议录音后,系统在十几秒内就输出了规范清晰的纪要,甚至自动标出了“待办事项”和“责任人”。陈立表示,这套方案已在他的公司内测三个月,累计处理了超过200场会议,准确率超过85%,后续有望通过用户反馈进一步优化。
专家点评:本地AI平民化的里程碑
浙江大学计算机学院副教授林浩评价称:“0.9B小模型+RTX 5060 Ti的组合,代表了个人AI从‘能跑’到‘好用’的关键跃升。它证明了在合理场景下,小模型配合能打的中端显卡完全可以替代云端服务。”
当然,该方案也存在局限性:无法处理超长会议(超过两小时可能出现上下文丢失),对多方言支持尚不完善。但陈立表示,他已在开源社区共享了配置脚本,任何人都可以复现这套系统。“我希望让每个打工人都不再为纪要发愁——你的电脑里就住着一个免费的AI秘书。”
“个人电脑玩AI”系列实践正悄然改变着我们的工作方式。当5060 Ti这样的消费级显卡开始“给人打工”,或许我们离“不要再来伤害我”的会议噩梦,真的越来越远了。