私有公司本地化LLM
用户探讨在私有公司部署本地LLM处理敏感数据的可行性，指出GPU成本高昂（如RTX 6000 Pro 96GB需12000美元），认为当前浏览器端普通GPT版本能力已超越36B参数的本地LLM，寻求其他企业类似实践或专业部署建议。
1 分•作者: ahendest•大约 2 小时前
你认为为公司业务部署本地LLM怎么样？我们有Microsoft 365订阅，并内置了Copilot用于学习流程和问答。但是要使用像某些部门专用软件这样的LLM内部系统，其中包含敏感数据，我唯一想到的就是本地LLM。但到目前为止，我发现GPU价格昂贵。GPT告诉我可以用RTX 6000 Pro 96GB来运行一个36B的本地LLM，成本是12000美元。我认为我们目前在浏览器上使用的普通GPT，GPT 5.4扩展思考版本，其能力远强于36B的LLM。我很好奇是否有其他人有类似的想法，或者有没有专业的建议。
查看原文
what do you think to host a local LLM for company businness? ok we have ms365 subscription and built-in copilot for learn procedur, and Q/A. but to use the llm internal systems like special department softwares, which contains sensitive data, i do not have any idea other than local LLM. but so far what i found is gpus are expensive. gpt told me i can use 36B local LLM with rtx 6000 pro 96gb which costs 12k$. and i think the normal gpt that we are using on browser, gpt 5.4 extended think is much more stronger than 36B llm. i am curious if there are others that have similar ideas, or any proffessional advices.