早前谷歌在 Google Chrome Canary 版里發(fā)布了 WebGPU 項(xiàng)目，開源該項(xiàng)目可以讓開發(fā)者基于瀏覽器調(diào)用本機(jī)顯卡算力。項(xiàng)目
所以在 GitHub 上有開源團(tuán)隊(duì)構(gòu)建了 Web-LLM 項(xiàng)目，基于機(jī)器珠海模特包夜（電話微信181-8279-1445）提供一二線城市可以真實(shí)可靠快速安排30分鐘到達(dá)即基于 Web 的安裝大型語言模型，一切都在瀏覽器內(nèi)運(yùn)行，本地不需要服務(wù)器支持、聊天藍(lán)點(diǎn)不需要安裝、人開直接利用 WebGPU 特性運(yùn)行。發(fā)中
這個項(xiàng)目可以大幅度簡化搭建 AI 聊天機(jī)器人的開源步驟，而且可以保護(hù)隱私，項(xiàng)目珠海模特包夜（電話微信181-8279-1445）提供一二線城市可以真實(shí)可靠快速安排30分鐘到達(dá)因?yàn)檫@個 AI 模型是基于機(jī)器 “你” 控制的，你提交的安裝數(shù)據(jù)不會被共享給開發(fā)者進(jìn)行模型訓(xùn)練。
這個項(xiàng)目還在開發(fā)中，本地有興趣的聊天藍(lán)點(diǎn)開發(fā)者可以參與該項(xiàng)目。
![[開源項(xiàng)目] 基于WebGPU的人開免安裝本地AI聊天機(jī)器人 (開發(fā)中)](https://img.lancdn.com/landian/2023/04/98381.png)
當(dāng)然由于是相當(dāng)于在本地運(yùn)行的，所以顯卡性能至關(guān)重要，根據(jù)開源團(tuán)隊(duì)說明， 顯存至少需要 6.4GB，所以如果你的顯卡顯存比較小的話可能無法運(yùn)行。
必要條件：Google Chrome 113.0+、顯存至少為 6.4GB，使用不同的模型顯存要求可能還會增加。
項(xiàng)目地址：https://github.com/mlc-ai/web-llm
演示地址：https://mlc.ai/web-llm/#chat-demo
注：演示聊天使用的模型是 vicuna-7b-v0。
相關(guān)文章
精彩導(dǎo)讀
熱門資訊
關(guān)注我們
