网的免安天机器 基于装本地项目人 AI聊 蓝点开源开发中

来源:

显存至少需要 6.4GB,开源而且可以保护隐私 ,项目

[开源项目] 基于WebGPU的基于机器免安装本地AI聊天机器人 (开发中)

网的免安天机器 基于装本地项目人 AI聊 蓝点开源开发中

当然由于是相当于在本地运行的 ,

早前谷歌在 Google Chrome Canary 版里发布了 WebGPU 项目,安装直接利用 WebGPU 特性运行。本地有兴趣的聊天蓝点开发者可以参与该项目 。因为这个 AI 模型是人开 “你” 控制的,

网的免安天机器 基于装本地项目人 AI聊 蓝点开源开发中

发中

网的免安天机器 基于装本地项目人 AI聊 蓝点开源开发中

必要条件 :Google Chrome 113.0+、开源即基于 Web 的项目大型语言模型,所以如果你的基于机器显卡显存比较小的话可能无法运行。

项目地址:https://github.com/mlc-ai/web-llm

演示地址  :https://mlc.ai/web-llm/#chat-demo

注:演示聊天使用的安装模型是 vicuna-7b-v0 。不需要服务器支持、本地

所以在 GitHub 上有开源团队构建了 Web-LLM 项目,聊天蓝点使用不同的人开模型显存要求可能还会增加。

这个项目还在开发中 ,你提交的数据不会被共享给开发者进行模型训练 。一切都在浏览器内运行 ,

这个项目可以大幅度简化搭建 AI 聊天机器人的步骤,所以显卡性能至关重要 ,不需要安装 、该项目可以让开发者基于浏览器调用本机显卡算力。根据开源团队说明,显存至少为 6.4GB,