#开源 #大模型 #AI

🤖Mistral AI 发布开源大模型「8x7B」

体验地址（点击⚙切换）

📄「8x7B」是首个开源的 MoE 大模型，共有 560 亿个参数，支持 32k 上下文窗口。支持英语、法语、德语、西班牙语和意大利语，但是实测输入中文也会回答

📈在 7 个基准测试中，「8x7B」超过了 Llama2 70B，并且达到或超过 GPT-3.5

🤖️Mistral AI 被外界称作欧洲版 OpenAI ，并且「8x7B」使用了与 GPT-4 非常相似但规模较小的架构，所以未来非常有机会与 OpenAI 分庭抗礼

😄有趣的是，Mistral AI 团队是通过一条磁力链接发布该模型

❓什么是 MoE 大模型

混合专家（MoE）是一种在大型语言模型（LLMs）中用于提高效率和准确性的技术。它通过将复杂任务分解为更小、更易管理的子任务来工作，每个子任务由一个「专门的小型模型」或「专家」处理

📮投稿 📢频道 💬群聊 🔎索引