#GitHub情报 #APP #AI #macOS

🎤 Chorus: 多模型 AI 对话的轻量级桌面应用

官网 ｜ Github

在一个界面同时对话多个 AI 模型，获取不同视角的答案

✨ 特点

• 多模型并行对话：同时向 Claude Sonnet 4、o3-mini、Gemini 2.5 Pro、DeepSeek R1 等多个模型提问，实时对比不同模型的回答
• Ambient Chat：可以从任何地方启动对话，Chorus 能看到你的屏幕，了解你正在做什么，无需额外解释
• MCP 支持：运行任何 MCP 服务器，支持网页搜索、终端命令执行、GitHub 集成等
• 本地和云端模型兼容：支持 OpenAI、Anthropic、Google、OpenRouter 以及通过 Ollama 运行的本地开源模型
• 文档处理：URL 自动提取、PDF/图片/文档上传、全文搜索
• Magic Projects：对话之间自动共享上下文
• BYOK：自带 API 密钥或使用代理服务
• 极速体验：毫秒级全文搜索、完整键盘快捷键支持、代码和 LaTeX 语法高亮

⚙️ 机制

• 前端：React 18.3 + Vite 5.4 + TypeScript 5.8
• 后端：Rust (Tauri 2.5) + SQLite
• UI 组件：Radix UI + Tailwind CSS 3.4
• 状态管理：Zustand + TanStack Query
• 桌面框架：Tauri 2（使用系统 WebView，不打包 Chromium）

主要依赖

- AI SDK：@anthropic-ai/sdk、@google/genai、openai、@modelcontextprotocol/sdk
- 实用工具：pdfjs-dist（PDF 处理）、cheerio（HTML 解析）、highlight.js（代码高亮）、katex（LaTeX 渲染）
- 开发工具：ESLint、Prettier、Vitest、Husky

数据存储

- 本地 SQLite 数据库存储所有数据
- 隐私优先：数据不离开设备
- 支持文件系统监控

👨🏻‍💻 使用场景

• 技术问题调试：同时询问多个模型，一个模型可能遗漏的错误，其他模型能发现
• 学术写作：避免单一模型的幻觉或道歉循环，通过多模型对比获得更可靠的答案
• 研究和学习：对比不同 AI 的观点和解释方式，获得更全面的理解
• 内容创作：利用不同模型的优势，Claude 擅长写作，GPT 擅长结构化，Gemini 擅长多语言
• 大文档分析：通过 URL 提取和 PDF 上传处理文档，配合全文搜索快速定位信息

🛣️ 路线图

根据 GitHub issues 和社区反馈，团队正在关注：

• RAG 模式：社区提出详细的大文档处理方案（40k+ tokens），可能采用云端 RAG 或本地向量数据库
• Ollama 优化：增强本地模型支持，自定义 API 地址配置
• 语音集成：类似 qspeak.app 的语音交互功能
• 本地爬虫：替代 Firecrawl 的本地网页抓取方案
• 成本追踪增强：已实现 OpenRouter 成本跟踪，未来可能支持更多提供商

💬 社区评价

Chorus 在 GitHub 上获得了 575+ 星标和 73 个 fork，开源仅两个月就积累了活跃的开发者社区。项目有 25+ 个 issues 讨论。

Garry Tan（Y Combinator 总裁兼 CEO）评价道：「这是关于 AI 如何改变个人计算的一个很酷的尝试。」

Hamel Husain（Answer.AI）称赞说：「Chorus 真的很酷。这是一个非常精致的应用，让你并排使用所有模型，'环境聊天'功能允许模型看到你电脑上正在做的一切。它就是好用。」

Alex Volkov（Thursd/AI）表示：「Chorus 对我来说已经成为不可或缺的 AI 工具！出色的键盘快捷键支持、对比模式、MCP、环境聊天、自带密钥支持、本地模型支持。它真的应有尽有！」

从社区反馈来看，用户最喜欢的是多模型并行对比功能和 Ambient Chat 的便利性，键盘快捷键和 MCP 集成也备受好评。不过也有改进空间：Windows 版本尚未发布（仅支持 Mac），MCP 服务器配置对新手有一定门槛，部分用户期待的 RAG 模式功能还在社区讨论阶段。总体而言，社区对产品持积极态度，维护者响应迅速，用户提出的成本追踪等功能已快速实现。

🖊️ 作者背景

Charlie Holtz - 联合创始人兼 CEO

• 教育：Brown University 计算认知神经科学学士（荣誉学位）
• 职业经历：
- Replicate 工程师（领导增长，构建数百万用户应用）
- Point72 量化研究员（最年轻的量化开发者，管理数十亿美元投资组合）
- Brown University Serre Lab 计算视觉研究助理
• 背景：结合技术专长和认知神经科学洞察，前飞盘运动员

Jackson de Campos - 联合创始人

• 教育：Brown University 计算机科学学士
• 职业经历：
- Netflix 机器学习软件工程师（扩展 Netflix 整个目录的视频理解模型推理）
- Amazon SDE 实习生
- Brown University 教学助理（逻辑系统课程）
• 背景：机器学习和大规模基础设施专家

公司：Melty Labs

- Y Combinator S24 批次
- 种子轮融资：50 万美元（2024）
- 团队规模：1-10 人
- 总部：旧金山，加州
- 产品线：Melty（AI 代码编辑器）→ Chorus（多模型 AI 对话应用）
- 哲学：开源优先、本地优先、隐私优先

团队特色

两位创始人在 Brown University 打飞盘时相识，共同的技术热情和互补的专业背景（认知神经科学 + 机器学习）为产品注入了独特视角。他们使用 Claude Code 构建产品，在博客中甚至把 Claude 称为「本月最佳员工」。

💰 定价

完全免费 + 开源

- MIT 许可证
- 自带 API 密钥（BYOK）：用户直接向 AI 提供商付费
- 可选代理服务：使用 Chorus 的代理
- 无订阅费用

🙋‍♂️ 感想

Chorus 刚发布时就吸引了我的注意力，相比其他套壳聊天软件，它的界面更精致，而且是首批支持 MCP 的产品之一。不过目前整体体验已经不如 Claude Desktop，因为 Claude 在桌面端提供了功能更强大的 Cowork 和 Code 模式。

但如果你需要对比不同模型的输出结果，或者当某个模型的答案不满意时希望能快速切换到另一个，Chorus 依然是个不错的选择——开源、免费、性能优秀，这三点在 AI 工具领域并不常见。

频道：@NewlearnerChannel

#GitHub情报 #macOS #AI

☠️ ANE — 逆向工程解锁 Apple Neural Engine 训练能力

首个绕过 CoreML、在 Apple M4 神经引擎上实现完整反向传播的开源概念验证，证明 ANE 硬件本身具备训练能力，软件封锁才是真正壁垒。

✨ 特点

• 私有 API 直连：通过逆向工程 _ANEClient、_ANECompiler 等私有接口，完全绕过 CoreML，实现对 ANE 硬件的直接控制，吞吐提升 2–4x。
• 完整前向 + 反向传播：在 ANE 上运行 Transformer 的前向与 dx 梯度计算，权重梯度 dW 由 CPU（Accelerate cblas）并发处理，支持 Adam 优化器与 checkpoint 续训。
• 动态权重管道：将权重打包进空间维度，实现权重更新无需重新编译，突破 ANE 每进程约 119 次编译上限的约束。
• INT8 W8A8 量化：利用 MIL quantize/dequantize 算子在 L2 SRAM 缓存 INT8 激活值，M4 上实测 1.88x 吞吐提升（35.1 TOPS vs 18.6 TOPS）。
• GPU↔ANE 零拷贝流水线：基于 IOSurface 共享内存，GPU 负责 prefill，ANE 负责 decode，Stories110M 总延迟仅 8.8ms。
• 硬件基准体系：系统性揭示 Apple「38 TOPS」宣传存在虚高。ANE 实际将 INT8 反量化为 FP16 后执行，真实峰值为 19 TFLOPS FP16，并提供 SRAM 带宽、TFLOPS 峰值等详细测量数据。

⚙️ 机制

ANE 是一个图执行引擎，接受编译好的 MIL（Model Intermediate Language）计算图后原子执行，本身不暴露可编程的指令集。项目通过运行时 objc_msgSend 解析 AppleNeuralEngine.framework 中 40+ 个私有 Objective-C 类，构建出「MIL 程序生成 → 内存编译 → IOSurface I/O」的完整链路。训练时前向与反向 dx 计算在 ANE 完成，权重梯度 dW 由 CPU cblas 并行执行，Adam 更新在 CPU 完成后权重重新打包回 ANE 空间维度。全程无外部依赖，仅使用系统框架。

主要依赖：Objective-C + Foundation + IOSurface + Accelerate（纯系统框架，零第三方依赖），Python 仅用于训练监控 Dashboard（blessed 库）。

🧑‍💻 使用场景

• NPU 编译器研究者：希望深入了解 Apple ANE 的 MIL IR 格式、Kernel Fusion 策略和 SRAM 行为，可直接参考 inmem_bench.m、sram_probe.m、inmem_peak.m 等基准工具，无需从零逆向工程。
• 边缘 AI 推理优化工程师：gpu_prefill_ane_decode.m 实现的 GPU prefill + ANE decode 混合流水线（Stories110M 总延迟 8.8ms、功耗 2.8W），可作为低功耗本地部署方案的参考架构。
• Apple 平台 ML 开发者：需要在 CoreML 训练 API 限制之外实现设备端持续学习或个性化微调时，可通过 bridge/ane_bridge.h 提供的 C-callable API 接入 ANE 计算能力。
• 硬件性能研究者：验证 38 TOPS 虚高发现，或研究 Apple Silicon ANE 与 SME（Scalable Matrix Extension）在不同工作负载下的分工边界。
• 开源社区建设者：在本项目基础上构建更完整的运行时，如已涌现的 Orion（完整 ANE 训练 + 推理框架）、hybrid-ane-mlx-bench（Apple Silicon 推理策略系统评测）。

🛣 社区关注方向

• Mega-kernel 层融合：将完整 Transformer 层融合为单一 MIL kernel
• macOS 26 API 适配：Apple 更改了 compile API。Apple 据报将推出「Core AI」替代 CoreML
• 扩展到更大模型：Qwen3-0.6B（596M 参数）GQA 支持已合并，社区在探索 1B+ 参数范围的可行性
• 模型加载支持：目前只能从随机初始化训练，无法加载预训练权重

💭 感想

ANE 项目最有价值的地方，不在于能立即替代 MLX 或 llama.cpp。作者在 README 里写得很清楚，这从来不是目标。它真正做到的是把一个「不可能」命题变成了有据可查的事实：Apple Neural Engine 的硬件本身具备训练能力，6.6 TFLOPS/W 的功效比（约为 A100 的 80 倍）让人想知道，若 Apple 开放训练 API，边缘端持续学习会走向哪里。

技术完成度上，最扎实的是基准测试体系中 38 TOPS 虚高的实验性反驳、SRAM 带宽性能悬崖的量化分析，都是不多见的一手硬件数据。训练实现接近 PoC 状态。5–9% 的 ANE 利用率说明距离高效 NPU 训练还有很长的软件工程路要走。相比 MLX（GPU 路线，开箱即用）和 CoreML（推理受限但稳定），ANE 这条路适合想深入理解 Apple Silicon 底层的系统工程师，不适合期望开箱即用的应用开发者。

项目的另一面是方法论本身：逆向工程、基准分析、训练代码，全程与 Claude Opus 4.6 协作完成。 AI 可用性得到了另一次证明

频道：@NewlearnerChannel