LMArena

1.1 身份与产品

LMArena 现在以「Arena」品牌运营，是一个 AI 模型评测平台，让用户通过匿名一对一对战比较前沿 AI 模型。用户同时向两个未标注模型提交提示词，投票选出更好的回答，然后才看到被评测的是哪些模型。聚合投票通过 Bradley-Terry / Elo 排名算法驱动公开排行榜，持续生成大型语言模型和多模态 AI 系统在真实世界中的表现对比。公司实体 Arena Intelligence Inc. 于 2025 年 4 月 18 日注册成立，把 Chatbot Arena 研究项目转为商业公司。总部位于 San Francisco Bay Area（具体地址未披露），与 UC Berkeley 渊源一致。主要网站为 arena.ai 和 lmarena.ai。LMArena 的商业产品 AI Evaluations 于 2025 年 9 月推出，为企业、模型实验室和开发者提供基于社区的表现分析、代表性反馈样本和服务级别协议。已具名商业客户包括 OpenAI、Google 和 xAI。商业模式是评测即服务：客户付费，让公司系统评估模型在软件工程、法律、医疗等领域的表现。平台已经远远超出纯文本 LLM 比较，扩展到 Search Arena、WebDev Arena、Vision Arena、文生图、文生视频，以及 2026 年 6 月推出的 Agent Arena。多模态扩张扩大了 LMArena 可评测的表面，也扩大了可触达客户群。截至 2026 年 6 月，Arena 品牌已经成为前沿 AI 模型事实上的公开排行榜，其排名被所有主要 AI 实验室写入产品发布、投资人材料和学术论文。 [CO001, CO002, CO005, CO007, CO008, CO009]

1.2 创始人与领导层

LMArena 由三位具有 UC Berkeley 背景的人士共同创立。CEO Anastasios Angelopoulos 曾是 UC Berkeley 统计学与机器学习博士后研究员，也是公司主要公开发言人。联合创始人 Wei-Lin Chiang 在 Berkeley 完成分布式系统博士学位，是搭建支撑 Chatbot Arena 的 FastChat 服务框架的关键成员。UC Berkeley 计算机科学教授、连续创业者 Ion Stoica（Databricks 和 Anyscale 联合创始人）以联合创始人身份加入，带来商业化经验和产业可信度。最初的 Chatbot Arena 研究还包括 Lianmin Zheng 等更多贡献者，以及 Michael Jordan、Joseph Gonzalez 等教职顾问。创始团队展现出强创始人—市场匹配：Angelopoulos 和 Chiang 合著了奠定评测方法的关键学术论文，Stoica 在 Databricks 的履历则带来学术 spinout 少见的运营深度。关键人依赖偏高：Angelopoulos 同时担任科学负责人和 CEO。公司尚未公开任命非创始人的 C-suite 高管。董事会组成或独立董事也未披露，这对早期私营公司并不罕见。自注册成立以来，公司未披露领导层离职或治理变更。不过，2025 年基准完整性争议暴露了 Stoica（公开反驳 Leaderboard Illusion 发现）与外部研究者之间的张力，也凸显创始团队可信度对平台合法性有多关键。 [CO003, CO004, CO005, CO006, CO021, CO030]

1.3 融资历史与投资人

LMArena 商业化前的资金来自资助和捐赠，包括 Google 的 Kaggle 平台、Andreessen Horowitz 和 Together AI 的贡献，主要以算力资源和现金形式支持研究基础设施。2025 年 5 月，公司注册成立后，LMArena 完成 $100M 种子轮，由 Andreessen Horowitz 与 UC Investments（University of California 的捐赠基金）共同领投，投后估值 $600M。Lightspeed Venture Partners、Felicis 和 Kleiner Perkins 也参与投资。2026 年 1 月，公司以 $1.7B 投后估值完成 $150M Series A，估值接近种子轮的三倍，由 Felicis 和 UC Investments 共同领投，Andreessen Horowitz、The House Fund、LDVP、Kleiner Perkins、Lightspeed 和 Laude Ventures 参投。截至 2026 年 1 月，融资总额约 $250M。UC Investments 同时是 University of California 捐赠基金管理方，也是 UC Berkeley spinout 的机构支持者；Andreessen Horowitz 的投资组合又与 Arena 排行榜上的模型（包括 Mistral）重叠。这些都构成外部批评者指出的潜在利益冲突。公司尚未公开披露二级交易或债务融资安排。 [CO010, CO011, CO012, CO013, CO014, CO021]

1.4 增长指标与财务信号

到 2026 年 1 月，LMArena 报告称其月活用户超过 500 万，覆盖 150 个国家，每月产生 6000 万次对话。社区在文本、视觉、网页开发、搜索、视频和图像等模态中累计超过 5000 万次投票，并参与评测 400 多个不同 AI 模型。LMArena 还发布了来自专家和职业评测类别的 14.5 万个开源对战数据点。财务侧，公司 ARR 代理指标——年化消费运行率——在 2025 年 12 月超过 $30M，距离商业化推出约四个月。这个数字被表述为年化运行率，而非已实现 GAAP 收入；独立审计数据不可得。四个月内从零冲到 $30M 年化极不寻常，但商业服务结构（带 SLA 的交付物加社区评分者）意味着毛利率可能受到劳动力成本约束，公司尚未披露。LMArena 没有披露员工数、烧钱速度或毛利率，仅靠公开信息很难完成财务尽调。去重过滤器会移除约 10% 的提交投票；截至 2025 年 7 月方法更新，身份泄露检测移除的投票少于全部投票的 4%，说明公司在主动管理数据质量。 [CO015, CO017, CO018, CO019, CO020, CO023]

1.5 里程碑与负面事件

LMArena 从研究演示走到独角兽，历时约三年。最初的 Chatbot Arena 于 2023 年 5 月上线。学术论文快速跟进，最终以 Chatbot Arena 论文（arXiv:2403.04132）确立 Bradley-Terry 方法。到 2024 年，平台已成为事实上的参考基准，被每家主要 AI 实验室引用。首个重大负面事件发生在 2025 年初：Meta 在 Chatbot Arena 上测试了至少 27 个私有 Llama 4 模型变体，提交了一个为 Arena 优化的版本，得分接近榜首，而公开发布版本排名第 32。LMArena 随后道歉并更新排行榜政策。2025 年 4 月，一篇题为《The Leaderboard Illusion》（Cohere、Stanford、MIT、Ai2）的同行评议论文正式记录了对 LMArena 私有测试做法存在系统性偏差的指控。LMArena 联合创始人 Ion Stoica 公开称这些发现存在「不准确」。作为回应，LMArena 引入新的采样算法并发布更新后的透明度政策。公司 2025 年 4 月注册成立，2025 年 5 月融资 $100M，2025 年 9 月推出商业产品，并在 2026 年 1 月完成 Series A，跻身独角兽。截至 2026 年 6 月，未公开披露监管调查、诉讼、制裁或执法行动。 [CO001, CO002, CO005, CO016, CO027, CO028]

1.6 展示项

2.1 市场边界与定义

LMArena 应被放在 AI 评测与基准测试软件层中分析，而不是泛模型基础设施或可观测性公司。纳入的市场包括人类偏好基准测试、自动化回归测试、面向监管或重专业知识场景的领域评测工作流，以及更新的智能体评测产品——后者评估多步任务成功率，而不只看单轮聊天质量。可服务市场不包括基础模型训练算力、通用 MLOps 编排、广义开发者工具，以及未作为托管工作流软件销售的开源评测脚本。这个边界很重要：有些发布方测算的是宽口径评测平台品类，有些则测算狭义基准工具细分，导致 TAM 相差数倍。LMArena 自身商业信息强调法律、医疗和工程评测，说明它可变现市场更接近高风险验证支出，而不是单靠公开排行榜流量定义。[CM006, CM007, CM008, CM009, CM016, CM018]

2.2 市场规模与有争议估计

在已验证来源中，最干净的 2026 年宽口径市场锚点是 AI 模型评测平台市场报告：2025 年 $1.86B，2026 年增至 $2.36B，CAGR 为 27.3%，2030 年达到 $6.24B。这个视角大概率包含面向模型实验室、应用开发者和强合规组织销售的企业评测软件。Precedence Research 的窄口径视角则指向明显更小的基准工具细分，2026 年约 $0.85B，因为它似乎排除了部分打包或相邻工作流，并强调评测加基准工具，而非完整平台层。Gartner 的 2026 年 AI 支出预测和 Presenc AI 的生产采用调查都支持评测预算会从当前基数快速扩张，但无法解决边界问题。务实结论是：LMArena 真正可变现市场可能远小于宽口径 TAM；但如果它能拿下可信、嵌入工作流的支出，仍足以支撑一家有意义的独立公司。[CM001, CM002, CM003, CM004, CM005, CM021]

2.3 买方分层与采购

LMArena 的买方地图有两个不同重心。第一类是前沿实验室和模型 API 供应商，它们在重大版本发布前后需要可信第三方基准、发布验证和竞争信号。第二类是监管或专业知识密集型企业，它们在法律、医疗和工程工作流中需要领域评测，因为失败成本高，公开消费者基准不够用。这些细分大概率采购方式不同：实验室从中央模型、安全或研究平台预算中支付评测费用；企业则常由 AI 平台负责人、产品 owner，或风险与质量团队采购。竞争也很混合。Scale AI、Arize、Galileo、Patronus、MLflow，以及大型云或平台厂商都在攻打相邻栈位；CoreWeave 收购 Weights & Biases 也说明，实验、可观测性和评测工作流正在企业采购中收敛。[CM010, CM011, CM012, CM013, CM014, CM015]

2.4 增长驱动与采用约束

多股力量支撑可信评测供应商跑赢市场。2026 年全球 AI 软件和模型支出激增，企业 AI 在大型公司中已高比例进入生产，向智能体转移又提高了对工作流级评测的需求，而不是静态提示词测试。基准竞争本身也会刺激需求，因为模型提供商需要外部证明点，企业需要独立质量信号。但这个品类也有真实约束。基准刷榜指控、众包评分者偏差问题，以及对公开排行榜的怀疑，都会削弱客户为未明确绑定生产结果的分数付费的意愿。独立供应商还可能受到捆绑云工具和 MLOps 工具的价格压力；公开定价披露有限，也让人很难区分持久软件需求和新鲜感驱动的试验。[CM026, CM027, CM028, CM029, CM030, CM031]

2.5 证据缺口与矛盾

主要尽调问题不是来源稀缺，而是来源不匹配。公开市场报告对品类边界意见不一；公司和媒体来源披露估值与轶事式客户名称，却没有足够合同细节来建模份额；竞争对手收入数据碎片化；本轮已验证来源也没有披露前沿实验室或企业 AI 预算中到底有多大比例花在评测软件上。因此，本章可以支持可信的区间判断，却不能给出单一精确的 SAM 或市场份额结论。投资人应保留这一矛盾，而不是强行压成点估计：相对狭义基准工具细分，LMArena 可能已经很大；相对更宽的 AI 评测平台机会，它仍然很小。要填补这个缺口，需要客户、定价和预算强度证据，而这些信息并不在已验证公开来源中。[CM003, CM024, CM038, CM039, CM040, CM041]

2.6 展示项

3.1 竞争格局：直接基准平台、自动化排行榜、数据标注商，以及自建替代方案

LMArena 位于 AI 模型评测和基准测试领域，目前没有单一竞争对手能复刻它的全栈。可触达的竞争集合有四层。第一，人类偏好平台：LMArena 是众包成对模型比较的主导公开平台；截至 2026 年 1 月，没有任何免费替代品能接近其 500 万月活用户或 6000 万月度对话量。第二，自动化学术排行榜：HuggingFace Open LLM Leaderboard（由 EleutherAI lm-evaluation-harness 驱动）、Stanford HELM 和 BenchLM 聚合 MMLU、GPQA Diamond、SWE-Bench 等标准化基准分数，覆盖数百个模型，但不采用人类偏好投票。这些工具免费且开源，但衡量的是任务准确性，不是整体用户满意度。第三，企业评测供应商：Scale AI 的 GenAI Platform 为企业和政府客户提供定制评测、微调和数据标注流水线，每个项目 $93 K–$400 K+；它不运营公开排行榜。第四，现状替代方案：AI 实验室可以用 EleutherAI harness 或 OpenAI Evals 自建内部评测流水线并运行自己的测试集，完全规避第三方依赖。潜在进入者包括任何想通过基准界面区分其模型市场的大型云厂商，或由大型 AI 实验室孵化的内部中立评测机构。真正重要的竞争维度是人类偏好规模、企业收入潜力、第三方独立性和方法可信度。[CP001, CP002, CP003, CP011, CP012, CP014]

3.2 功能与能力对比：人类偏好 vs. 自动化基准

AI 评测的核心能力分野，在于人类偏好排行榜（LMArena 及其 LMSYS 前身）和自动化基准流水线（HuggingFace Open LLM Leaderboard、Stanford HELM、EleutherAI lm-evaluation-harness、OpenAI Evals）。LMArena 的 Elo 排名系统在 2024 年 Chatbot Arena 论文中有描述，它聚合用户提交的任意任务成对投票，形成一个持续更新、反映真实使用模式而非策划测试集的信号。实践中，这意味着 LMArena 对用户在日常任务中感知到的风格、流畅度和有用性信号更敏感——包括写代码、写作、回答问题——但可复现性弱于自动化基准，因为两个用户完全可能合理地偏好相反输出。 自动化排行榜可复现且任务特定。Stanford HELM 在统一 harness 上评估准确性、校准、鲁棒性、偏见和效率等维度，更适合需要受控测量的研究者。HuggingFace Open LLM Leaderboard 主要跟踪开源和开放权重模型在标准化学术测试上的表现。EleutherAI 的 harness 支撑两者，并且可以免费 fork。BenchLM 截至 2026 年 6 月聚合了 261 个模型的 249 个基准，并单独跟踪价格和速度。ArtificialAnalysis 提供独立 API 吞吐、延迟和成本基准。Scale AI 的企业评测产品填补的是另一块空白：针对客户具体生产用例的定制、私有、SLA 支持评测，而不是公开排行榜。这种模式不与 LMArena 争夺品牌认知，但可能争夺企业预算。 LMArena 的关键差异化在于网络效应（用户越多 → 投票越多 → 排名统计稳定性越强）、跨模态覆盖（截至 2025–2026 年覆盖文本、视觉、图像生成、视频、网页开发），以及与前沿实验室的大量预发布合作。它的弱点是方法可复现性、用户群偏向技术熟练的早期采用者，以及向同一批被排名实验室销售评测服务带来的内在张力。没有竞争对手把公开排行榜界面和企业付费评测服务放在同一个品牌下，这既是 LMArena 的结构性护城河，也是它的利益冲突风险。[CP006, CP007, CP008, CP009, CP013, CP015]

3.3 护城河持久性、切换成本与负面竞争证据

LMArena 的竞争持久性建立在三个因素上：同类最大规模的众包偏好数据集；由学术根基强化的社区信任（UC Berkeley LMSYS Org、FastChat 开源基础设施）；以及深度引用网络效应——前沿实验室在营销材料和投资人沟通中引用 Arena 排名，从而抬高退出成本。AI 实验室的切换成本真实存在：如果 Arena 不再是市场信号，它们既有的基准投入就会失去营销价值。这在 LMArena 与客户实验室之间形成互相依赖，带来收入稳定性，也带来结构性独立风险。 关于护城河的负面证据可信且重要。Singh 等人在 2025 年发表的 Leaderboard Illusion 论文（Cohere、Stanford、MIT、Ai2）量化了数据访问不对称：Google 和 OpenAI 估计分别获得 Arena 总数据的 19.2% 和 20.4%，而 83 个开放权重模型合计只获得 29.7%。Meta 在 Llama 4 发布前测试了 27 个私有模型变体，只选择最高分版本；TechCrunch 证实，普通 Maverick 重新提交后排名第 32。LMArena 否认偏差定性，但承诺修改算法，说明批评具有运营层面的分量。第二个负面动态是 Goodhart 定律：当 Arena 排名开始驱动采购决策，实验室会针对 Arena 特定模式优化，信号质量随之下降，也提高了资源充足的竞争者声称方法更优的概率。 支撑 Arena 的 Elo 算法开源，任何资金充足的团队都能复制。难以复制的是社区。Scale AI 的企业触达更广，数据标注能力更深，但尚未建立公开偏好排行榜。真正的替代威胁来自内部自建：如果某个 AI 实验室认为 Arena 的利益冲突问题无解，它可以资助一个竞争性的中立机构。免费学术工具（HELM、HuggingFace）已经在研究用例中承担这类可信度功能，也限制了 LMArena 能为方法本身收取多少溢价。[CP028, CP029, CP030, CP034, CP035, CP036]

3.4 展示项

4.1 收入模式、定价与商业化进展

LMArena 的收入模式是从免费到企业的漏斗。免费公开排行榜每月服务 150 个国家的 500 万用户，生成 6000 万次模型比较对话，承担社区和信任建设层功能。企业、模型实验室和 AI 开发者为 LMArena 的商业 AI Evaluations 产品付费（2025 年 9 月推出），该产品提供基于真实用户反馈的定制评测小组、代表性数据样本，以及按 SLA 承诺的交付周期。LMArena 未发布公开价格表；所有企业合同都直接协商。三类已确认企业客户包括 AI 实验室（2026 年 1 月 Series A 新闻稿明确提及 OpenAI、Google、xAI）、软件企业，以及受监管专业垂直领域（法律、医疗、科学研究）。公司年化消费运行率在 2025 年 12 月超过 $30M——距离产品上线不到四个月。 收入确认是重要 caveat：LMArena 和 TechCrunch 都把这个数字描述为「consumption run rate」，而不是已实现年度数字。TechCrunch 指出，公司用消费率来描述其「年度经常性收入（ARR）」，反映的是按使用量计费，而非预付合同式 SaaS ARR。按 GetLatka 汇总的约 100 个企业客户计算，隐含平均合同额约为每客户 $300,000——这是用运行率除以客户数得出的估计，并非公司披露数字。实际 ACV 分布、合同期限和续约率均未公开。[CI001, CI002, CI003, CI004, CI005, CI006]

4.2 成本结构、单位经济与资本充足性

从公开证据推断，LMArena 的成本结构有三大类。第一，算力和基础设施：每月跨前沿模型服务 6000 万次对话，需要大量云算力。公开排行榜使用合作实验室提供的模型 API（可能根据合作协议以折扣或免费方式提供），但企业评测产品在规模化后很可能产生真实推理成本。第二，工程和研究人员：截至 2026 年 1 月 Series A 公告，公司有 41 名员工。按 Silicon Valley 技术初创公司的典型全包薪酬，这意味着年人员成本约 $15–25M。第三，社区管理、数据标注质量保障和 go-to-market 成本，这些无法从公开信息中测算。毛利率未披露；如果是边际评测成本较低的软件式模型，毛利率可能达到 60–80%，但每次对话算力成本高也可能把毛利率压到 40–60%。没有坚实依据的第三方估计。 近期资本充足性看起来很强。公司已在 2025 年 5 月种子轮（$100M，估值 $600M）和 2026 年 1 月 Series A（$150M，估值 $1.7B）累计融资 $250M。团队精简至 41 人，首个商业收入到 2025 年 9 月才建立，因此截至 2026 年初，年现金消耗大概率远低于 $30M。粗略估算显示，不再融资也至少有 18–36 个月 runway，但公司未披露官方烧钱率或现金余额。LMArena 表示将把 Series A 资金用于扩充技术团队、强化研究能力并搭建新平台功能——这些都会提高未来 burn。Recall Capital-LMArena feeder fund（SEC Form D，2026 年 2 月提交）确认了资本形成活动，但未披露 LMArena 自身资产负债表。未见公开报道显示公司有债务或项目融资义务。[CI009, CI010, CI011, CI012, CI013, CI014]

4.3 财务风险、利益冲突与尽调障碍

最重要的财务风险是结构性的：LMArena 从同一批 AI 实验室——OpenAI、Google、xAI——获得收入，同时又在公开排行榜上对它们排名。CTOL Digital 在 2026 年 1 月融资后明确记录了这个悖论：$1.7B 估值「相当于该运行率的 57 倍，计入的不只是增长，还有一个假设：这种内在冲突可以被无限期管理」。如果企业客户开始相信 LMArena 排名受到商业关系影响（正如 Leaderboard Illusion 论文对数据访问不对称的指控），评测服务的定价权会下降，免费排行榜的信任优势——核心营销资产——也会同步坍塌。这种双重暴露很少见：多数 SaaS 公司面对的是客户流失风险；LMArena 面对的是可信度流失风险，同一事件既会丢掉客户，也会伤害带来新客户的免费产品。 第二个风险是收入集中度：约 100 个企业客户，且运行率由三大 AI 实验室主导，OpenAI、Google 或 xAI 中任何一个单一客户流失，都可能实质性削减收入。第三个风险是「consumption rate」表述：如果按使用量计费，任何单月收入都可能不可预测，$30M 年化数字可能只是用峰值月份外推，而非已签约的远期义务。第四，按运行率 57 倍估值意味着资本市场同时计入了高收入增长（收入必须超过 $100M 才能支撑 17 倍这一常见后期基准倍数）和持久毛利率——两者都无法从公开数据验证。企业采用放缓或方法信任受损，都可能触发显著估值重置，进而让后续融资或退出选择变复杂。[CI021, CI022, CI023, CI024, CI025, CI032]

4.4 展示项

5.1 产品组合与 Arena 模态

LMArena 的核心面向用户产品是 arena.ai 上的 Arena 平台，它针对给定提示词展示两个匿名 AI 模型之间的对战，并记录社区偏好投票。截至 2026 年 6 月，平台支持十个不同评测 Arena：Text（通用聊天）、Code（智能体式网页开发和编码）、Search（检索增强生成）、Agent（自主多步任务完成）、Vision（多模态理解）、Text-to-Image（图像生成）、Text-to-Video（视频生成）、Image Edit（图像编辑模型）、Document（长文档分析），以及一个独立 Direct Chat 模式，用户可在没有成对对战结构的情况下与所选模型交互。Agent Arena 是最新、技术复杂度最高的 Arena，于 2026 年 6 月 4 日推出，它根据每周 2M+ 工具调用推导出的因果处理效应为编排模型排名。Code Arena 由早期 WebDev Arena（2024 年 12 月推出）重建而来，是一个实时、隔离的编码环境，模型可通过结构化工具调用自主创建、修改和执行文件，输出持久化在 Cloudflare R2，并通过 CodeMirror 6 展示。自 2026 年 5 月起，LMArena 还加入「Battles in Direct」，把 10% 的 Direct Chat 会话路由到匿名成对对战，以增加每日投票量。商业产品 AI Evaluations（2025 年 9 月推出）是一项卖给 AI 实验室和企业的合同评测服务，提供带代表性反馈样本和 SLA 支持交付周期的深度评测。所有公开模型评测都可在公开排行榜上免费获得；商业产品则增加私有、保密、受 SLA 管理的评测运行。 [CE001, CE002, CE008, CE012, CE029, CE032]

5.2 技术架构与评测方法

所有 Arena 排行榜都使用 Bradley-Terry（BT）成对比较模型，根据胜负结果推断每个模型的潜在能力系数。LMArena 的 Arena-Rank Python 包以 Apache 2.0 开源，并发布在 GitHub 和 PyPI 上，实现了 BT 拟合、闭式置信区间计算，相比历史 FastChat 实现提速 30 倍。该包也支持重新加权来修正非均匀采样，意味着对战较少的模型不会被惩罚。风格控制扩展把额外协变量（token 长度、markdown 标题数、markdown 加粗数、markdown 列表数）叠加入 BT 回归，用于把内容实质与风格式格式化效应分开；系数估计显示长度是主导风格因素。Agent Arena 不用成对投票排名，而是使用因果追踪：Arena 把每次组件选择视为多干预随机对照试验中的一个 treatment，聚合多个行为信号（确认成功、表扬 / 投诉、可引导性、bash 错误恢复、工具幻觉），为每个模型形成单一净改进估计。Arena-Hard 流水线（BenchBuilder，arXiv:2406.11939）通过七标准难度标注器，从实时 Arena 数据集中抽取 hard prompts，自动构建基准；Arena-Hard-Auto v0.1 以约 $20 成本达到与人类偏好排名 98.6% 的一致性。Search Arena 方法以数据集和论文形式发表，并被 ICLR 2026 接收（arXiv:2506.05334），将 BT 模型扩展到来自 Perplexity、Gemini 和 OpenAI 的 11+ 搜索增强 LLM 系统。在分享任何对话数据之前，LMArena 使用 GCP Sensitive Data Protection API 移除个人身份信息。自 2025 年 7 月起，方法更新会公开记录在 Leaderboard Changelog。 [CE003, CE009, CE013, CE014, CE015, CE016]

5.3 部署、数据基础设施与开发者生态

Arena-Rank 排名引擎作为可用 pip 安装的 Python 包发布（pip install arena-rank），归属于 lmarena GitHub 组织，该组织也托管 list 仓库。FastChat 仓库（lm-sys/FastChat，现在主要处于维护模式）最初支撑 Chatbot Arena，并继续作为 Vicuna 模型权重的参考。lmarena-ai HuggingFace 组织托管内部用于偏好建模的 p2l（prompt-to-leaderboard）模型变体，并发布公开对战数据集（例如 arena-human-preference-140k）以支持外部研究。截至 2026 年 6 月，changelog 记录了各排行榜每周新增数个模型的持续节奏。Code Arena 的持久会话建立在 Cloudflare R2 存储之上，用 CodeMirror 6 展示源码视图和生成网页应用的实时渲染。Agent Mode 会话平均约 16.5 次结构化工具调用，约 75.6% 的会话至少使用一个工具；最高使用会话在单周内运行很长调用链，覆盖编码、文件创建和网页合成任务。在一个被测的 7 天窗口中，Agent Mode 通过成功的 write_file 调用写入 4030 万行代码，约每个编码会话 1000 行。Battles in Direct 自 2026 年 5 月集成后，把 10% 的直接聊天会话转化为成对对战，并对 BT 拟合应用位置偏差和同组织指示器修正。公司未公开记录面向第三方消费 Arena 分数或原始投票数据的 API，但会定期在 HuggingFace 发布开放数据集。 [CE013, CE014, CE015, CE019, CE030, CE031]

5.4 差异化、IP 与研究优势

LMArena 的核心差异化，是把大规模真实世界、野生环境数据与方法透明度结合起来。不同于静态学术基准（MMLU、HumanEval）或自动化 LLM-as-judge 流水线，Arena 捕捉跨语言、主题和技能水平的真实多轮用户交互。已发表研究验证了这种方法：最初的 Chatbot Arena 论文（arXiv:2403.04132）显示其与专家评分者一致性超过 80%；MT-Bench（NeurIPS 2023）证明 LLM-as-a-judge 可以达到人类级别的评分者间一致性。Arena-Hard 基准（arXiv:2406.11939）以一小部分成本实现了比 MT-Bench 高 3 倍的模型区分度。Search Arena ICLR 2026 论文（arXiv:2506.05334）把方法扩展到检索增强系统，并展示了偏好与引用数量、被引用来源类型之间的相关性。LMSYS（前身非营利组织）发布了支撑当前公司差异化的基础评测方法论文；这些论文在 AI 行业被广泛引用。HuggingFace 组织发布偏好数据集（140k+ 标注对战对），让外部研究者能够独立审计排名。公司 9 篇已发表论文和 15+ 篇博客文章覆盖评测方法，构成一组被认可的 IP。不过，方法资产被公开分享，意味着竞争对手可以复制算法；公司留下来的持久护城河，是对战规模带来的数据网络优势和社区信任。 [CE003, CE016, CE035, CE036, CE037, CE039]

5.5 信任、安全、质量控制与负面证据

LMArena 的公开排行榜政策（最后更新于 2026 年 4 月 30 日）明确了模型上榜资格、采样规则（要求 ≥20% 的对战发生在公开可用模型之间）、匿名模型的预发布测试协议，以及数据共享政策：发布前用 GCP 的 Sensitive Data Protection API 清洗对话。可是，截至 2026 年 6 月，LMArena 尚未发布 SOC 2 Type II 或 ISO 27001 认证，也未公开披露第三方安全审计；help.arena.ai 的隐私政策页也缺少企业数据处理协议（DPA）细节。平台经历过两次严重的可信度挑战。第一，2025 年 4 月，Meta 提交了一个「experimental, chat-optimized」版本的 Llama 4 Maverick，在 Arena 排名第 2，但它并非公开发布模型；随后 LMArena 更新政策，并重新给公开版本打分，后者跌至第 32 名。第二，Cohere、Stanford、MIT 与 AI2 在 2025 年 4 月发表论文，指称部分大实验室（Meta、OpenAI、Google、Amazon）获得了不成比例的高采样率，并能选择性压低表现较差的预发布变体，构成基准博弈；LMArena 否认这些不准确之处，并指向其已发布的采样透明度。这些事件带来持续的声誉风险，也促使研究社区呼吁更严格的预发布限制、独立审计和算法透明度。AI Evaluations 商业产品提供 SLA 承诺，但详细的正常运行时间 SLA 条款和安全披露并未公开。 [CE020, CE021, CE022, CE023, CE024, CE025]

5.6 附录

6.1 客户基础分层

LMArena 的客户基础分成两个本质不同的群体，必须仔细区分。第一类是免费社区：来自 150+ 个国家、每月 500 万以上的全球用户，通过 arena.ai 免费使用平台。这些用户提交 prompt、为模型输出投票，支撑排行榜背后的集体偏好信号。社区覆盖开发者、研究人员、学生、知识工作者和爱好者；按两周年博客（2025 年 4 月）披露，约 41% 的对战涉及开源模型，说明用户基础技术含量较高。公司不从这一群体直接变现，但从中获得核心 IP（偏好数据）和品牌可信度。第二类是商业客户，即为 2025 年 9 月推出的 AI Evaluations 服务付费的 AI 实验室和企业。2026 年 1 月 Series A 新闻稿确认的具名付费客户包括 OpenAI、Google 和 xAI。Anthropic 与 Meta 是排行榜上的主要模型提供方，但公开披露并未单独确认它们是否为 AI Evaluations 付费订阅客户；TechCrunch 2026 年文章称 LMArena 与 OpenAI、Google 和 Anthropic 在模型提交上「partnered with」，这一类别同时包含商业和非商业关系。企业（非实验室公司用 AI Evaluations 为自身应用基准测试模型）是公司声明的第三个目标客群；目前没有公开披露任何具名的非实验室企业客户。 [CU001, CU002, CU003, CU004, CU005, CU006]

6.2 采用轨迹与使用指标

LMArena 的社区采用增长很快，且证据链较完整。平台 2023 年 5 月作为 UC Berkeley 研究项目上线；到 2025 年 5 月，公司披露以 $600M 估值完成 $100M 种子轮，彼时已有显著牵引力。到 2026 年 1 月 Series A 公告时，LMArena 报告 5M+ 月度用户（高于 2025 年 9 月 AI Evaluations 博客中隐含的约 3M）、60M+ 月度对话、250M+ 累计对话和 2M+ 月度投票。Series A 博客把 2025 年 5 月种子轮以来的社区增长量化为「25x」。模型评估方面，LMArena 已评估 400+ 个公开模型和 300+ 个预发布模型变体。从 2025 年 9 月商业化上线到 2025 年 12 月（不到四个月），按 CEO Anastasios Angelopoulos 披露、并由 TechCrunch 2026 年 1 月文章和官方新闻稿确认，年化收入消耗 run-rate 达到 $30M。Series A 文章还披露，平台已收集 50M+ 社区投票、发布 145k+ 开源对战数据点，并完成 400+ 次跨模态模型评估。值得注意的是，平台增长看起来主要由拉动驱动：TechCrunch 播客提到，LMArena 排行榜「became something of an obsession among model makers」，意味着社区客群的获客成本较低。 [CU001, CU002, CU003, CU004, CU007, CU008]

6.3 具名客户证明与生产证据

AI Evaluations 商业产品的具名付费客户证据有限，但指向明确。2026 年 1 月 PR Newswire 新闻稿称：「LMArena works with leading AI labs and enterprises, including OpenAI, Google and xAI, all drawing on LMArena's evaluations to improve their models for production use cases.」这是公司直接点名客户，也是目前最强的公开客户证明。另一个证据来自 Felicis 合伙人 Peter Deng，他在同一新闻稿中表示：「We're leading this round because LMArena has built the most trusted, reliable, real-world signal of AI performance. They have become essential infrastructure for every lab and enterprise.」公司的 Agent Arena 方法论博客记录了真实用户会话——一个实时体育电视赛程网站、一个自托管电影待看片单、一个自主水下航行器自动驾驶——作为生产式部署示例，不过这些是社区用户，不是付费企业客户。商业化之前，Google 的 Kaggle、a16z 和 Together AI 曾向 LMSYS（前身非营利组织）捐赠算力和 grant。lmsys.org 的历史上线记录显示，最初 2023 年的合作结构包括 UC Berkeley。尚未确认付费的模型提供方包括 Anthropic 和 Meta：二者经常因旗舰模型上榜而被提及，但 TechCrunch 2025 和 2026 年文章一直只把 OpenAI、Google 与 Anthropic 称为「partners」，而新闻稿中具名商业客户只有 OpenAI、Google 和 xAI。AI Evaluations 服务没有公开可得的政府采购记录、G2/Capterra 评价或独立第三方案例研究。 [CU005, CU006, CU012, CU013, CU014, CU015]

6.4 留存、耐久性与重复使用

LMArena 尚未公开披露 AI Evaluations 产品的正式留存指标，例如净收入留存（NRR）、总收入留存（GRR）或客户流失率。商业化时间还太短（2025 年 9 月上线），没有多年 cohort 数据。社区端的主要留存信号是平台活跃度：按 Series A 博客，2025 年 5 月至 2026 年 1 月社区同比增长 25x；250M+ 累计对话相对 60M/月活跃生成量，说明累计使用的大部分来自持续扩大的活跃社区，而非一次性访问。AI Evaluations 采用基于消耗的模型（「annualized consumption rate」而非订阅 ARR），因此留存取决于实验室和企业是否持续提交评估请求。不到四个月从 $0 爬到 $30M 年化，显示初始实验室需求强劲；但实验室发展内部评估能力后，这种需求能否持续，是关键风险。排行榜 changelog 显示模型持续新增（2026 年 6 月每周数个），可作为模型提供方持续参与的间接代理。对于一家估值 $1.7B、ARR run-rate 为 $30M 的公司而言，没有披露客户 logo 墙、案例研究站点或 testimonial 页面（除 Felicis 与 UC Investments 的投资人引述外），这一点值得注意。 [CU007, CU009, CU010, CU011, CU016, CU017]

6.5 反向证据：冲突、博弈与集中度风险

LMArena 的客户和模型提供方关系带来有充分记录的结构性风险。第一是利益冲突：付费使用 AI Evaluations、充当商业客户的同一批 AI 实验室（OpenAI、Google、Anthropic 等），也是其模型在公开排行榜上被排名的主体。这天然激励实验室优化 Arena 表现，而它们可以通过预发布测试协议做到这一点。TechCrunch 播客直接提出这个问题：「how a team like theirs can build a neutral benchmark when the companies they're ranking are also their backers.」第二是 Meta Llama 4 Maverick 事件（2025 年 4 月）：Meta 向 Arena 提交了一个「chat-optimized experimental」版本的 Maverick，拿到第 2 名，但公开发布模型大约排在第 32。LMArena 更新政策并表示「Meta's interpretation of our policy did not match what we expect from model providers.」该事件说明，依赖实验室提交模型的商业合作结构，会给平台带来实际压力，去容纳损害排行榜完整性的行为。第三，Cohere/Stanford/MIT/AI2 研究（2025 年 4 月）指称，Meta 可在 2025 年 1 月至 3 月间私下测试 27 个模型变体，再选择表现最好者提交；顶级实验室获得不成比例的采样率；研究初步发现分享给 LMArena 后并未被其否认。LMArena 否认具体指控，但宣布了新的采样算法。这些指控尚未经过独立裁定。第四，客户集中：公开具名的付费客户只有三家（OpenAI、Google、xAI），LMArena 的商业收入高度集中；若其中任何一家实验室自建或签约替代评估供应商，对 ARR 的影响可能显著。 [CU005, CU006, CU012, CU019, CU020, CU021]

6.6 附录

7.1 利益冲突与基准完整性风险

LMArena 的核心风险，是独立裁判身份与收入模型之间的结构性冲突。公司向同一批 AI 实验室——OpenAI、Google、xAI——收取付费评估服务费用，而这些实验室的模型又出现在其公开排行榜上。这种双重角色会制造真实或被感知的偏袒激励。来自 Cohere、Stanford、MIT 和 AI2 的学术研究人员在《The Leaderboard Illusion》（arXiv 2504.20879）中记录了这些动态：少数大型提供商可以私下测试多个模型变体，只选择披露最佳分数，并获得不成比例的更多评估对战。Meta 的 Llama 4 Maverick 事件进一步说明，即使没有明确违规，政策缝隙也足以让基准博弈发生：Meta 向 LMArena 提交了一个针对对话性优化、从未公开发布的模型，拿到前二排名，直到差异被公开曝光。LMArena 已在 2026 年 4 月更新政策，但商业依赖与中立感知之间的根本张力仍然存在。包括独立研究员 Gwern 在内的评论者称该排行榜是「a cancer」，并质疑其信号是否仍有科学价值。ucstrategies.com 分析发现，专门为 Arena 偏好调优的模型最多可把分数抬高 100 Elo；SurgeAI 分析则发现，评估者有 52% 的时间不同意 LMArena 投票。一旦可信度叙事永久裂开——例如出现高关注度偏见调查、付费实验室丑闻，或监管机构调查 AI 基准准确性声明——LMArena 面向消费者的排行榜和企业评估收入两端的产品价值主张会同时坍塌。 [CR001, CR002, CR003, CR004, CR005, CR006]

7.2 监管、法律与数据隐私风险

LMArena 面对复杂且快速变化的监管环境。法律实体 Arena Intelligence, Inc. d/b/a LMArena 处理来自 150 个国家、500 万月度用户的个人数据，因此触发欧盟《通用数据保护条例》（GDPR）、欧盟 AI Act（通用 AI 模型义务自 2025 年 8 月起生效）、Digital Services Act（规模达到时可能触发 VLOP 门槛），以及包括 California CPRA 在内的一系列美国州隐私法义务。LMArena 自身隐私政策（2025 年 9 月生效）明确提醒用户，prompt 和生成回复可能被公开共享，这带来 GDPR 第 7 条下用户同意充分性的风险。已训练评估模型的删除权挑战（GDPR 第 17 条）是整个 AI 行业已知合规缺口，目前没有明确的执法解释。欧盟 AI Act 关于通用 AI 文档和透明度的要求，也会增加运营负担。LMArena 将用户 prompt 分享给 AI 提供商用于模型改进，这种做法带来数据流义务，必须在各司法辖区用数据处理协议覆盖。欧盟 AI Act 对「高风险」AI 系统的定义尚未明确点名 AI 基准测试平台，但法律、医疗、就业等受监管领域的评估可能引来行业特定审查。截至运行日期，公开记录未发现直接涉及 LMArena 或 Arena Intelligence, Inc. 的诉讼；不过，公司尚未披露其合规认证状态或任何监管问询。用户提交 prompt 被用于训练带来的 IP 风险，在多个司法辖区仍是未定法律问题。 [CR007, CR008, CR009, CR010, CR011]

7.3 运营、技术与安全风险

LMArena 的运营风险集中在平台可靠性、数据质量完整性，以及社区生成评估数据集的安全。每月 6000 万次对话流经其基础设施，一旦持续宕机或发生数据泄露，会直接伤害 LMArena 区别于静态基准的实时、连续评估主张。平台高度依赖云基础设施（同时运行多个实时 AI 模型 API 的算力成本），其价格和可用性由第三方控制，其中包括 LMArena 正在评估的同一批 AI 实验室。如果某个提供商撤回 API 访问——当实验室质疑评分或竞争格局变化时，这并非不可行——排行榜会立刻出现缺口。统计完整性是另一项运营风险：LMArena 的 Elo/Bradley-Terry 评分依赖足够均匀且无偏的对战分布；任何系统性 prompt injection、协同投票活动或针对平台用户基础的女巫攻击，都会污染排名信号，而且未必能被实时发现。2026 年 5 月转向「Battles in Direct」后，10% 的 direct-chat 会话生成对战投票，需要事后校正位置偏差和同组织指标偏差，这说明方法论更新会在事后改变模型排名。评估数据集是具有商业价值的资产，如何防范模型蒸馏攻击或未经授权抓取，仍是持续担忧；尤其是领先 AI 实验室有财务动机研究评估分布。约 41 人的员工规模，对于这一量级的平台形成了关键人集中风险。 [CR012, CR013, CR014, CR015, CR016]

7.4 合作伙伴集中、财务与执行风险

LMArena 的商业模式依赖少数大型 AI 实验室和企业，贡献其 $30M 年化收入的大部分。2026 年初约有 100 家付费客户，头部客户为 OpenAI、Google 和 xAI，收入集中度具有实质性：失去一两家 Tier-1 实验室关系，就可能带来不成比例的收入下滑。同一批实验室既是 LMArena 最好的客户，也是最有动机博弈其排行榜的潜在对手，这一张力没有干净解法。$1.7B 估值对应 $30M ARR 约 57x 收入倍数，定价中包含很高的增长预期：公司必须守住信任、扩展新领域，并向现有客户 upsell。41 名员工的执行产能，相对 LMArena 已承诺的产品面（Agent Arena、WebDev Arena、Vision、Video、Search、Code、Document 排行榜，加商业评估）偏薄。公司起源于 UC Berkeley 研究项目，创始团队的学术关系和发表义务可能分散管理层对商业执行的注意力。现金消耗动态未披露；以 $250M 融资和 41 人团队看，runway 似乎较长，但每月 60M 次对话的基础设施成本很高。未来融资风险中等但并非为零：如果 AI 评估市场未能增长到 2030 年预计的 $3.8B，后续轮次可能会反映失望定价。$382,500 的 Recall Capital-LMArena SEC Form D 备案（2026 年 2 月）反映了二级市场投资者需求，但不能证明公司自身财务健康。 [CR017, CR018, CR019, CR020, CR021]

7.5 附录

8.1 融资与估值背景

Arena Intelligence, Inc.（d/b/a LMArena）在 2026 年 1 月宣布完成 $150M Series A，投后估值 $1.7B。此前公司于 2025 年 5 月以 $600M 估值完成 $100M 种子轮，约七个月内累计融资达到 $250M。Series A 由 Felicis 和 UC Investments（University of California）领投，Andreessen Horowitz、The House Fund、LDVP、Kleiner Perkins、Lightspeed Venture Partners 和 Laude Ventures 参投。公司年化「consumption run rate」——公司称其等同于 ARR——在 2025 年 12 月超过 $30M，距离 2025 年 9 月推出首个商业产品（AI Evaluations）不到四个月。按 $30M run rate 计算，投后估值 / ARR 倍数约为 57x，而晚期 Series A SaaS 公司通常在 8-15x。不过，四个月内从 $0 ARR（2025 年 5 月）到 $30M ARR（2025 年 12 月）的轨迹极其罕见，投资人定价的是未来增长，而不是当前收入。SEC EDGAR Form D（accession 0002113470-26-000001，2026 年 2 月提交）中「Recall Capital-LMArena」二级基金规模为 $382,500，显示二级市场需求，其隐含估值与 Series A 价格一致。股权结构细节——从种子轮到 Series A 的稀释（种子轮约出售 17%，Series A 约出售 9%）——基于披露的投后估值和轮次规模，隐含 Series A 前企业价值为 $1.55B。未发现可转债、优先清算权或既往 down-round 风险的公开证据；公司八个月内估值 step-up 为 2.83x。 [CV001, CV002, CV003, CV004, CV005, CV041]

8.2 估值分析——多重视角

收入倍数分析：在 $30M ARR 和 $1.7B 估值下，ARR 倍数为 57x，把 LMArena 放在后期 AI 基础设施融资轮次的最高十分位。AI 评估基础设施的可比公司很少：Weights and Biases 于 2025 年 3 月被 CoreWeave 以 $1.4B 收购（训练 / 评估平台，工具链更宽）；Scale AI 的估值已达数十亿美元区间，收入规模也大一个数量级。早期纯 AI 基准测试公司没有直接公开可比。最相关的类比是 AI「卖铲人」基础设施：LMArena 作为中立数据层的定位，类似 Bloomberg 或 S&P Global 服务金融市场——一个具备高切换成本的可信数据特许权。按 The Business Research Company，AI 模型评估市场 2025 年为 $1.86B，预计 2026 年达到 $2.36B，2030 年以 27.3% CAGR 增至 $6.24B。如果 LMArena 到 2028 年拿下 $3B 市场的 5-10%，收入为 $150-300M，按 15-20x 倍数，对应 $2.25-6B 估值——这是公开可比退出的 base-to-bull 区间。增长可持续性：四个月达到 $30M，隐含每月新增 $7.5M 的增长速度。即便未来 12 个月只维持该速度的 50%，也会新增 $45M ARR，到 2026 年底达到 $75M ARR。若倍数压缩到 25x（符合成熟企业 SaaS 特许经营），估值为 $1.875B——大致持平当前。若按 20x 倍数（高增长公开 SaaS 中位数），$75M ARR 对应 $1.5B。因此，当前 $1.7B 估值取决于：（a）维持快速 ARR 增长，（b）守住平台溢价倍数，或（c）两者兼具。下方情景分析更明确地展示结果分布。 [CV006, CV007, CV008, CV009, CV010]

8.3 投资论点与反论点

投资论点建立在三项耐久的结构性优势上：（1）社区网络效应——5M 月度用户生成 60M 次对话，形成数据护城河，即便投入大量资本，也极难从零复制；（2）关键判断角色的在位优势——排行榜排名会影响 AI 实验室营销、开发者采用和企业采购，为 LMArena 的付费客户创造切换成本；（3）市场时点——随着竞争性前沿模型增多、企业买家面对真实选择复杂度，AI 评估中的真实世界人类偏好数据会越来越有价值，而不是更少。反论点集中在四个担忧：（1）评估收入与被评估主体之间的结构性利益冲突（Leaderboard Illusion 论文已有记录）可能触发信任坍塌，同时摧毁公开排行榜和企业收入；（2）Goodhart 定律动态——当 Arena 成为事实标准，实验室会专门为它优化，削弱信号的真实世界相关性；（3）收入倍数极端，定价中包含既要持续执行、又要保持可信度的增长轨迹；（4）平台依赖风险存在：付费客户本身控制着平台运转所需的 API 访问，形成结构性杠杆失衡。总体看，在合适进入价格下，论点强于反论点；但当前 57x ARR 倍数在冲突未解决时留下的安全边际不足。 [CV011, CV012, CV013, CV014]

8.4 建议、情景与最终尽调要求

总体建议为「track」，并在满足以下条件时具备转向「buy」路径：（a）收到回应 arXiv 2504.20879 发现的独立方法论审计；（b）以低于未来十二个月 ARR 30x 的估值进入（意味着若按当前 $1.7B 价格承诺投资，ARR 至少需达到 $57M）；（c）商业合同条款确认，付费实验室客户相对于公开排行榜方法论没有获得偏好评估定价。鉴于利益冲突和倍数压缩风险，风险评级为「high」。对该建议的置信度为「medium」——证据足以形成观点，但关键风险因素具有结构性且未解决。估值立场是「stretched」。公司的轨迹、社区参与度和先发优势真实存在；但为这些优势付出的价格并不便宜。牛市情景要求到 2026 年底 ARR 达到 $75M+ 且可信度不破；熊市情景是可信度坍塌，收入和估值一起压缩至 $200-400M（类似其他行业的基准声誉危机）。持有期较长且有强治理影响力的投资人，如果以 30x forward ARR 或更低价格进入，在 base case 下有可信的风险 / 回报情景。 [CV015, CV016, CV017, CV018, CV019]

8.5 附录