——AI范式已然巨变!OpenClaw、智能体框架、Agent范式很吃Post-train、卡的分配比例、巨变下的组织
人物简介
罗福莉,1995 年四川宜宾人,国内顶尖 NLP 与大模型技术专家。北师大本科、北大计算语言学硕士,读研期间产出多篇国际顶会论文,学术实力突出。毕业后以阿里星身份入职达摩院,主导多语言预训练模型研发;后任职 DeepSeek,参与 DeepSeek-V2 大模型核心研发。2025 年加入小米,担任 MiMo 大模型负责人,主导小米自研大模型迭代落地。
采访者简介
张小珺,顶尖深度财经科技记者,北大、香港浸会大学新闻学背景,历任《财经》杂志、腾讯新闻潜望资深记者,擅长互联网与AI行业深度调查特稿,手握多篇现象级商业深度报道,斩获多项亚洲卓越新闻奖等权威新闻奖项,现阶段独立运营头部商业访谈播客,长期对话罗福莉、谢赛宁等一线AI领军人物,是国内科技创投圈极具影响力的内容创作者。
采访内容
俺自己听完了,3个多小时,倍速播放,这里有文字精炼的版本:
OpenClaw 相关情况:
- 对其认知转变:最初因追求顶尖编程体验排斥,使用后发现其自主性、有灵魂,能弥补模型短板,激发中层模型上限。
- 与其他框架对比:相比 Claude 等框架,OpenClaw有更持久的 memory 体系、能自主利用多模型弥补短板,且设计更适合日常场景。
- 火起来的原因:中国开发者对效率提升需求急迫,且国内有性价比高的模型,使用 OpenClaw能带来高性价比。
- 与过去 agent 概念差异:过去的 agent 框架简洁不通用,未达工业级可用能力,而 OpenClaw能让模型执行高复杂度任务,改变了模型生态。
- 安全性思考:认为可通过端云混合、隐私本地化推理缓解安全性焦虑,开源有利于集众人智慧共同解决相关问题。
研究效率与范式变化:
- 效率提升:agent 辅助下,研究效率大幅提升,可并行验证多个想法,且能自迭代进化。
- 研究方向转变:从 code 出发外延到其他领域,激发大模型潜力,靠群体智慧覆盖更多领域以提升模型泛化性。
团队管理与模型训练:
- 群体智能作用:模型训练需要群体智能,不同环节人员协作,让模型具备更好的 context,提升训练效果。
- 与团队管理相似性:都需要群体参与,且每个环节人员需足够投入和专业。
模型研发情况:
- 新模型情况:Proomni、TTS 等三个新模型在 agent 场景表现超预期,出于成本、速度等考量分开训练,未来需更好协作编排。
- Flash 模型:核心定位是追求 non – context 效率,采用 Hyper 神经网络结构,结合 NTP 提升基座能力,具有速度快、成本低优势。
- 模型结构选择:MTP 因能提升推理效率、降低成本,但 MA 在特定时期有优势,未来模型结构设计需考虑 post train 周期和场景变化。
- 训练挑战与卡需求:训练 1T 模型面临全方位挑战,数据方面问题相对较小,更需解决训练中的数值不稳定问题。研究、预训练、后训练卡的合理比例约为 3:1:1。
大模型训练挑战:
- 数据与问题挑战:更大模型对脏数据容忍度更高,训练中更大挑战是发现和解决问题,需建立严密监控系统洞察模型参数变化。
- 问题解决方式:发现问题后分析原因,如系数比、结构、Infra bug 等,可采用 clip、norm 等解决方案,跨团队协作效率低,小团队更高效,但训练周期可能拉长。
团队组织与管理:
- 团队规模与结构:团队约 100 人,包含数据、Infra、开发等链路人员,真正投入一代模型迭代的约二三十人,不设明确组和职级,避免扼杀创造力。
- 管理方式与驱动:采用超例外驱动管理,激发热情让大家自驱做事,通过让大家体验新事物、筛选有热爱特质的人来驱动热情。
模型技术要点:
- 1T 模型决策:涉及混合处理机制、EM 上下文窗口、MTP 等,提升稀疏比以提高架构效率,长上下文数据构造难,MTP 训练为提升基座能力和推理加速。
- 多模态融合:尝试将音频离散化建模,迁移到其他模态,权衡架构优雅性和成本,Omni 模型构建更高效 VLT,支持多模态,有促进智能的迹象。
- TTS 模型:用优雅架构训练,泛化力好,能根据自然语言描述赋予情感和音律,但下限需弥补,目前限时免费开放 API。
模型发展与竞争:
- 发展路径对比:人类进化与大模型演变环境不同,模型进化路径更自由,语言之后,编码开发复杂度提升,机器人交互会涌现,但受硬件制约。
- 中美差距与竞争:国内部分模型厂商距国外顶尖代差约两三个月,比拼研究水平、技术敏捷性和拥抱新范式能力,推理需求将爆发,需考虑芯片产能和参数量规模。
- 发展阶段回顾:22 年 ChatGPT 激发模型智能水平,23 年开源团队追赶顶尖预训练模型,24 年团队组织调整适应后训练范式,25 年面临范式选择。
- 竞争新态势:大模型竞争从 Chat 过渡到 Agents,入场需 ET 基础模型和敏捷性,国内暂无公司同时具备,Code 在各范式有优势,RL 探索结果暂不分享,竞争维度和速度增加。
创业与开源:
- 创业机会:创业公司团队规模要求变小,借助 Agent 可实现,但需更低价模型和完善 Multi – agent 架构。
- 开源目的:开源加速进程,有利于框架、芯片、能源等环节,公司开源与否取决于自身战略生态位。
团队搭建与人才:
- 人才选择:更注重创造环境让能力快速习得,招人大二、大三本科生的比例增加,要求基础好、好奇心强、热爱驱动、有多样性。
- 适应人群:注重模型体验、与模型交互频次高的人及能适应 RD Infra 体系模糊性的人适合团队搭建方式。
个人感悟与预期:
- 自我成长:在否定中成长,心法是做符合价值观、对更多人有益的事,思考做公益组织支持基础研究。
- 工作状态:工作节奏是早上 11 点到晚上 12 – 4 点,睡眠需求 4 – 6 小时,认为做好当下研究即可。