原昊博（Haobo Yuan），武汉大学本硕毕业，现为美国加州大学默塞德分校（UC Merced）计算机科学博士生。研究方向主要涉及计算机视觉、多模态大模型、视觉推理及图像与视频生成。
他的研究经历横跨高校和工业实验室，参与发表了多篇 CVPR、ICCV、ECCV、ICLR、NeurIPS 等会议论文，以及 IEEE TPAMI、TIP 等期刊论文。其中，Sa2VA、Visual Reasoning Tracer、PolyphonicFormer 和 Open-Vocabulary SAM 等工作由其担任第一作者。
2026 年，他参与的 SAMTok 论文被 CVPR 接收并获选为 Highlight。该研究尝试用两个离散 Token 表示物体的分割掩码，使语言模型能够以更紧凑的方式处理像素级目标信息。
沿着他的论文目录往前追溯，可以看到一条较为清晰的研究路线：从传统视觉分割、视频目标关联，逐渐延伸到多模态模型的像素级理解、视觉推理，以及视觉信息的离散化表示。
一、教育与研究经历
武汉大学：计算机视觉与机器学习研究
原昊博于 2020 年从武汉大学弘毅学堂毕业，获得计算机科学与技术学士学位及荣誉学位。同年进入武汉大学计算机学院攻读硕士，师从张乐飞教授，于 2023 年毕业。
早期研究涉及视频全景分割、多任务密集预测、小样本类增量学习，以及神经网络的理论分析。
2021 年，他参与的研究团队在 ICCV 2021 SemKITTI-DVPS 挑战赛的视频与深度赛道获得第一名，相关方法 PolyphonicFormer 随后发表于 ECCV 2022。
同期，他还参与了基于 Neural Collapse（神经坍缩）理论的小样本类增量学习研究，相关论文发表于 ICLR 2023，并参与了 NeurIPS 2022 的神经网络初始化研究。
南洋理工大学：通用视觉分割
2023 年，原昊博前往新加坡南洋理工大学（NTU），在 MMLab@NTU 从事约一年的研究工作，与吕健勤（Chen Change Loy）教授合作。吕健勤是南洋理工大学校长讲席教授，主要研究计算机视觉和深度学习。
这一阶段的工作主要集中在视觉分割任务的通用化，以及视觉模型与多模态语言模型的结合。
代表成果包括 OMG-Seg、Open-Vocabulary SAM、OMG-LLaVA 等。其中，OMG-Seg 发表于 CVPR 2024，Open-Vocabulary SAM 发表于 ECCV 2024，OMG-LLaVA 发表于 NeurIPS 2024。
加州大学默塞德分校：多模态理解与视觉推理
2024 年，原昊博进入加州大学默塞德分校攻读博士学位，导师为杨明玄（Ming-Hsuan Yang）教授，并持续与李祥泰（Xiangtai Li）等研究人员合作。
此后，他的研究进一步转向多模态大语言模型（MLLM），尤其关注语言模型如何理解图像和视频中的具体对象，以及如何处理像素级定位和复杂视觉推理。
根据个人主页，2025 年他曾在 Google DeepMind 担任 Student Researcher，2026 年在字节跳动圣何塞担任研究科学家实习生（Research Scientist Intern），参与视觉与多模态相关研究。
这一时期的代表工作包括 Sa2VA、Visual Reasoning Tracer、SAMTok 和 PixelEyes。
二、主要研究成果
1. 视觉分割：从识别物体到划分像素
计算机视觉中的目标识别与视觉分割是两种不同的任务。
例如，识别一张图片中存在汽车，只需要判断画面里有什么；视觉分割则需要进一步确定，每辆汽车分别占据哪些像素。
如果画面中有三辆相互遮挡的汽车，模型不仅需要识别汽车这个类别，还要区分三个不同的实例，并尽可能沿着各自的车身轮廓进行分割。
视频又增加了时间维度。同一辆汽车会随着镜头变化而改变位置和外观，还可能暂时被其他车辆遮挡。模型需要在连续画面中维持对同一目标的识别。
原昊博早期的多项研究围绕这些问题展开。
PolyphonicFormer（ECCV 2022） 研究深度感知视频全景分割，将视频中的物体类别、实例和深度信息纳入统一的预测框架。
全景分割要求模型既识别天空、道路等没有明确独立个体的区域，也区分汽车、行人等可以逐个计数的对象。深度感知则进一步引入物体与摄像机之间的距离信息。
Tube-Link（ICCV 2023） 研究视频中跨片段的目标关联，尝试通过连接不同时段的对象表示，实现更通用的视频分割。
这里的 Tube 可以理解为某个目标在连续视频帧中形成的时空轨迹。将不同时间片段的 Tube 联系起来，有助于解决目标跨帧识别和关联问题。
OMG-Seg（CVPR 2024） 探索使用统一模型处理语义分割、实例分割和全景分割等不同任务，减少专门为每类任务维护独立模型的需要。
这几种分割方式的区别在于：
- 语义分割：判断每个像素属于什么类别，例如道路、汽车或行人。
- 实例分割：进一步区分同一类别中的不同个体，例如第一辆汽车和第二辆汽车。
- 全景分割：将整个画面划分为相互对应的语义区域和独立实例。
过去，这些任务往往需要不同的模型结构。OMG-Seg 尝试通过统一的对象表示和预测机制处理多种分割需求。
Open-Vocabulary SAM（ECCV 2024） 将开放词表识别与交互式分割结合起来，使模型不再局限于传统分割任务预先规定的少数类别。
传统分类模型通常需要事先定义类别，例如猫、狗、汽车等。如果要求它识别训练类别之外的特定物体，往往需要额外训练。
开放词表识别则尝试借助视觉与语言之间的联系，使模型能够根据文本描述识别更广泛的类别。
Open-Vocabulary SAM 结合 SAM 与 CLIP 等模型的能力，并利用图像分类数据进行训练，展示了面向约 2.2 万个类别的交互式识别与分割效果。
此外，RMP-SAM（ICLR 2025 Oral） 研究兼顾实时性能和多种分割任务的通用模型，重点在于降低不同分割任务分别部署独立系统的成本。
这些工作的共同方向，是减少视觉分割系统对固定类别、特定任务和复杂模型组合的依赖。但不同方法仍有各自的性能和适用范围，并不意味着一个模型已经能够可靠解决所有视觉分割问题。
2. OMG-LLaVA：把语言理解延伸到像素级
多模态大语言模型（MLLM）可以理解为同时具备一定视觉理解和语言处理能力的 AI。
例如，给模型一张照片，问“图里有几只猫”，它可以根据图像内容回答。
但如果继续问“左边那只猫的前爪具体在哪里”，任务就发生了变化。
模型不但需要识别猫，还需要区分不同个体，判断前后左右，并准确指出其中一只猫的特定身体部位。
传统多模态语言模型通常擅长整体图像理解和文字描述，对物体轮廓等像素级信息的处理则往往需要额外的视觉模块。
OMG-LLaVA（NeurIPS 2024） 探索将图像级、物体级和像素级信息结合起来，使多模态模型能够同时处理整体场景理解、具体对象定位与像素级分割。
这三个层次可以分别理解为：
图像级理解关注整个画面表达什么，例如“一个人在公园遛狗”。
物体级理解关注画面中有哪些具体对象，例如人、狗、牵引绳，以及它们之间的关系。
像素级理解则进一步确定对象的准确位置和轮廓。
OMG-LLaVA 尝试让这几种能力在同一个系统中协同工作，使语言模型能够围绕具体对象进行更精细的视觉交互。
这一研究方向也为后续 Sa2VA 等工作提供了相关基础。
3. Sa2VA：连接语言理解与视频分割
Sa2VA: Marrying SAM2 with MLLM for Dense Grounded Understanding of Images and Videos
发表于 IEEE TPAMI，2026 年。
Sa2VA 尝试解决多模态语言模型与视觉分割模型之间的协作问题。
可以把它理解为两个模块的配合：一个负责理解语言，另一个负责定位和分割目标。
例如，用户向系统发送一段视频，并要求：“把视频里穿红衣服的人标出来。”
多模态语言模型首先需要理解“穿红衣服的人”指的是哪个对象，随后由视觉分割模块负责定位目标，并在视频后续画面中进行追踪。
Sa2VA 采用的视觉分割基础是 Meta 的 Segment Anything 2（SAM 2）。
SAM 2 不仅能够处理静态图像，还具有视频对象分割和记忆能力，可以利用此前画面中的信息辅助后续目标追踪。
Sa2VA 将这一能力与多模态语言模型结合起来。
在具体实现中，语言模型通过特殊的 [SEG] Token 表示分割需求。该 Token 对应的内部特征经过映射后，作为提示信息传递给 SAM 2，由其结合图像特征生成目标掩码，并利用记忆机制处理视频中的连续目标。
因此，Sa2VA 并不是把语言、图像和视频完全转换成同一种 Token，而是通过专门的表示接口，使两个擅长不同任务的模型能够协作。
Sa2VA 支持图像与视频中的指代分割、基于视觉定位的问答，以及围绕具体对象的多模态交互。
其代码公开于字节跳动的 GitHub 仓库，后续 SAMTok、VRT 等相关研究也在同一代码体系下提供实现。
不过，Sa2VA 并不意味着长视频理解问题已经解决。目标遮挡、长期身份一致性、复杂场景中的定位错误，以及推理开销，仍然是实际应用需要处理的问题。
4. SAMTok：用两个 Token 表示物体轮廓
SAMTok: Representing Any Mask with Two Words
CVPR 2026，Highlight。
多模态语言模型的一个基础工作机制，是根据已有的 Token 序列预测后续 Token。
Token 可以理解为模型处理信息的基本离散单位。它可能对应一个汉字、一个英文单词的一部分，也可能是某种特殊符号。
文字比较容易转换成 Token，但图像中的物体轮廓并不是天然的离散符号。
在计算机视觉中，物体轮廓通常通过 Mask（掩码）表示。
掩码可以理解为图像上的一个选区：属于目标物体的像素被标记出来，不属于目标的像素则被排除。
例如，一张照片中有一只猫。我们可以画一个矩形框表示猫大概位于什么地方，也可以使用掩码沿着猫的身体、尾巴和耳朵划出更精确的区域。
后者表达的信息更加细致，但也更加复杂。
传统方法可能使用较长的轮廓坐标序列、区域编码或专门的视觉输出模块表达掩码。当需要处理大量物体时，这些表示可能增加模型的序列长度和计算成本。
SAMTok 提出了另一种方法：把一个物体的掩码压缩为两个离散 Token。
其基本过程分为三个步骤。
首先，掩码编码器将目标区域转换成紧凑的视觉特征。
接着，残差向量量化模块（Residual Vector Quantization）把连续特征映射到离散码本，产生两个特殊 Token。
最后，解码器结合这两个 Token 和原始图像，重建出相应的分割掩码。
残差向量量化可以简单理解为分两次选择编码：第一次表示主要信息，第二次补充第一次编码未能充分表达的部分。
因此，两个 Token 并不是两个普通单词，也不是凭空保存了一个物体的全部像素信息。它们需要配合经过训练的视觉模型和原始图像，才能恢复对应的掩码。
这种恢复也不是数学意义上的无损压缩。对于复杂轮廓、细小物体以及不同视觉场景，仍然存在重建误差。
SAMTok 使用约 2.09 亿个掩码训练离散表示系统，并构建约 500 万条掩码理解与生成数据，用于训练多模态语言模型。
其主要价值在于，基础多模态语言模型可以通过标准的下一 Token 预测方式学习掩码理解和生成，而不必专门修改语言模型的主干架构，或增加额外的分割输出结构和专用训练损失。
但负责掩码编码、量化和解码的 SAMTok 模块本身，仍然需要独立设计和训练。
这相当于为语言模型提供了一种更紧凑的物体轮廓表示方式。模型既可以根据图像理解对应的掩码 Token，也可以生成 Token，再通过解码器将其转换为具体的目标区域。
该工作由 Yikang Zhou、Tao Zhang 等研究人员共同完成，原昊博为论文合作者之一。
5. VRT：检查 AI 的推理过程，而不只是看答案
Visual Reasoning Tracer: Object-Level Grounded Reasoning Benchmark
2025 年公开预印本。
多模态模型在回答视觉问题时，通常更容易评估最终答案是否正确，却较难验证它是否准确识别了推理过程中涉及的对象。
例如，用户要求模型：“找出桌子左边、靠近台灯的红色杯子。”
模型最终指向了正确的杯子，但这是否说明它准确理解了桌子、台灯、杯子及其位置关系？
未必。
它可能正确识别了所有对象，也可能主要依赖颜色等局部线索，碰巧找到了目标。
如果只检查最终答案，就无法区分这两种情况。
Visual Reasoning Tracer（VRT） 将研究重点放在中间视觉证据上。
研究团队提出 VRT-Bench 评测基准和 VRT-80k 训练数据，要求模型不仅指出最终目标，还要定位推理过程中涉及的中间对象。
对于前面的杯子问题，模型可以依次指出桌子、台灯及目标杯子，并给出对应的视觉区域。
这样，研究人员便可以分别评估模型最终答案的准确性，以及中间视觉证据的定位质量。
研究还探索了监督微调（SFT）与强化学习（RL）相结合的方法。
监督微调可以理解为让模型学习示范答案及其推理步骤；强化学习则进一步根据模型输出的表现提供奖励信号，使其逐渐倾向于产生符合要求的结果。
相关实验发现，强化学习能够改善模型的最终目标定位表现，但中间推理证据的质量并不一定同步提高。
这说明，模型回答正确与其推理过程具有充分、准确的外部证据，仍然是两个不同的问题。
需要注意的是，即使模型能够展示中间视觉证据，也不能据此证明这些步骤完整反映了神经网络内部真实的计算过程。
VRT 的贡献是让视觉推理的输出过程更容易检查，而不是直接揭示模型内部的全部推理机制。
此外，VRT-Bench 主要围绕静态图像中的多步视觉推理展开，不能直接等同于已经解决复杂视频的时空推理问题。
6. PixelEyes：把视觉感知与推理分开
PixelEyes: Decoupling Perception and Reasoning for Pinpoint Visual Evidence Seeking
2026 年公开预印本。
PixelEyes 延续了对视觉证据可靠性的研究，但在系统设计上采用了另一种思路。
在复杂图像中，多模态模型有时需要多次寻找目标。
例如，要求模型在一张拥挤的展会照片中，找到某个展台上印有特定标识的小物件。
如果目标非常小，模型可能需要反复放大、裁剪图像，逐步确定具体位置。
问题在于，如果模型一开始选择了错误区域，后面就可能围绕错误的视觉信息反复搜索，甚至基于错误的证据继续推理。
PixelEyes 尝试将两个任务分开：
推理模块负责判断应该寻找什么，视觉感知模块负责确定目标在哪里。
前者根据问题和已有信息规划搜索方向，后者利用专门的视觉定位能力返回候选目标。
系统通过掩码引导视觉搜索，并把图像中的候选区域组织成可逐步检查的搜索结构，以减少重复搜索与定位错误。
研究团队还构建了 PixelEyes-6K 数据集和 Pinpoint-Bench 评测基准，用于研究复杂场景下的目标定位和视觉证据检索能力。
与 VRT 相比，PixelEyes 更关注视觉推理过程中如何组织感知工具，以及怎样让模型有效地寻找所需证据。
这种设计体现了一种系统工程思路：不同任务未必需要由同一个模型内部完成，也可以通过明确的功能分工，让语言推理模块与专门的视觉模块协作。
但模块化不代表系统天然更可靠。模块之间的信息传递、错误积累和额外计算成本，仍然需要通过实验检验。
7. 理论基础与模型架构研究
除上述成果外，原昊博还参与了多项有关模型结构、训练方法和理论基础的研究。
Neural Collapse 与增量学习
Neural Collapse（神经坍缩）是深度学习研究中观察到的一类特征几何现象。
在某些分类神经网络的训练后期，同一类别样本在最后隐藏层的特征会逐渐集中，不同类别的特征中心则可能形成近似对称的几何结构，并与分类器权重呈现特定的对应关系。
可以用一个简单的例子理解。
假设神经网络需要区分猫、狗和汽车。
训练过程中，模型会逐渐学习把相同类别的样本映射到特征空间中相近的位置。随着训练推进，某些网络会出现类内特征越来越集中、不同类别之间形成特定几何排列的现象。
Neural Collapse 研究的正是这类现象发生的条件及其数学性质。
它不是所有神经网络必然出现的规律，而是在一定模型结构和训练条件下观察、分析得到的特征行为。
原昊博参与的相关研究尝试将这些理论性质用于小样本类增量学习。
所谓类增量学习，就是让模型在学会旧类别之后，继续学习新类别，同时尽量保留已有的识别能力。
例如，一个已经能够识别猫和狗的模型，后来需要增加汽车、飞机等类别。如果只用新类别的数据继续训练，模型可能逐渐遗忘旧类别。
研究人员希望借助特征几何关系，改善新旧类别之间的表示与分类器对齐，降低这种遗忘问题带来的影响。
代表论文发表于 ICLR 2023。另有关于神经网络初始化优化的合作研究发表于 NeurIPS 2022。
Mamba 与状态空间模型
Transformer 是现代大语言模型广泛采用的基础架构之一。
其中，自注意力机制能够让模型建立序列中不同位置之间的关系，但标准全局自注意力的核心计算成本通常随序列长度平方增长。
这意味着序列越长，计算和显存开销可能增长得越快。
状态空间模型（State Space Model，SSM）提供了另一条技术路线。
Mamba 等模型通过不同于标准自注意力的序列建模机制，使主要序列计算能够随输入长度近似线性增长。
不过，这并不代表所有状态空间模型的端到端成本都严格线性，也不代表 Mamba 在所有任务上都优于 Transformer。
Point Cloud Mamba（AAAI 2025） 研究如何将状态空间模型用于三维点云处理。
点云可以理解为大量记录三维空间位置的点。例如，激光雷达扫描一辆汽车后，得到的可能不是普通照片，而是一组描述车身表面和周围环境的三维点。
这类数据天然具有空间结构，却不像文本那样存在固定的一维阅读顺序。
Point Cloud Mamba 设计了保持空间邻接关系的点云序列化方法，将三维点组织为适合状态空间模型处理的序列。
研究在多个点云基准上取得了优于部分既有 Transformer 方法的实验结果，展示了 Mamba 架构在三维视觉任务中的适用性。
此外，原昊博还参与了 Mamba or RWKV 等预印本研究，探索其他序列建模架构在视觉分割中的应用。
这些研究主要关注不同模型架构在表示能力、计算效率和任务性能之间的权衡。
视觉领域综述
原昊博参与撰写了多篇技术综述，包括：
《Transformer-based Visual Segmentation: A Survey》，IEEE TPAMI，2024。
系统梳理 Transformer 在视觉分割领域的应用，包括语义分割、实例分割、全景分割等任务，以及不同架构的设计方法。
《Towards Open Vocabulary Learning: A Survey》，IEEE TPAMI，2024。
研究开放词表视觉学习，即模型如何利用视觉与语言之间的联系，识别传统固定类别体系之外的对象。
《Visual Tokenizers: A Comprehensive Survey》，2026 年预印本。
这篇综述关注视觉 Tokenizer 的研究进展，讨论如何将图像、视频等高维视觉信息转换成模型能够处理的紧凑表示。
其中一个主要问题，是视觉理解与图像生成对信息表示的要求并不完全相同。
例如，判断一张图片里是否有猫，通常不需要记录每一根毛发的形状。
但如果要求模型尽可能准确地还原原始照片，毛发纹理、光照和颜色细节就变得重要。
前一种任务更重视语义信息，后一种任务更重视视觉细节。
因此，适合识别物体的视觉表示，未必适合精确重建图像。
如果希望用统一的视觉 Tokenizer 同时支持理解和生成，就需要在语义信息、重建质量、表示容量及计算成本之间进行权衡。
这篇综述还讨论了词表扩展、视频时序建模和三维表示等研究方向，并提供了配套的文献与开源项目索引。
截至本文整理时，该研究仍属于未经正式同行评议的预印本。
8. 其他研究方向
除视觉分割和多模态理解外，原昊博的合作论文还涉及视觉数据构建、图像生成、多智能体规划等问题。
DenseWorld-1M（2025） 探索大规模细粒度视觉定位与描述数据集的构建，关注如何建立图像区域与详细语言描述之间的对应关系。
An Empirical Study of GPT-4o Image Generation Capabilities（2025） 对 GPT-4o 的图像生成能力进行了实证分析，覆盖文本生成图像、图像编辑及与三维内容相关的多类任务。
ParaCook（Findings of ACL 2026） 研究多智能体系统中的时间效率与规划问题，关注在时间约束下如何组织多个智能体完成任务。
Learning to Correct Geometry in Generated Videos（NeurIPS 2026） 研究生成视频中的几何一致性校正。
生成式视频模型不仅需要生成单帧看起来合理的画面，还需要保持跨帧的空间关系。例如，同一个物体不应该在镜头变化时无故改变尺寸或几何结构。
这类研究关注的是视频生成结果在时间和空间上的一致性，而不仅是单张画面的视觉质量。
这些工作说明，原昊博参与的研究已从传统视觉感知扩展到视觉生成、多模态评测及多智能体规划等方向。
但不同论文中的实际参与角色和贡献范围需要分别判断，不能仅根据合著关系，将全部研究归为个人独立主导的工作。
三、代表成果年表
以下按时间列出部分代表性研究。论文的完整作者名单、发表状态及最新版本，应以作者个人主页和出版机构记录为准。
| 年份 | 论文或项目 | 发表渠道 | 研究方向 |
|---|---|---|---|
| 2021 | BOSSA | IEEE TPDS | 分布式数据存储与可检索性证明 |
| 2022 | PolyphonicFormer | ECCV | 深度感知视频全景分割 |
| 2022 | Towards Theoretically Inspired Neural Initialization Optimization | NeurIPS | 神经网络初始化 |
| 2023 | Neural Collapse Inspired Feature-Classifier Alignment | ICLR | 小样本类增量学习 |
| 2023 | Tube-Link | ICCV | 通用视频分割 |
| 2023 | Monocular Road Planar Parallax Estimation | IEEE TIP | 单目视觉几何估计 |
| 2024 | OMG-Seg | CVPR | 通用视觉分割 |
| 2024 | Open-Vocabulary SAM | ECCV | 开放词表交互式分割 |
| 2024 | OMG-LLaVA | NeurIPS | 图像、物体与像素级理解 |
| 2024 | Transformer-based Visual Segmentation: A Survey | IEEE TPAMI | 视觉分割综述 |
| 2024 | Towards Open Vocabulary Learning: A Survey | IEEE TPAMI | 开放词表学习综述 |
| 2025 | Point Cloud Mamba | AAAI | 点云与状态空间模型 |
| 2025 | RMP-SAM | ICLR Oral | 实时多任务分割 |
| 2025 | General-Level and General-Bench | ICML Oral | 通用多模态评测 |
| 2025 | DenseWorld-1M | arXiv | 细粒度视觉描述数据 |
| 2025 | Visual Reasoning Tracer | arXiv | 视觉推理过程评测 |
| 2025 | An Empirical Study of GPT-4o Image Generation Capabilities | arXiv | 图像生成能力实证分析 |
| 2026 | Sa2VA | IEEE TPAMI | 图像与视频像素级理解 |
| 2026 | SAMTok | CVPR Highlight | 离散掩码表示 |
| 2026 | PixelEyes | arXiv | 视觉证据检索 |
| 2026 | ParaCook | Findings of ACL | 多智能体规划 |
| 2026 | Learning to Correct Geometry in Generated Videos | NeurIPS | 生成视频几何校正 |
| 2026 | Visual Tokenizers: A Comprehensive Survey | 预印本 | 统一视觉表征综述 |
表中的 Oral 和 Highlight 是相应论文获得的会议展示类别，并非对每位合作者个人贡献的独立评价。
同时，arXiv 和其他预印本应与经过同行评议并正式发表的论文区分。预印本可以公开研究方法和实验结果，但其结论仍可能在后续审稿和研究中得到修订。
四、研究重心的迁移
从公开论文看，原昊博的研究工作大致经历了三个阶段。
2021—2023 年：视觉感知与机器学习理论。
研究内容涉及视频分割、目标关联、视觉几何估计、小样本增量学习及神经网络特征分析。主要问题是如何让模型准确识别、区分和表示视觉对象。
2023—2024 年：视觉分割的通用化。
研究逐渐转向使用统一模型处理不同视觉任务，并通过开放词表识别拓展模型能够处理的物体类别。OMG-Seg、Open-Vocabulary SAM 和 OMG-LLaVA 分别从任务统一、类别泛化和多模态交互等方向展开探索。
2025—2026 年：多模态模型中的对象表示与视觉推理。
研究进一步涉及语言模型与分割模型的协作、像素级信息的离散表示、视觉推理过程的外部验证，以及视觉感知工具的组织。
Sa2VA、SAMTok、VRT 和 PixelEyes 是这一阶段从不同角度展开的工作。
Sa2VA 关注语言理解与视觉分割如何协作；SAMTok 关注如何通过离散 Token 表示复杂的物体掩码；VRT 关注模型在推理过程中能否准确提供中间视觉证据；PixelEyes 则关注视觉感知和推理模块如何分工。
这些研究存在技术主题和工程实现上的联系，但并非互相依赖、首尾相接的一条完整流水线。
它们共同涉及的问题是：如何使多模态模型不仅能够描述图像，还能准确识别其中的具体对象，确定对象的位置，并围绕这些对象开展可以检查的推理。
这也是视觉人工智能从图像分类、物体检测，逐渐扩展到像素级理解、视觉语言交互和复杂视觉推理的一条技术演进路线。
相关能力与机器人、视频编辑、工业视觉检测及其他需要空间感知的系统存在联系。
例如，机器人不仅需要知道桌上有杯子，还需要确定用户所指的是哪一个杯子，以及它的准确位置。视频编辑软件不仅需要理解“删除画面中的某个人”，还需要在连续画面中追踪对象，并保持处理结果的一致性。
但模型能够完成视觉定位，并不意味着已经具备可靠的物理世界理解或行动能力。机器人操作仍涉及运动控制、三维几何、动力学和环境反馈；视频编辑则需要解决遮挡恢复、画面补全及跨帧一致性等问题。
因此，上述研究提供的是相关基础能力，而非完整应用系统的最终解决方案。
五、开源成果与复现入口
原昊博参与的多项研究提供了公开代码、模型权重或评测数据。其中，Sa2VA、SAMTok 和 VRT 的相关实现集中于字节跳动的 Sa2VA 仓库。
对于希望进一步验证这些成果的技术读者，可以从以下三个方向入手。
1. SAMTok 编解码实验
使用公开模型对不同形状的目标掩码进行编码，再尝试从离散 Token 重建目标区域。
重点记录三类指标：
- 重建精度：使用交并比（IoU）等指标，比较重建掩码与原始掩码的重合程度。
- 计算成本：测量编码与解码延迟、显存占用，以及不同分辨率下的资源开销。
- 复杂场景表现：观察细小目标、复杂边缘、多孔结构及遮挡情况下的误差。
需要注意，两个 Token 只是核心离散表示的长度，并不等于整个视觉处理过程只需要两个 Token 的计算成本。
编码器、解码器、图像特征提取和模型推理仍然需要消耗计算资源。
2. VRT 推理证据评测
使用公开评测集，比较模型最终答案与中间视觉证据的质量。
除了统计最终定位结果是否准确，还应检查推理过程中提到的各个对象是否被正确定位。
可以分别测量最终答案的定位精度，以及中间步骤掩码与人工标注之间的重合程度。
复现时还需区分直接使用公开权重进行推理，与从头执行监督微调、强化学习训练。这两类实验的硬件需求和复现成本存在明显差异。
3. 视觉 Tokenizer 架构比较
对照《Visual Tokenizers: A Comprehensive Survey》，研究不同视觉表示方法在语义理解、视觉重建和计算成本之间的权衡。
重点比较模型所保留的信息类型、表示长度、重建质量，以及不同视觉任务下的性能表现。
不能仅因为某种方法使用的 Token 更少，就直接认定它在所有任务中效率更高。实际计算成本还取决于视觉编码器、解码器、模型架构和运行环境。
这些实验有助于进一步判断相关研究在具体应用中的适用范围，而不是只依据论文中的单项指标进行技术选型。
主要资料
个人资料与论文目录
原昊博个人主页：https://yuanhaobo.me/
论文与出版物：https://yuanhaobo.me/publications/
主要论文与开源项目
Sa2VA / SAMTok / VRT 开源仓库：
https://github.com/bytedance/Sa2VA
SAMTok 论文：
https://arxiv.org/abs/2601.16093
Visual Reasoning Tracer 论文：
https://arxiv.org/abs/2512.05091
PixelEyes 论文：
https://arxiv.org/abs/2607.00115
Visual Tokenizers 综述：
https://www.preprints.org/manuscript/202607.1756
本文根据截至 2026 年 10 月公开的个人履历、论文、项目资料及相关研究内容整理。涉及尚未正式发表的预印本，其研究结论和发表状态可能随版本更新而变化。
微信扫一扫 
支付宝扫一扫 
