数据需求跟着模型演进|爱分析访谈
数据是 AI 时代卖铲子的生意,但这把铲子的形态一直在变。
从孤立词语音到连续语音,从自动驾驶的百万帧标注,到大模型的思维链和 Agent 轨迹数据,数据需求的量级、形式和质量标准,跟着模型技术一路变迁。
通识标注中基础性、重复性的需求正在减少,专识标注更加依赖专业知识和专家资源;合成数据的讨论仍在继续,具身智能又带来了新的数据需求。
海天瑞声是这个行业里少有的长跑者,也是数据服务领域唯一一家上市公司。自2005年成立以来,海天瑞声持续服务于AI技术研发与应用。随着行业发展,其客户群体从以头部科技互联网大厂为代表的企业,逐步拓展至自动驾驶、大模型和具身智能等领域。
海天瑞声联合创始人、CEO 李科是算法出身,对数据这门生意的判断很直白:需求跟着模型走,壁垒在可复用的资产,技术路线尚未收敛时保持审慎投入。
本次访谈,爱分析和李科重点就以下主题进行了深入交流:数据需求的变迁、专识标注的规模化难题、具身数据市场的发展,以及中美数据市场的需求差异。
核心观点
数据需求永远跟着模型走。每一波技术变迁都在重塑数据需求的量级、形式和质量标准,需求侧的变化是常态。
数据质量要求持续提升,垂直领域的数据需求更加依赖专业知识和专家参与。 随着模型能力提升和应用场景拓展,数据不仅要准确,还需要满足具体领域和任务的要求。医疗、编程、法律等领域的专识标注,对参与人员的专业知识和实践经验提出了更高要求,获取并组织合适的专家资源,成为数据生产的重要能力。
专识标注的规模化需要以标准化为基础。做好数据工程基础标准件,才能在面对多样化数据需求时快速实现标准件组合自动化。大模型时代,管理对象由大规模执行人员转向少量专家,标准化的难度和对人的要求都在提升。扩充资源池、提高资源在不同客户和项目之间的复用效率,也是其中的重要工作。
模型继续进化,需要失败数据和纠错轨迹。后训练、强化学习和 Agent 数据,需要呈现人的思考、反馈与修正过程。数据服务的价值,也从提供结果延伸到发现和修复模型问题。
具身智能有望带来长期的数据需求,但当前技术路线和数据标准仍处于探索阶段。 技术路线尚未收敛,意味着数据需求也在变化。随着技术路线和客户需求逐步明确,市场有望形成更清晰的分工与生态。
中美数据市场的客户需求存在差异。 从基础研究与应用落地两个层面看,客户的关注点有所不同。模型市场的规模、商业化成熟度和盈利能力,也会影响上游数据服务公司的商业空间。
01 模型每进化一次,数据需求就发生巨变
爱分析:海天瑞声目前围绕数据形成了怎样的业务布局?
李科:我们还是以数据为核心,大体分三个方向。
第一类是标准化的数据产品库,知识产权归海天瑞声所有,可以授权给不同客户复用。第二类是定制数据服务,交付物也是数据,但知识产权归客户,我们没有复用权。第三类是数据相关的技术服务,包括平台、系统和定制开发,以及模型训练、模型评测等相关服务,目前主要面向央国企和大型企业客户。
这三类是业务模式上的划分。从数据模态看,我们提供语音、文本、图像、视频等数据,以及这些模态组合形成的多模态数据。比如,语音既有标准化产品,也有面向客户的定制服务;大模型数据既包括训练数据,也包括评测数据。
爱分析:随着AI技术发展,这几年数据需求发生了哪些变化?
李科:数据需求一直跟着技术发展变化。从需求侧看,基础研究和应用落地的侧重点在不同阶段有所变化:前者关注模型能力的提升,后者关注模型能否解决具体场景中的问题。
从质与量看,数据规模在增长,质量要求也一直在提升。我们从 2005 年左右开始做数据,那时语音技术主要处理孤立词,连续语音识别和合成都比较困难,一个 50 至 100 人的语料库已经算比较大。进入深度学习阶段,项目可能需要一两千人、几百到上千小时的数据。到了大模型阶段,数据规模进一步扩大,同时也更加关注数据能否帮助模型提升能力、解决具体问题。
从通识与垂直需求看,除了支持模型通用能力的数据,面向具体领域和应用场景的数据需求也在发展。这类需求对专业知识和专家参与提出了更高要求。
爱分析:除了规模增长,数据质量的要求发生了什么变化?
李科:质量(quality)的要求一直在提升。预训练数据不一定需要大量人工标注,更看重规模,以及清洗、筛选、去重、去脏等基础质量控制,这些环节相对容易自动化。
到了后训练、强化学习、RLHF 或微调阶段,数据量可能没有那么大,但质量要求会更高。思维链数据要显式呈现人的思考过程,Agent 轨迹数据也要把解决问题的过程展示出来。数据里不能只有成功案例,还要包括失败案例,以及一个失败过程如何通过反馈和修正走向成功。
因此,数据质量不仅体现在内容准确、干净,还体现在能否完整呈现任务过程,以及其中的反馈和修正。
爱分析:大模型兴起后,语音、图像等传统数据需求是不是就消失了?
李科:没有,AI的发展仍然需要语音、图像等多模态数据。过去,这些数据主要服务于机器学习和感知类模型应用;随着大模型发展,对同一模态数据的观察角度和目标也在发生变化,由感知向认知延伸。
以图像为例,过去更多关注图中有什么、物体在哪里;现在还需要理解物体之间的关系、场景含义,并结合图像内容进行推理。
同时,数据需求不再仅限于模型侧,也会更多地与应用落地结合。客户要提升模型解决具体问题的能力,需要我们帮助找出模型在实际场景中表现不好的情况,再通过相应的数据反馈到训练中。有时需要重新标注已有数据,有时需要新增数据,覆盖更多 corner case,解决模型收敛过程中的问题。
所以,语音、图像等数据需求并没有消失,而是随着模型发展,既服务于模型从感知到认知的能力提升,也更多地服务于具体应用落地。
02 壁垒既在于数据资源积累,也在于可复用的数据工程化能力
爱分析:面对不断变化的数据需求,海天瑞声有哪些可以持续复用的能力?
李科:从海天瑞声的竞争优势,或者说一定程度的壁垒来看,最重要的是两个方向。
第一是数据产品库的积累。海天瑞声成立时间比较早,从一开始就在做数据资源积累。这个积累跟时间有关,过去沉淀下来的数据资源,即使到了大模型时代,也可以通过二次开发产生新的价值。
第二是平台能力。我们把它叫作一体化数据工程平台,平台上沉淀了工具链、算法和生态资源协调等能力。
爱分析:平台上的这些能力具体包括哪些?
李科:第一是工具链的组合能力,这也是最核心的能力,我们内部叫作数据产线。传统制造业的流水线生产实物,我们的数据产线生产数据。
文本、图像和语音项目使用的具体工具不同,但整体工作流是类似的,可以通过模块化组合适配不同任务。就像传统流水线生产不同产品时需要调整部分环节,但底层流程仍然可以复用。
第二是数据相关的算法能力。海天瑞声有一支十几人的算法团队,研究模型技术的发展趋势,分析不同模型对数据的需求,并利用数据评测模型的能力,为平台的数据生产和质量评估提供算法支持。
第三是生态资源协调能力。平台目前积累了 60 多万名数据从业者。面向个人采集的数据,相关授权信息会记录在平台上;不同人员的语种、专业方向、地域、项目经历和审核评分,也会沉淀下来。客户需求变化时,我们可以据此组织不同地区、不同语种和不同能力层次的人员。
爱分析:平台能力是否就等于客户交付能力?
李科:平台只是交付能力的一部分。我们做的是 To B 业务,想把业务做大,不能有明显短板。
除了平台,还需要商务能力、项目管理能力、风险预警能力和安全合规能力。尤其是项目交付,不能只看有没有一个平台,还要看项目经理能不能把任务组织起来,能不能及时识别风险,以及整个过程是否可追溯。
爱分析:海天瑞声目前主要服务哪些客户?数据服务行业的长期增长取决于什么?
李科:我们的客群比较广泛,但总体上还是 To B,从需求类型看,一类是开展基础模型研发的客户,需要数据支持模型训练和能力提升;另一类是垂直领域客户,他们不一定训练基础模型,但希望把某个具体场景做深,在这个过程中也会产生相应的数据需求。
行业能不能持续增长,核心看两点。
第一,人工智能行业是不是还在持续发展,我觉得这个答案基本是肯定的。我们的客户从早期的 AI 公司,逐步拓展到大模型公司;随着具身智能和垂直领域应用的发展,客户类型和数据需求也会进一步拓展。
第二,技术路线如何演进,以及由此带来哪些新的数据需求。随着模型能力提升,数据的使用目标和质量要求也会变化,数据服务需要持续适应这些变化。
03 从管 1000 个人到管 10 个人,资源复用实现规模化
爱分析:通识标注需求在减少,原有人员生态如何迁移到后训练和专家数据?
李科:我们通过知识与技能培训、晋升通道设计和动态管理,帮助原有人员提升能力;同时建立有进有出的机制,尊重个人选择。
随着基础模型能力提升,通识标注的工作确实在减少。一方面,我们会从原有人员中筛选经验足够、能够继续提升的人;另一方面,也要补充更多高能力和垂直领域资源。
资源扩展也会持续进行,要根据客户需求、市场变化和产品设计,找到对应的人才。
爱分析:专识数据的价值和客户预算都在提高,但人员规模变小之后,如何实现长期规模化?
李科:规模化的基础是标准化。做好数据工程基础标准件,才能在面对多样化数据需求时快速实现标准件组合自动化,提升规模化交付能力。
对于以客户需求为起点的定制数据服务,我们也会尽量让人员资源在不同客户和项目之间复用。不同模型公司的项目细节不会完全一致,但技术方向在一定程度上会收敛,对人员画像和能力要求也会有共性。比如一批擅长 Coding 的人员完成一个项目后,能不能继续服务其他能力要求相近的项目,决定了资源池的利用效率。
早期自动驾驶项目可能一次标注几百万帧数据,重点是在保证质量的前提下快速起量。现在,一些专识标注项目的人员数量可能少很多,但每个人的能力要求更高,标准化难度也更大。因此,规模化交付既需要数据工程基础标准件的复用,也需要提高专业人员跨项目服务的效率。
爱分析:这会不会改变数据项目的组织方式?
李科:项目组织的变化趋势,是从 Human-in-the-loop 转向 Expert-in-the-loop。对人的能力要求和资源获取难度也在变化。
过去,一个项目经理可能管理 1000 人,下面还有小组长和质检人员,一起运行整个流程。现在,一个项目经理可能只对应 10 个人,却要和每个人点对点沟通:这项任务能不能完成,规则有没有不清楚的地方,遇到 corner case 应该怎么判断。
有时客户也没有现成答案,项目团队要把更多专业人员组织起来讨论,形成一个更合理的建议,再交给客户和模型团队判断是否接受。管理对象从大规模执行人员变成了少量高能力人员,项目经理与业务规则、专业知识的距离也更近了。
爱分析:专家类数据服务,从数据源和版权层面还有哪些获取方式?
李科:一方面,我们会和拥有内容版权的机构、图像数据服务商开展合作。合作方提供有特色的源数据,我们完成加工和标注,共同形成可以对外提供的数据产品。
另一方面,也有客户提供源数据,由我们完成标注,双方共同形成产品。对于公开互联网数据,我们也会持续研究怎样在合规范围内进行处理。数据来源、授权和后续使用边界,尽量都要做清楚。
我们一直比较关注数据产权、数据知识产权登记等政策方向,尽可能明确数据来源、授权链条和使用边界。对上市公司来说,清晰、可核查的数据来源和授权链条,有助于保障客户和自身业务。
爱分析:专家通常只能提供正确示范,失败和纠错过程形成的轨迹数据,怎样合规获得?
李科:Positive和Negative数据,从本质来说是一样的,都是“样本-标签”,从处理流程也就是一样的,可以沿用以往数据生产方法论,通过自动化和半自动化方式构造。以 Coding 为例,GitHub 上的代码仓库通常有 PR 和 issue,里面记录了代码问题、问题描述和修复过程。
我们可以把问题提取出来,让模型尝试修复。如果一次修复成功,就形成一条正向轨迹;如果修复过程中还需要人的干预和反馈,就可以记录一条从偏离到正确的过程,这类数据也是有价值的。
客户自己也可以做,但可能要花两个工程师一个月。数据公司的价值,就是把这部分工作提前完成,帮助客户节省时间。
随着模型能力提升,部分专业领域的数据判断需要更高水平的专业知识,例如医疗场景可能需要三甲医院、具有一定临床经验的主治医生参与。医疗如此,Coding、法律和教育等领域也会有类似要求。
04 具身数据市场需要先看清技术路线
爱分析:现在具身数据的类型很多,您怎么看这个市场?
李科:具身智能有望带来长期的数据需求,但真正走向规模化应用仍需要持续探索。
但从行业特点来看,当前技术路线还没有收敛。技术路线没有收敛,就意味着数据需求也没有收敛,数据有效性到底怎么验证,本身就是一个问题。
爱分析:具身数据目前面临的主要问题是什么?
李科:数据的有效性和多样性是比较大的问题。
比如工业场景,一个点位能产生的数据多样性很有限。一个人带着设备、头上带着相机,每天做的事情可能差不多,背景也比较固定。即使把一个工厂的点位都加起来,四五十个点位也还是有限的,数据中还可能存在重复。
所以,单纯增加采集时长并不能完全解决多样性问题。找更多点位、扩展到家庭场景,都是办法,但仍需要和客户一起探索。同时,数据有效性则需要结合具体任务进行评估。
爱分析:真机数据未来有没有可能跨本体复用?
李科:我觉得未来从技术发展来看,也许能让真机数据做到跨本体复用。
从 Ego 数据或者 UMI 数据到真机数据,本身就存在不一致。人的自由度和每台机器的自由度不一样,从人的动作到具体机器的训练过程中,一定有映射要做。既然人能够完成这种映射,真机数据理论上也应该有办法实现跨本体转换,未来可能需要看学术和算法层面能不能取得突破。
所以,未来很大程度上还是要看谁手里的数据更多,谁在算法层面、在模型能力上更有优势。对海天瑞声来说,重点不是押注某一个厂商一定成功,而是在合作过程中尽可能积累仍然可以复用的数据。
爱分析:传统语音、图像和大模型数据都有相对成熟的评估方式,具身数据如何判断有效性?
李科:判断具身数据的有效性,核心要看它能否支持模型在具体场景中完成任务。因此,评估需要兼顾两个层面:一是依据相关标准评价数据的通用质量;二是结合具体场景和任务要求,评价数据对模型能力建设的作用。
国内已经发布了具身智能数据质量和评测相关标准,为这项工作提供了基础。不同场景的任务目标不同,具体评价指标也需要有所侧重。
我们重视元数据的完整记录,包括采集环境、任务内容、采集人员和技术指标等。这些信息能够帮助我们理解数据适用于什么场景、能够支持什么任务,为后续评估、筛选和复用提供依据。
爱分析:目前具身数据市场还有哪些需要完善的地方?
李科:我们关注数据在市场上重复流转的情况比较多。我们发现,从不同来源买到的数据基本是一样的,这对终端使用方并不友好。数据公司需要把自有知识产权的数据维护好,向客户清楚说明数据来源和授权边界。
我觉得随着技术路线和客户需求逐步明确,市场有望形成相对清晰的分工与生态。
爱分析:数据的有效性和多样性,最终会影响产品定价吗?合成数据还有价值吗?
李科:肯定会影响。数据的多样性和有效性会影响产品定价,需要结合具体评测结果和计价口径讨论。
合成数据仍然有价值,但更多是放大真实数据的价值。合成数据可以帮助模型提升能力,但无法独立解决最前沿的问题。
爱分析:具身数据市场接下来会怎么发展?
李科:我认为随着技术路线和客户需求逐步明确,具身数据市场未来几年会逐渐从早期探索走向相对清晰的分工与生态。
未来市场关注的重点也会从单纯追求采集规模,进一步转向数据的有效性、多样性和可复用性。 同样是具身数据,能不能覆盖更多真实场景、任务是否足够丰富、数据能否被持续筛选和复用,会越来越影响数据本身的价值。
海天瑞声会持续参与具身智能数据市场,并围绕客户需求、数据资产保持审慎、持续的投入,根据技术路线和市场发展动态调整投入节奏。
05 中美数据市场需求差异
爱分析:美国数据服务市场的业态,整体感觉和中国不太一样。
李科:中美市场对数据的需求和关注点有所不同。不同市场的客户结构、模型研发阶段和应用场景不同,也会带来不同的数据需求。
前端模型公司的商业化进展,会影响整个产业链对数据服务的投入方式和需求规模。与此同时,客户结构也会影响数据服务市场的形态。美国市场的客户相对集中,需求更多来自头部模型公司;国内客户类型更加多元,除了基础模型企业,也有很多垂直行业和具体场景的应用需求。
爱分析:中美数据服务市场的规模和集中度,大概有什么差异?
李科:从公开研究和我们的市场观察来看,中美数据服务市场在市场规模、客户结构和集中度上存在一定差异。美国市场的头部客户相对集中,数据需求更多来自大型模型公司;国内市场的客户类型更加多元,除了基础模型企业,也有很多垂直行业和具体场景客户。
不同的客户结构,也会影响数据服务企业的项目规模、业务模式和市场集中度。相比单纯比较市场规模,我们更关注不同市场客户所处的发展阶段,以及他们具体需要什么样的数据和服务。
爱分析:海天瑞声开展海外业务时,和国内业务的做法有什么不同?
李科:本质上没有太大差异,但安全合规、当地文化和价值观会不同,需要依托不同国家和地区的资源开展业务。
一类情况是国内客户走出去。比如客户在海外开展业务时,海天瑞声本来就是它的数据服务供应商,就可以跟着客户一起出去,在当地建立团队。平台也不一定部署在国内,可能会部署在海外云节点上。如果客户业务持续,我们还会看能不能在当地培养出一支远程管理的团队。
另一类情况是海外客户。这就涉及数据不能流转回中国的问题,我们需要把平台部署在云上,在海外寻找团队。海天瑞声在东南亚有自建团队,在美国也有项目经理,负责当地项目执行。
爱分析:中国数据服务公司出海,主要会遇到哪些合规问题?
李科:合规是很重要的一件事,而且实际上贯穿数据采集、存储、流转和交付的全过程。我们长期都会投入法务和合规资源,提前研究不同国家和地区的法律法规。
首先还是要看当地对数据采集和流转有哪些要求。比如有些数据能不能采、是否涉及个人信息、生物识别信息或者未成年人信息,哪些数据需要本地存储、能不能跨境,这些都需要在项目开始之前判断清楚。
除了法律法规,还要关注当地的文化和社会环境。不同国家和地区对录音、人脸等数据的接受程度不一样,有些事情法律上可能没有问题,但在当地的文化环境下也需要更加谨慎。
另外,数据后续怎么使用也很重要。数据来源是否清晰、授权范围是什么、后续能不能继续加工或者转授权,这些问题都需要提前约定清楚。现在客户对数据来源和授权链条也越来越关注。
所以对数据服务公司来说,合规不能只放在项目最后去检查,而是要从一开始就融入整个项目流程里。这些经验积累下来,也会逐渐成为海外业务能力的一部分。
免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。


