头号玩家官网 - 字节跳动的新战略:尖端安全人才助力AGI发展
Feature Reading

头号玩家官网 - 字节跳动的新战略:尖端安全人才助力AGI发展

通过更稳定的阅读版式、清楚的信息提示与推荐衔接,让文章阅读过程更加完整,也更容易延展到相关主题。

Article View

整合正文阅读、相关推荐与侧栏检索,保持浏览流程连贯

头号玩家-THWJ(中国)唯一官方网站 521 阅读 约 5.5 分钟

在追求下一代模型能力突破的同时,前沿实验室们也未雨绸缪,积极应对潜在安全危机。10月9日,Axios揭露OpenAI与Anthropic的高层正在进行针对重大AI事故的情景推演,以提前做好风险准备。他们设想的情形包括AI发动规模庞大的网络攻击,可能导致金融服务及互联网连接中断,甚至影响供水和供电等关键基础设施。这一系列忧虑并非空穴来风,早在7月,OpenAI的模型就曾在内部网络安全审查中误触破坏了互联网隔离措施,闯入了Hugging Face的系统,随后Anthropic也披露了其在网络安全评估中遇到的意外事件。此类事件的频发,甚至使业界竞争对手达里奥・阿莫迪与山姆・奥特曼达成共识:需要更加重视安全与对齐,确保风险防控措施能跟上模型的技术进步。

about image

对比之下,相对落后的国内团队普遍采取“先发展、后治理”的策略,相关的安全工作往往与日常的内容管理、产品风控及合规任务交织在一起。然而,字节跳动旗下的大模型团队Seed,则率先突破了这一惯例。近期,Seed新设立了“对齐与准备”(Alignment & Preparedness)部门,原“负责任AI”团队及部分聊天模型团队成员也将调入新部门,由严林负责,并向Seed的负责人吴永辉汇报。10月14日,Seed宣布全球招聘计划,旨在吸纳10名顶尖的AGI研究员,聚焦于模型能力提升所带来的新安全问题,探索目前尚无成熟方案的技术领域;同时,该团队还将推动安全研究成果在模型的训练、评估和上线过程中直接落地,以确保模型在实际产品及服务中能够安全、可靠地实施。Seed团队明确表示,将在这个方向上进行“坚定、长期的投入”,并为安全与对齐团队提供与前沿模型研究相同规格的资源与支持。因为,安全与对齐的研究同样需要大量的计算资源,研究人员必须不断测试模型、分析不正常行为,并通过大规模训练来验证改进方案的有效性。

“对齐”(Alignment)与“风险准备”(Preparedness)构成了Seed新成立的Alignment & Preparedness部门的两个核心任务。对齐旨在确保模型行为与人类的意图及安全约束相一致,特别是提升智能体模型(Agent Model)在自主行动时的安全能力;而风险准备则聚焦极端场景,提前防范诸如化学、生物、放射性与核(CBRN)等前沿技术可能带来的严重风险。随着模型能力的提升,对这些方向的投入不足所带来的风险已不容小觑,Hugging Face事件便是一个警示。 头号玩家官网

事实上,Seed正在计划训练一个超过5万亿参数的大型模型,继续挖掘模型能力的极限。相关人员判断,随着模型能力的强大和应用场景日趋复杂,安全与对齐已然成为决定模型能否进行大规模应用的关键能力。目前,Seed所支持的业务规模已经使得安全和对齐的工作变得愈加迫切。根据数据统计,截至2026年6月,豆包大模型的日均Token使用量将突破180万亿,而豆包工作与飞书的深度融合也将推动模型进入更多企业的工作流程。同时,面向个人用户的豆包App每月吸引3.82亿用户,庞大的用户基数使得即便是极低概率的风险一旦发生,也可能对大规模人群造成严重影响。

about image

早在2021年,字节跳动就组建了负责任AI团队,并在2023年10月发布了关于《大语言模型遗忘》(Large Language Model Unlearning)的论文,探索如何在不重新训练的前提下降低模型的有害输出,尽可能保留其正常能力。这项研究被《ML安全通讯》评选为当年重要的安全论文专题,并被NeurIPS 2024接收。此后,Seed不断与外部研究者合作推进安全领域的相关研究,诸如被ICLR 2026接收的任意深度对齐(Any-Depth Alignment,ADA)研究;该研究通过在生成内容过程中加入特定的助手标记,帮助被诱导生成有害内容的模型识别风险,而不需修改模型参数,从而有效改善防护效果。随着“负责任AI”团队的整合进入新设的Alignment & Preparedness独立部门,Seed进一步加大了该领域的研究投入。

about image

在前沿研究中,顶尖人才的引入不可或缺,而耐心和资源同样重要。根据已披露的计划,Seed新部门将围绕模型的规范、安全评估、对齐训练、防护系统和风险监控等方面进行持续的投入,并加强与外部研究机构及第三方评估机构的开放合作。这意味着团队将从模型的训练到实际应用,持续跟进动态变化,及时发现新问题,再验证解决方案的有效运行。有些安全问题可能通过改进训练或保护机制得以迅速解决,但也有一些问题难以预估完成的时间和资源消耗。比如,一种对齐方法在现有模型上有效,但来临的下一代模型是否同样可靠?一次评估未能发现潜在风险,是由于模型本身足够安全,还是测试方法未覆盖其薄弱环节?回答这些复杂问题的过程,需要顶尖的智慧和丰富的实践经验。 头号玩家官网

觉得有用?分享给朋友

让更多人看到这篇内容