衡宇 发自 更阑向阳

量子位 | 公众号 QbitAI

OpenAI酌量副总裁（安全）翁荔（Lilian Weng），现身国内！

还初次在国内大型举止场面公设备表AI主题演讲。

先简陋先容一下，翁荔是OpenAI华东谈主科学家、ChatGPT的孝顺者之一。

北大毕业后，翁荔在2018年加入OpenAI，其后在GPT-4姿色中主要参与预考研、强化学习&对皆、模子安全等方面的办事。

最知名的Agent公式也由她提议，即：Agent=大模子+追思+主动决策+器具使用。

在今晚的2024Bilibili超等科学晚举止上，翁荔站在舞台上，以《AI安全与“培养”之谈》为主题进行了演讲共享。

演讲并不十分渊博，主要以科普向为主，但深入浅出，先容了AI安全干系千般问题。

她暗意：

AI的安全不单是是酌量者的背负，它需要每一个东谈主的参与。

（以下是翁荔演讲全文，在不改变其应允的基础上略有删减。）

今天先与专家探讨一个既深切又敬爱的话题，「AI 安全」，以及「咱们若何像培养下一代一样，培育出理智又安全的东谈主工智能」。

ChatGPT横空出世以来，AI手艺如同搭乘了高速列车，赶快渗入并影响着咱们。

AI每天都在变化，需要咱们全心指点、教养，确保是更好的服务于东谈主类，同期确保安全。

一个既安全又智能的AI，无异于将为咱们的生计带来诸多裨益。

试想，一个知悉你生计风俗的智能家居系统，能凭证你的需求自动改革室内温度、光泽；或是一个时刻关注你健康情状的AI助手，能为你提领提供量身定制的健康AI。

这不仅能显耀莳植咱们的生计质地，还能开辟新的工作规模，莳植办事后果。

然则，这一切修复在AI安全的基础之上。

正如自动驾驶手艺一样，它能极地面莳植生计便利性，但是一朝出错，后果可能不胜设计。

跟着AI应用日益智化与自主化，若何确保AI的行动允洽东谈主类价值不雅，着实作念到以东谈主为本，成为了AI 安全与对皆酌量等中枢议题。

东谈主类在成长过程中会不绝学习杰出，但也会际遇成长的烦嚣。

相似的，AI可能因为偏见而变得短促，也可能因为对抗性膺惩而被坏心质疑，AI安全和对皆酌量智力使AI成长过程愈加顺利。

让咱们以健康规模为例。

许多疾病酌量的数据时常以男性的群体为主，这可能导致AI在处理女性的健康问题时风险评估不准确。

此外，数据自己也有可能存在偏见。

比如有酌量标明，女性腹黑病症状更容易被归结成躁急等神思问题，而形成会诊遗漏。

因此，咱们需要通过对AI安全和对皆酌量来减少偏见。

AI 学习的基础是数据，数据是它的食品。

要想让AI变得理智可靠，咱们必须确保它养分平衡，也便是提供它各种、全面、正确的数据，匡助它粗略正确地协调这个复杂的宇宙，并减少偏差。

在使用东谈主类象征的数据时，咱们不错依赖于群体聪慧，也便是合并个数据点被多东谈主标注。

挑升旨真谛的是， 1907年的一篇当然科学杂志中的著述，作家跟踪了一场年度博览会上的一个敬爱的有奖竞猜。

博览会上，东谈主们选出一头肥牛，让专家来料想牛的分量，最接近真实数据的东谈主将赢得大额的奖金。

作家发现，「最中间值」时常是最接近真实数据。

这个数预计值也被称为the voice of the people。

在这篇近120年前的科学著述中，作家转头谈：“我合计这个末端比东谈主们预期的更能讲明民主判断着实度。”

这亦然最早提到群体聪慧若何发生作用的科学文献。

而至于若何把高质地标注的数据给AI，则基于东谈主类响应的强化学习（RLHF）起到了关节作用。

在了解RLHF之前，咱们快速了解一下什么是强化学习（RL）。

强化学习是一种机器学习门径，它主要通过赏罚机制来让模子学会完成任务，而不是依靠顺利告诉模子若何去作念这件任务。

假想一下，就好像你考研小狗，淌若小狗作念对了一个动作，比如坐下，你就给他一块骨头饼干；作念错了就不给奖励。

这样，小狗就会因为想吃到更多的饼干而学会若何正确地坐下。

同理，AI也在这种赏罚机制中学习，通过不绝的尝试并得到响应，找到最好的服务政策。

一个早期的酌量标明，强化学习能利用小数东谈主类响应，快速灵验地教养智能体作念复杂的动作，学会若何后空翻。

相似的门径也不错用于考研大谈话模子（LLM）。

当咱们看到针对合并问题的不同AI回复时，咱们不错告诉模子哪一个回复更好、更正确、更允洽东谈主类价值不雅，这样咱们就像家长教养孩子一样，改革AI的学习过程。

此外，咱们还不错使用模子自己当作AI输出质地的评分者。

比如在Antropic发表的《Constitutional AI》中，模子就通过对我方行动的我评价进行校阅；或者在对皆强化学习中，咱们不错制定异常防备的行动规章来告诉AI，何时拒却用户的央求，若何抒发同理心等等。

然后咱们在强化学习的奖励机制中，异常精确地赐与相应的评分奖励。

这个过程中，一个愈加强盛的AI有智力更精确地判断它是否治服了东谈主类的价值不雅和行动准则。

强化学习手艺就像一把钥匙，匡助咱们大开AI高质地学习和发展的大门。

在培养AI更懂咱们的过程中，平凡东谈主也能施展遑急的作用。

在文档写稿上，咱们不错经受两个小手段。

领先，设定防备的配景和扮装想想，像导演为演员准备脚本一样让AI在丰富的情境中，捕捉咱们的意图。

其次，全心挑选关节词，构建逻辑新鲜的文档结构，使文档既好意思不雅又实用。

在视频音乐制作规模，咱们不错通过使用专科术语来指点AI，比如黄金分割构图或和弦进行，将创意篡改为履行。

同期，别忘了情谊的进入，因为这是赋予作品灵魂关节词。

简而言之，通过精采的指导和情怀的融入，咱们不错匡助AI创作出既丰富又敷裕感染力的作品。

在《西纪行》中，孙悟空有紧箍咒敛迹行动，咱们应该给AI模子也戴上了紧箍咒，也便是教养 AI 安全基本准媾和德步履，让其效劳行动法式，以东谈主类利益为先，成为咱们贴心的伙伴，而不是冰冷的机器。

让AI学习基本原则媾和德准则，不错使模子在濒临复杂问题期间骗推理得出正确的论断。

比如在OpenAI最近发表的Open-o1-preview模子中，咱们通过想维链（CoT）推理加强了模子的可靠性，使得模子不错更好地抗拒逃狱膺惩。

膨胀性酌量（scalable oversight）在AI对皆酌量中也异常遑急。

跟着AI模子扩大，需要结合自动化器具和东谈主类监督灵验的行动，确保它朝着正确的场所发展。

在一组公开酌量中，咱们用监督学习考研谈话模子对辘集文本概要进行月旦，比如提供“这个概要异常准确”，或者“这个概要遗落重点”。

比拟对照组，咱们发现存AI匡助的标注员比莫得匡助的能多找出概要中约50%的问题，况且多量参考了模子提供的实质。

总之，给AI设定步履并进行灵验监督，不错莳植它对东谈主们的匡助。

AI的安全不单是是酌量者的背负，它需要每一个东谈主的参与。

以B站为例，这个充满活力的社区辘集了宽广AI喜欢者、创作家，咱们在这里共享简陋、商榷问题，以至监督AI的推崇，共同影响着 AI 的成长。

咱们每个东谈主都应该成为AI的专家长。

AI 手艺是一把双刃剑，它带来的便利和挑战并行，咱们的参与至关遑急。

让咱们联袂培养出一个既理智又认真是AI伙伴。

感谢专家的凝听，但愿今天的共享引发专家对AI安全的景仰兴味，也感谢B站直播这个平台。

让咱们共同为AI的将来孝顺力量，谢谢。

然则，OpenAI在安全这个场所的前进，却一直备受争议。

上周，一则“OpenAI散伙AGI磋磨团队”的音讯传遍全球。

源流是AGI Readiness团队认真东谈主Miles Brundage晓示去职。

他暗意，已在OpenAI完成所有办事，在外部办事将产生更大的影响。

将来他意见在OpenAI以外连接从事该规模酌量办事，并但愿减少偏见。

这不是OpenAI安全方面离开的独逐一个遑急东谈主物。

本年上半年，OpenAI团结创举东谈主、首席科学家Ilya Sutskever去职，他指示的“超等对皆团队”速即散伙。

该团队设立于2023年7月，OpenAI给了它一个办事：

用20%的算力，在将来4年内不休截止超等智能AI的中枢手艺挑战。

Ilya是这样解释我方离开OpenAI的原因的：

制造比东谈主类更理智的机器自己便是一项危机的行状。

已然离开的还有“超等对皆”团队团结认真东谈主、安全垄断Jan Leike——他最终遴荐跳槽到OpenAI最强竞对、Claude背后团队Anthropic，连接超等对皆办事。

去职后，Leike对外爆料，最近几年OpenAI一经不吝里面文化，把“引诱眼球的产物”放在安全准则之前。

现时，翁荔无疑是是最前沿AI实验室的安全总认真东谈主了。

OpenAI的安全之路，又将走向何方？

— 完 —

量子位 QbitAI · 头条号签约

关注咱们开云kaiyun，第一时候获知前沿科技动态