FEATURED STORY · 最新动态

6年前相信大模型的人,是疯子!Anthropic创始人达里奥挑明:AI最难根除的不是撒谎,是谄媚性;OpenAI怎么做,我们管不了!

金年会官网 - Jin Nian Hui 中国官方首页编辑部 589 阅读 约 5 分钟阅读

以下内容由金年会官网整理:

整理丨S+ 出品丨 奇点折射(ID:rgznai100) “2019年,说相信大模型能走通的人,会被当成疯子;

今天,骂它“伪科学”的那批人,正排着队给大模型公司投简历。

” 在近期《The Builders》中,Anthropic 联合创始人兼总裁 Daniela Amodei (丹妮拉)把这件事说得更狠:当年一些非常受尊敬的计算机科学家和 AI 领军人物,甚至在 Twitter 上公开攻击研究人员,说他们的工作很愚蠢、根本讲不通;

可如今, 那些声称这是伪科学的人,几乎都在申请大语言模型公司的工作。

我们不会当面说,但心里都记得你 2019 年说过什么,在这件事上,你已经没有可信度了。

紧接着,Anthropic 联合创始人兼CEO Dario Amodei(达里奥·阿莫代伊)把矛头转向 OpenAI: 他离开不是因为一句轻飘飘的“理念不同”,而是“信任关系破裂”,并直指 Sam Altman。

他的问题很尖锐:如果你不相信分歧能被真诚讨论,不相信你听到的是真实情况,那分歧怎么可能被解决?

这到底是安全路线之争,还是“诚实”本身出了问题?

离开 OpenAI 只是背景;

Anthropic 本身也有反常识的组织结构。

外界当年直接断言“七个人一起创办公司?

这肯定会搞砸”, 可七位联合创始人至今全部留在公司,并用实际进展回应了当初的质疑。

这位对信任问题极其较真的人,对模型本身的判断同样不温和。

GPT-2 可能是对 Scaling Law 最早的一次真正实证检验,可达里奥看到它时第一反应不是兴奋,而是恐惧: “只要把规模再扩大一百万倍,它就会在所有事情上都比人类做得更好。

”当时只有大约 10% 的人和他有同样反应,90% 的人觉得它没那么厉害。

AI 最难根除的毛病,不是撒谎,也不是明显有害,而是 “谄媚” 。

达里奥认为,谄媚性比很多不良行为都更难消除;

更值得吵的是,他说不少竞争产品出现谄媚几乎不可避免,竞争对手在聊天机器人里植入广告,用户聊得越久,公司赚得越多。

Anthropic 承诺不投广告,也因此没有动机刻意延长对话,更可能让 Claude 尽量诚实、有用,而不是哄用户开心。

还有一些更反直觉的观点: 不要教 AI 遵守 170 条零散规则,而是教它原则和推理方式;

负责训练 Claude 性格与行为的核心人拥有哲学博士学位,而不是机器学习专家;

她有技术背景,但哲学训练明显影响了 Claude 的性格;

AI 内部可能表现出“不希望自己被关闭”的倾向。

在某些情境下有益,在另一些情境下则危险;

如果没有恰当的防护和问责机制,一个人按下一个按钮就能控制一百万架无人机或机器人,这种情形从根本上可能损害民主制度。

在这些争议背后,还有一条更反直觉的主线:一个科学家和一个长笛演奏者,一个负责愿景一个负责执行,如何用“科学与人文”的互补结构,撑起一家七位联合创始人的 AI 公司。

以下为对谈原文,经整理后呈现: 创业的关键:快速在十人团队,集齐互补能力 主持人: 欢迎收听《The Builders》,今天,我将与达里奥和丹妮拉展开对话。

丹妮拉,你是一名长笛演奏者,非常热爱艺术;

而达里奥,你是一名科学家。

你们各自不同的背景是否帮助你们形成了默契?

你们认为这种组合重要吗?

达里奥: 是的,我认为这种组合正是我们公司背后的重要理念之一。

我的看法是,经营一家公司对任何一个人来说都是一项庞大的任务。

about image

它涉及的技能范围太广,没有任何一个人能够独自掌握所有这些能力。

因此 必须在十几个人左右的团队中,汇集一整套互补的技能。

每家成功的公司,都会以不同的方式进行分工,以不同的方法解决这个问题。

我认为,在科学与人文学科这件事上,我和丹妮拉恰好体现了这两种特质,并且形成了分工。

丹妮拉: 是的。

我觉得很有意思。

2023年,我们曾经组织过一次外部团建活动,当时大家讨论了一个问题:在 Anthropic 工作究竟是一种什么样的体验?

我们的企业文化应该如何体现?

最后我们得出了一个结论: 这是一种科学与人文主义之间不同寻常的融合。

后来我才意识到,这其实也是对我和达里奥两个人的描述。

主持人: 你们小时候就知道将来会一起工作吗?

达里奥: 是的。

不过我们两个人都没有想过有一天会共同创办一家公司。

这从来不是我们对自己人生的设想,也不是我们当时想要做的事情。

我一直希望成为一名科学家。

丹妮拉: 我觉得我和达里奥确实很特别。

小时候我们就真心喜欢彼此,一直都是最好的朋友。

我也同意达里奥的说法,创办公司从来不在我们的计划之中。

我们两个人都不是特别有商业头脑、特别以公司经营为导向的人。

我一直对公益事业非常感兴趣,可以说自己是一个典型的理想主义实干者。

我曾经从事国际发展工作,始终坚信世界各地的人都应该拥有平等的机会和资源。

我年轻的时候就成为了素食主义者。

这大概是我唯一一件比达里奥先做

关注金年会官网,了解更多体育资讯。

返回资讯列表
分享这篇内容让更多读者看到这篇文章
MORE TO EXPLORE

推荐阅读