.:. 草榴社區 » 技術討論區 » 孙立平:OpenAi那里发生了什么?我这样理解对不对?
本頁主題: 孙立平:OpenAi那里发生了什么?我这样理解对不对?字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
弦月妖姬


級別:聖騎士 ( 11 )
發帖:1547
威望:784 點
金錢:18282 USD
貢獻:45 點
註冊:2007-12-25

孙立平:OpenAi那里发生了什么?我这样理解对不对?

让我们从一个极其极其极其重要的差别说起:


AlphaGo是第一个击败人类职业围棋选手、第一个战胜围棋世界冠军的人工智能机器人。这标志着人工智能的一个新的飞跃。


这种飞跃是一种进行时,中间可能会有某些质的变化。我们现在遭遇的可能就是这个。


在最初的阶段,机器人能够像人一样进行分析、判断和简单的推理,或者说是像人类一样进行思维。对手的这步棋是什么意思?下一步或其后的若干步会怎么下?我如何来进行应对?因为其具有超强的计算能力,因而可以战胜人类对手。


但到了某一天,这个机器人不但能够像人一样进行思维,而且已经有了意识,自主的意识,事情就不一样了。比如说,有一次,你派它去参加比赛,恰好它这天不高兴,或者对你有意见,它会想:孙子(老北京口语中读sūn·zei,zei 读去声),凭什么让老子代表你去比赛,我就输给你看。

​注意,这时候,一个我前面强调了三遍极其重要的变化发生了。变化在什么地方呢?就是前者只是具备了思维的能力,就是前面说的对事情进行分析、判断、推理甚至选择的能力。


而后者不一样了。它这时候有了自主的意识,甚至有了自己的情绪。它想的东西可能和你不一样了。差别在于什么地方?就在于,它原来只是指令的执行者,你是指令的发出者,它只不过更好地执行你的指令而已。而现在,它有了自己的自主意识,它本身成了指令的发出者,当然同时也是执行者。


这就是主体性,或者是人们所说的硅基生命。


如果,它具有相应的行动能力,事情就更麻烦了。它不断给你输棋,然后你试图控制它,比如人们通常所说的拔掉电源,但它因为有了相应的行动能力,说不定会反过来把你胖揍一顿,甚至把你昨天晚上有什么丑事,你说了谁的坏话,给你公之于众。


这是什么?就是失控。意识或主体性发展的进一步结果,就是失控。不是一般性的失控,而是可能给你造成灾难性结果的失控。


明白了这种差异,也就可以明白现在OpenAi那里可能发生了什么。不是明白,是猜测,因为很多信息我们不知道,也无法知道。希望比我内行的朋友不要在细节上和我较真儿,作为一个已经退休兼拍照和吆喝茶叶的文科老头,我理解到这一步,已经凑合且不容易了。

​但我想,到现在,我们可能已经接近问题的实质了。


有人猜测,最近在OpenAi那里可能确实发生了什么,这个什么指非常要命的东西。关键是下一代的GPT模型。稍为具体一点说,有人猜测,可能有人,即主张解雇奥特曼的人,在正在训练的GPT5上看到了什么,看到了什么可怕的东西。


进一步的线索是,奥特曼在11月16日的APEC峰会上开玩笑说,他相信重大的进展就在眼前,“在OpenAI的历史上,已经有四次(重大进展)了,当我们把无知的面纱解开,把探索的前沿向前推进时,能够做到这一点是我一生的职业荣誉。”


于是,就有了加速主义与超级对齐的分歧,而人事风波,就是这种分歧的外化。


超级对齐的理念,用Ilya的表达就是,现在的当务之急,不是构建下一个GPT或DALL-E,而是找出如何阻止AI失控的方法。要保障解决失控的办法走在失控的前面,至少不要落在后面。今年年初,马斯克和数千名人工智能技术领袖共同签署了一封公开信,要求OpenAI立即停止下一代GPT模型的训练,他们担心的也是这个。


而加速主义则以奥特曼为代表的,其理由是,现在还是发展的问题,还没到把更多精力放到优先研发监控技术的时候。不仅如此,有些业内人士猜测,OpenAi可能已经了到了面临某种危险突破的时刻。


孰是孰非?作为一个外行,我完全没有能力做出判断,只能期待内行人士进一步的讨论。其实,现在就是内行人,如果不在那个小圈子内部,可能也是云里雾里,因为没有足够的信息可以确认,那里究竟发生了什么?这里我只想说一个我能够理解的层面的问题:我们抱着一种什么样的态度来理解这件事情。


OpenAi人事风波发生之后,媒体上有许多报道。其中的一些题目,充斥着宫斗、权斗、阴谋这样的字眼。一句话,是一出利益和权斗的狗血剧。我最早看到这个新闻的时候,脑子里的第一反应也是,利益矛盾?股权纠纷?权力斗争?毕竟,现在已经到了利益近在咫尺的时候了。


但现在看,真不是,至少不完全是。这件事情,往小里说,涉及的是企业发展的理念之争,往大里说,是关涉人类命运的伦理与道义问题。别抱着把什么事情都狗血化的态度来看待这件事情好吗?世界上的人不都是像你一样猥琐。


科学技术的进步,往往源于三个方面的推力,即商业利益、个人成就感和社会关怀。但这些都有可能被滥用。其实,这篇文章本来的题目是,《世界不完全是利益与权术,还有情怀、格局与牛X,比所有这一切更重要的是人类的命运》。


AGI,可能是人类历史上最重要的突破,也是决定人类命运的关键突破。危险来自两个方面,或被坏人有意利用,或被其他人无意滥用。因此,多一份小心没有坏处。没有它,我们还凑合能活;有了它,如果被滥用,结果会是什么?我们不得而知。


最后发一个免责声明:本文不接受任何批评。为什么?因为和一个外行的退休老头较劲,一开始就是你的错。

赞(42)
DMCA / ABUSE REPORT | TOP Posted: 11-27 13:38 發表評論
.:. 草榴社區 » 技術討論區

電腦版 手機版 客戶端 DMCA
用時 0.01(s) x3, 11-19 06:21