奥特曼称他是爱因斯坦级别的天才;OpenAI 总裁更是直言:
只消他想要的,咱们齐给。
Alec Radford 大神下野 OpenAI,当今牵出更多细节:
改变宇宙的 GPT,简直是在 Jupyter notebook 上降生的。
而他只隆重提供背后的灵感,剩下的由工程师来处置。
(网友:那在 Excel 也不错作念到这极少)
奥特曼高度评价:莫得他应有的知名度。
他在 Jupyter notebooks 上发明了 GPT
在奥特曼帖子底下,更多细节逸闻被扒了出来。
比如事实是,他差点就毁掉了将谈话算作通往 AGI 的谈路。
据这位 OpenAI 职工描述,在 Alec 在任终末一天他们有契机第一次谋面,他向 Alec 策动了坚合手谈话模子背后的原因。
大约在 2017 年,Alec 花了几年时辰来推敲 RNN,关联词领路不大。
于是 Alec 就嗅觉很悲怆,就想着要不要退出 OpenAI。最终他决定休息一个月来改动,从头念念考我方的有贪图。
追念后不久,Ilya 就跟他推选了谷歌前共事的新论文,也便是那篇闻明的Attention is all you Need。
于是乎,他就开动了新的架构尝试,并将其与无监督预考核相结合。
收尾效果相配好,GPT 时期就此开动。
一样还有 CLIP,他曾为此闭关一年来处置筹划机视觉问题,最终才得以推出。CLIP 也成为后续处置 2D 筹划机视觉问题的基础。
不外能培育 GPT、CLIP,亦然少不了 OpenAI 诸君共事对他的全力扶持——
其时他在 Jupyter notebooks 上编写代码,然后就让推敲工程师在那处翻译。赞佩心胜过一切。
OpenAI 总裁 Greg Brockman 曾提到过这位天才:只消他想要的,咱们齐给。
其时是在 2023 年 SXSW 大会上,Greg Brockman 暗示,Alec Radford 对谈话相配感意思意思,一直在推敲奈何构建袖珍聊天机器东谈主。
咱们相配心爱他,是以咱们相配扶持他作念任何他想作念的事情。与此同期,咱们也在投资一些严肃的时势,咱们就想,你知谈,无论亚历克需要什么,咱们齐会确保他取得。
也正因如斯,2017 降生了第一个道理的收尾——一个阐述亚马逊驳倒考核出来的模子,它不错量度下一个变装、下一个变装、下一个字母是什么。实质上,它学会了起头进的情谊分析分类器。你不错给它一个句子,它会说这是正面的照旧负面的。这听起来并不令东谈主印象长远,但便是在这一刻,咱们知谈它一定能得手。"
还有同业们暗示,他的一些主见是统共这个词 AI 领域推敲者们紧要灵感来源。而且他从来也不惜惜地去共享他的时辰和主见。
据这位一又友共享,其时他在学习 ML,在 MNIST 考核一个泛泛的 MLP,收尾遭遇了一个愚蠢的小问题。
然后 Alec 莫得拖拉,又或者是襄助设置这个小问题,而是立即开动教对于 CNN 方面的学问。
奥特曼:爱因斯坦级别的天才
他毕业于富兰克林 · 欧林工程学院(Franklin W. Olin College of Engineering)。
据网友走漏,这是个界限很小、以时势为导向的工程学院。其声誉与 Rose-Hulman 理工学院和 Harvey Mudd College 等学校访佛。
他们的学生在时势方朝上每每有很大的个东谈主摆脱度,并能径直斗争到边远的教训和推敲责任,这与其他院校的推敲生资历不相高下。
随后就加入 OpenAI,一干便是八年。
限度当天,他的论文被引数已超过 19 万。被引量名次前三的论文,离别与 GPT-3、CLIP 和 GPT-2 研讨。
这三篇论文齐为今天的 ChatGPT 打下了紧要基础,实质上,Alec 险些参与了 OpenAI 统共的首要约束。
除了被引量最高的这三篇,从第一代 GPT 到 GPT-4o 的作家名单中,Alec 的名字齐显著在列,而且前两代中齐是第一作家。
Alec 一样算作一作的 CLIP,则是 OpenAI 在多模态阶梯上的紧要后果,以致在统共这个词行业齐极具影响力;同期,Alec 亦然 OpenAI 初代绘制模子 DALL · E 的参与者。
其他模态方面,OpenAI 开源的语音识别系统 Whisper,一作仍然是他。不外,最新的 o1 模子孝顺者列表中如故莫得了 Alec 的名字。
接下来,奥特曼暗示,期待他以零丁斥地者的身份与 OpenAI 互助。
网友:无须博士学位也颖悟大事?
Alec Radford 的资历,牵出来更多推敲层面上的策动。
是不是无须博士学位也颖悟大事了?
Stability AI 独创东谈主回忆,他们我方的博士占比也不高,大约 80 个推敲者 / 工程师中只好 16 个博士。
这么看,博士学位是不是就不是招聘中的必选项了。
但也有合手反对主意,这么以偏概全不免有点夸张和过于浮浅化了。博士学位不单是是一个文凭,更是一个训诫你奈何批判性念念考和系统地处置复杂问题的旅程。
而围绕这些细节,另一个策动的主角是 Jupyter notebook,网友们直呼:是个降生天才主见的场所。
是以新的一年,从开动学习奈何使用 notebook 开动吧。
参考一语气:
[ 1 ] https://x.com/sama/status/1872666383210971560
[ 2 ] https://x.com/Yuchenj_UW/status/1874171107705811285
[ 3 ] https://x.com/ahatamiz1/status/1874228975175950487?s=46&t=R82LqSqpRZuVhcZxqH_Vlw
[ 4 ] https://x.com/priceindex/status/1873134352395051093?s=46&t=R82LqSqpRZuVhcZxqH_Vlw
— 完 —
点这里� � 讲理我,牢记标星哦~
一键三连「共享」、「点赞」和「在看」
科技前沿领路日日重逢 ~