
发布日期:2024-11-29 12:55 点击次数:145
著作转载于新智元性吧地址
创业一年半后,前大脑高档有计划科学家、Reka首席科学家兼纠合首创东谈主Yi Tay晓示已重返谷歌!
他回到了谷歌DeepMind,回到了他的前司理Quoc Le辖下使命,职位为高档资深有计划科学家,连续从事东谈主工智能和大语言模子(LLM)的有计划。
这是他转头的第一周。
在他创立Reka的1年9个月里,Yi Tay说他履历了极度欢叫东谈主心的时光,并从这段全新的履历中学到了好多。
他还写了一篇博客,共享了他的履历和此次转型——
丝袜美腿图片博客地址:https://www.yitay.net/blog/returning-to-google-deepmind
1
在Reka的639天
在Reka的时光里,Yi Tay学到了好多对于谷歌外部基础范例的学问,包括使用PyTorch、GPU等外部资源。
此外,他还学会了如何应酬不融会的GPU、供应商和臆想资源(关连博客著作见下)。
博客地址:https://www.yitay.net/blog/training-great-llms-entirely-from-ground-zero-in-the-wilderness
他和Reka的首创团队成员一都,以资本最优的形式构建了一些出色的模子。
本年5月,Reka Core的弘扬置身Lmsys的前五名,模子自己名按序七,并告捷卓绝了GPT-4的早期版块。
在资源(资金、算力和东谈主力)远少于其他实践室的情况下,他们得到了这一收货,Yi Tay为此感到十分肆意。
要知谈,他们的期间团队系数不到15东谈主。
在这段日子里性吧地址,Yi Tay也参与了许多期间共享。
包括在WebConf的LLM日作念主题演讲、越南的GenAI峰会、swyx的Latent Space播客节目,以及受TechInAsia邀请进行的一场炉边话语。
与此同期,行动创业者,他学到了许多对于创业、生意和从零运转确立公司的学问。
对他来说,这是一段极为垂危的期间。
就在他离开谷歌运转创业时,得知老婆怀上了他们的第一个孩子。
为了同期处理这样多事情,他的身心健康受到了严重影响,由于高强度的使命和不健康的生活形式,他的体重增多了15公斤。
本年3月,Yi Tay还写了一篇长帖,精采了创业一年并兼任「奶爸」的艰酸心程,并共享了全天24小时的日程。
[下昼3:00] 负责起床。 [下昼3:30] 踉蹒跚跄走到书桌前,查验睡前跑的任务。莫得收到任务挂掉的音问辅导(Clustermon空隙无事),谢天谢地!和老婆、宝宝说声「晨安」。喝杯咖啡郑重。 [下昼4:00] 和另一家公司开线上会议,他们挑升与咱们互助。 [下昼4:30] 边写代码边吃家东谈主帮我买的外卖午餐。欧洲的共事运转上线。 [下昼4:30] 给宝宝洗浴。 [下昼5:00] 回到书桌连续写代码,再来一杯咖啡。 [下昼6:00] 和几位共事临时线上估量期间问题。 [下昼7:00] 调查老婆和宝宝是否一切安好。老婆给宝宝换尿布,我帮衬准备她的晚餐。 [晚上8:00] 再次查验任务,连续写代码。感受Cuda和GPU的横祸。两个任务挂掉了。果真绝了! [晚上9:00] 躺在床上休息良晌,刷X。用匿名小号@agihippo发个辛辣不雅点。 [晚上9:30] 有点困顿地连续写代码,同期在Reka的Slack立时频谈发几条搞笑音问。 [晚上10:00] 吃家里的晚饭。诚然有点凉,但无所谓了。 [晚上10:30] 团队全员同步会议,跨时区的大众都上线了! [晚上11:30] 老婆寝息,我经受哄娃任务。 [午夜12:00] 喂宝宝,让她从头入睡(但愿她此次能睡久少许!) [凌晨1:00] 和@DaniYogatama聊天一个小时。 [凌晨2:00] 查验任务,连续写代码和调试。不成再喝咖啡了:( 亚洲共事们大多下线了,只剩下我和好意思国的共事在Slack上聊天。 [凌晨3:00] 有点饿了,点了一份照烧鸡肉饭外卖。 [凌晨3:30] 喂宝宝!她运转闹腾,不愿入睡。我抱着她走了半小时。 [凌晨4:30] 终于回到书桌前。外卖到了,开吃!边吃边用Reka Flash和Reka Core作念一些测试。又一次感受到「为东谈主父母」的奇妙体验。 [凌晨5:00] 感到困顿和被Bug折磨的挫败感。跑去另一间房,望望宝宝睡得是否幽静。 [凌晨6:00] 回到Slack修起音问,查验任务。又有一个任务挂了☠️☠️,重启任务。 [清晨7:00] 刷X和TikTok,想考要不要寝息。反想东谈主生。再发一条@agihippo的辛辣不雅点。 [清晨7:30] 天运转亮了,我在家里苟且走走,向仍是醒着的家东谈主谈「晨安」。 [清晨8:00] 上床寝息。今天的班收场了。老婆起床接着带宝宝。把宝宝交到她的手中,感到快慰☺️。 [清晨8:30] 手机忘了静音,被音问吵醒,深感困顿,预见还有不到4小时就得起来干涉下昼1点的线下使命会议,倍感压力。 [清晨9:00] 好了,此次是真的寝息了(但愿能睡着)。
不外,Ti Tay仍对这一阶段的履历感到舒服,并以为这是一次可贵的「学术假期」与学习履历。
流程创业的尝试后,他认为我方如故更像又名科学家/有计划员,而不是其他身份,因此他决定转头他的有计划本职,回到谷歌投身有计划。
1
明星联创纷繁卖身大厂
Reka成立于2022年,团队由谷歌和Meta的有计划东谈主员构成。
戒指2023年6月,该公司已告捷筹集5750万好意思元,估值达到3亿好意思元。
然则,本年确切莫得什么紧要进展——惟一值得夺见地是,本年5月,Reka与Snowflake的10亿好意思元收购谈判打破,交游最终流产。
本年,前谷歌职工创办的初创企业确切都在濒临一个冗忙的「极冷」时刻。许多首创东谈主纷繁跳船。
3月,Inflection的CEO Mustafa Suleyman离开公司,转投微软;
6月,Adept的CEO David Luan跳槽到了亚马逊;
8月,Character.AI的CEO Naom Shazeer携总裁Daniel De Freitas集体跑路,重返老东家谷歌;
可见,这一年大众都不好过。
好像你也会忍不住问,初创们的生计为怎样此冗忙?
毕竟,这些出走谷歌的大佬们,基本上在创业前一直都在埋头搞有计划。
谷歌部门更像是「学术有计划机构」,并非蹙迫需要产生现款流,专注有计划是中枢。
而生意化战略,是方案者的事。
一朝外出创业,两种环境所需的妙技迥然相异。
对于学术界的有计划者来说,擅长有计划,经常并不料味着擅长惩处/盘算推算一家公司。
其次,东谈主员亦然一浩劫题。
即使最佳的初创公司,经常也濒临里面芜乱,首创东谈主出现不合的事并不荒废。
再加上,「学者降生」的首创东谈主,可能并不适应企业的惩处结构,增多了冲突的可能性。
此外,AI开采的遍及资本,以及现存公司热烈竞争,这些身分使得这些初创公司,从一运转就濒临冗忙的处境。
况兼,即使是最优秀的AI初创,要是莫得像谷歌、亚马逊、微软等大公司提供财务扶植和云做事,也难以零丁生计。
参考尊府:
https://www.yitay.net/blog/returning-to-google-deepmind