其他
Vol.14 不是 OpenAI 选对了路，是那条路反选了 OpenAI
卷首语
本来已经是半退休状态在家带娃，最近开搞 AI，又要讲课又要做产品，越来越忙不过来。
本来每天会陪宝宝写作业（嗯……幼儿园居然有作业），最近一半交给了阿姨，我自己躲在书房干活儿。宝宝会跑过来问我在干嘛，跟他解释说爸爸也在写作业，他就很好奇为啥我作业这么多、总在做啊做啊做。
想了想，和他说，爸爸其实很开心有这么多作业可以做。
一是因为这些东西我都很喜欢，学的时候很开心，做作业的时候也很开心；
二是因为做这些作业可能还可以赚钱钱，可以用来买更多的玩具玩。又好玩，又能赚钱，是不是很有意思啊？宝宝听完不停点头”嗯嗯嗯嗯“：）
说着说着，确实发现，自己的时间 90% 都花在自己觉得有意思的事情上，何其幸运。
希望大家也都幸运、开心呀~
老样子，这周还是和徐文浩一起分享四篇文章~
OpenAI 路上看到的希望小火苗：和鸡汤文不一样，OpenAI 并不是一开始就想清楚然后在黑暗中坚持了这么多年，而是一路上被实验反馈的小火花，一步步引到了正确的道路上。与其说是他们选了路，不如说是路把他们拉了过去。
游戏开发和AI开发的有趣之处：“大模型”的开发很像游戏开发，都是面向未知来创新创造，而不是面向已知来完成任务。这种探索新世界、新航道的感觉，才是吸引最好的人才前赴后继扑进去的最根本原因吧。
AI 和工作岗位的爱恨纠缠：AI 到底会消灭工作还是创造工作？看不同阶段的历史，把 AI 类比成不同的科技，就能得到不同的叙事和论断。但回归经济学就很清晰——看生产力和需求哪个涨得快。
幕末和AI时代的殊途同归：千年未有的大变局，到底哪条路是对的呢？程序员是不是”最后的武士“？我们亲手创造的未来世界，还有没有我们的位置？
——任鑫
1
AI BUSINESS
OpenAI 路上看到的希望小火苗
听 OpenAI 创始人自己讲故事，最大的好处是祛魅。
成功学故事里，OpenAI 的成功主要来自于对问题的深度认知（一开始就想清楚了），以及基于这种认知产生的长期坚持（一点曙光也没有仍然死咬这条路不放松）。这种归因其实有毒，很容易让人忽略现实反馈，执着于自己的妄念。而有毒的归因最能传播，一是因为满足了大家的英雄故事情节幻想，二是给人的“我也可以”的感觉较强。
谈梦想，说坚持，好像大家都觉得自己可以。展开看看 Transformer 架构和 RLHF 流程，100 个人里就有 99 个说头晕了。其实商业故事和霸总小说很像，霸总小说告诉小姑娘“虽然你不好看、没本事、也不愿意学习，可是你可爱和善良，所以霸总会爱上你”，商业故事告诉你”虽然你选错了市场、自己又没本事，迭代学习还慢，可是你认知有深度看得准、而且你勇于坚持不放弃，所以老天会眷顾你“。把客观条件（比如身材样貌，比如财富，比如技术），偷换成主观评价指标（比如认知，比如勇敢，比如善良），才方便让普通人产生幻觉泡泡。
OpenAI 并不是这种故事线。一方面，启程时他们并不确定哪条路会管用，有大量宽泛的尝试；另一方面，其实是一路上希望的小火苗把他们逐步引导到了正确的路上，而不是一开始就设计好要怎么走。
最有意思的一个小火花（Greg 在 TED 演讲里也说过），是 2017 年他们做的 Unsupervised Sentiment Neuron 项目。这个项目名不见经传，但却让他们看到了未来巨大的可能性（生成模型涌现其他能力）。那个模型是用来预测亚马逊产品评论下一个字，所以如果它能精确预估下一个名词、动词、标点符号，都没什么神奇的。神奇的是，这个“预测下一个字”的模型，居然可以精确判断评论的情绪（正面还是负面）。语义理解的能力，居然从语法规则中涌现了，这其实就是一个“这条路有希望“的小火花。
更搞笑的是，2018 年他们做的玩 Dota 2 的人工智能，打败了世界冠军。那是第一个真正的缩放系统，放更多算力进去，效果就越好。外面看起来都觉得他们在验证缩放假说，但他们自己其实是很想去试别的路，这边不停丢算力进去只是为了赶紧把潜力上限给测出来好去干别的……直到他们被证据拖到这条路上。与其说是他们选了路，不如说是路把他们拉了过去。这时，反倒是”愿意改变“才是成功的原因。按照 Greg 的说法是：愿意更新自己的想法，愿意转向，愿意改变，愿意对展现在面前的证据做出反应——从技术角度看，这非常非常重要。
延伸阅读
2
GAME vs MODEL
游戏开发和 AI 开发的有趣之处
虽然同样都是做软件开发，但是游戏开发和软件开发其实差别很大。
最大的一点，是「游戏」在立项的时候，其实并不知道到底要开发一个什么样的东西。甚至在开发进入到后期，也不一定能够确保最终的成品会收到市场欢迎。
这是因为，对于「游戏」评价好坏以及商业上成功的“好玩”这一点并不容易判断。而传统的软件开发则相对是否有用要明确很多。特别是到了互联网时代，大家都是从免费的MVP起步一步步迭代，在这个过程中可以获得大量的外部反馈。
但是“游戏”并不能这么做，需要打磨成一个完整的成品才能吸引到用户。
从这个视角看，“大模型”的开发也很像游戏开发。在实际的模型训练出来之前，谁也不知道到底模型有多厉害。甚至是交付到市场之后，还会被用户挖掘出模型的能力。
所以对于大模型开发者来说，也有很多和游戏开发类似的套路。
比如，应该搭建一系列的工具链来提升效率。游戏开发的时候往往会创建各种内部工具，比如地图编辑器这样的场景设计工具，而大模型一样，需要搭建数据标注工具和模型评估的工具。
再比如，游戏开发的时候，会根据不同阶段需要不同规模的团队。一开始设计玩法的时候往往只有几个人，而最后打磨成品的时候需要上千人的外包团队来做各种美术工作。而大模型也是一样的，模型开发需要的人并不多，但是最终发布应用的时候需要的工程团队，以及外包的数据标注团队就需要很多人。
尽管从项目的可控性上来说，游戏开发和大模型开发其实都让人心生畏惧。但是似乎完全阻止不了大量优秀的开发人员去干这两件事情，事实上很多开发者都是用爱发电的。这个在游戏开发领域要比AI更加显著。
想了一下，这个核心原因就在于整个开发过程的“未知”。所以也许这两个领域吸引的不是最好的工程师，但是一定是一大批有好奇心，愿意拥抱不确定性的工程师。
比如传统的应用开发领域，即使是用了各种深度学习、大数据的事情，就我自己都已经完全干疲了。因为项目开始的第一天，就知道到底要干什么、怎么干，几近于无聊的大脑体力劳动。但是开始研究大模型的时候，尽管能不能做出一点结果都不知道，但是还是会觉得“有趣”，愿意自带干粮投入。
如果从这个视角来看，搭建大语言模型的研发团队，好奇心反而变成了最重要的角色特质。
3
WORK
AI 和工作岗位的爱恨纠缠
🔗 AI在什么时候会取代你的工作？
最主要的观点是：AI 和工作岗位的关系，其实取决于那个时间点的供需关系。举例来说，如果 AI 将生产提效 2 倍，但因为价格下降（或者质量上升）导致需求变成 4 倍，那么创造的岗位会超过消灭的岗位。但反过来，如果 AI 提效 2 倍，但需求只增加 20%，那么岗位就会减少。
不幸的是，AI 提效的曲线看起来是永无止境的，而人类需求曲线有天花板，所以哪怕在初期看起来行业提效创造了更多岗位。慢慢的，随着需求曲线达到边际（消费者只有这么多胃口和时间），而生产力进一步提高，终会使得技术进步消灭的岗位超过创造的岗位。
而在非”岗位“的领域，比如做抖音红人，做 Youtuber，面临的情况也类似。虽然不存在”失业“，但随着技术发展，生产效率提高，供给内容数量和质量都会大幅度提升，而需求并不会增加多少（一共只有这么点人这么点时间），最后只有头部能够盆满钵满，长尾个体也很难创造经济效益。
更糟的是，哪怕是在哪些看起来”离不开人“的领域，我们设计流程的时候也会越来越以 AI 为中心，然后让人类承担查漏补缺的不重要的工作。比如仓库分拣传输，肯定都是机器人来做，人只负责解决那些出错的情况，感觉上人类是专门帮机器人擦屁股的存在，而并非劳动的主体。
4
AI BUSINESS
幕末和 AI 时代的殊途同归
于是花了很多时间在维基百科上看了一遍所有的相关词条、看了听了能够找到的视频和播客，发现幕末的确是一个很特别的时代。幕末和明治维新，差不多夹在我国从鸦片战争到甲午战争的中间，对于中日两国来说，都属于是“千年未有之大变局”。这样混乱的变革年代，带来的结果就是怀揣相同理想的人，互相之间要杀来杀去。
🔗https://baike.baidu.com/item/%E8%90%A8%E9%95%BF%E5%90%8C%E7%9B%9F/10652300
第一次长州征伐，萨摩还在打长州藩。结果没过几年两边就结成了萨长同盟去揍幕府。然后维新成功之后，西乡隆盛又要集结下级武士在鹿儿岛和新政府军打一场西南战争。
同样吊诡的就在于，倒幕成功的“维新志士”们，却成了维新最大的受害者。当下级武士组成的“维新志士”们推到了幕府之后，却发现第一个受害者就是被取消了特权的自己，最后连饭都吃不上。
但是无论是“尊王攘夷”，还是“佐幕”，或者是“倒幕开国”，不同的路线最终又得到一个共同的结论就是要开国，学习西方。
🔗 https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
最近时代的AI，和这个感觉也很像。当然，不至于互相之间杀来杀去，用“天诛”物理消灭对方。
但是尽管不同公司对于AI的判断不一样，大模型做还是要做的。比如开源大家用的最多的LLaMa不就是觉得ChatGPT没啥了不起，算不上通用人工智能的Lecun老师领导的Facebook推出来的么？“虽然我觉得大模型没啥了不起，但是我也是要做的。”
而且，目前看起来生产力提升的数量级最大的，就在写代码上了。过去一周，就有 CodeGen2，ReplitLM 和 StarCoder 三个开源模型上线了。感觉程序员就是AI时代的“最后的武士”，除了少数人能在新政府占据一席之地，大部分只能和西乡去鹿儿岛造反了。
待办清单
直播预约
加入社群
长按图片扫码，加入知识星球
全平台搜索关注
商务合作：公众号菜单栏 - 联系我