- 作者:老汪软件技巧
- 发表时间:2024-08-24 17:05
- 浏览量:
原文:/p/715607861
导读
本文作者深刻反思了自己在这两年来从事大语言模型(LLM)工作中的感悟,由衷地分享了技术由于变革带来的冲击,同时也充分肯定了 LLM 在提升个人生产力和改变工作方式方面的巨大潜力。作者以生动的例子说明了在这个快速发展的技术时代,每个人都被拉到了同一起跑线,并鼓励同行抓住这一难得的学习和提升自我的机会。本文不仅适合正在探索LLM的技术人员阅读,也能为广泛的从业者带来启发和思考,希望能为大家带来一点小小的触动。
开篇
我个人对 llm 是一种很复杂的态度。毕竟,它真的击碎了我 2023 年之前所有的技术积累,以前在 nlp 苦心钻研的训练经验、模型结构、不同任务类型的不同处理技巧,好像在 ChatGPT 面前显得一文不值。
不过,事情都有两面性。与我的技术一起被击碎的,还有我那一潭死水的工作内容。我不再是特征工程师 —— “花了几个月的时间,就只为了构造某个能力的数据特征,然后想办法加入到模型网络中”。当领导又想让模型有一个新的能力怎么办,重复这个特征构造的过程,下一个季度的 OKR 也就制定完毕了。我一点都不认为这样的工作节奏能带给我自己、带给我的公司任何有意义的内容。
因此,作为一个曾经研究对话系统的 nlp 码农,即使我过去的知识和工作经验极速贬值,我也认可 llm:认可它提高了程序员 code 的效率,认可它创造了新的研究范式,认可它给我的工作内容注入新的活力,认可它掀起了全民狂欢的技术浪潮!
llm 是生产力工具
不管有多少人抨击 ChatGPT 的技术路线,也不管 ChatGPT 未来会不会真的取代我程序员的工作,一个毋庸置疑的事实是:ChatGPT 是当今不可或缺的强大生产力工具。
不会前端的我敢答应领导说我会给个简单 demo,而不是像以前那样说“我不确定 Django 能不能做这个“;没学过 go 语言的我敢直接写用于上线的代码;记不住的正则命令我不需要再搜了;学不会的 pandas 终于不用再学了;shell 语言的冷门命令也能信手拈来了——这些都是 ChatGPT 带给我的自信。
不仅是程序员,只要是文本领域,ChatGPT 就都已经改变了工作方式。它写出的新闻稿、小说不能用?那就让他写十篇你选一篇,或者是让它写个大纲自己再修改下。也许模型在创作任务的效果永远超不过人,但架不住模型可以批量生产、以量取胜啊。
在我眼里,不承认 ChatGPT 效果的人只有一种:极度的懒人,只接受它给你一个百分之百的可用方案!明明模型已经帮我们做了 90% 的工作了,已经十分接近最终成果,我们只需要再加上自己的筛选或简单修改,就可以完工了,难道就因为这 10% 的工作不想自己亲手做,所以选择自己从零开始做吗?我实在难以理解这种行为。
卖 ChatGPT 账号的、调戏 ChatGPT 然后做成视频的、使用 ChatGPT 生图的、利用 ChatGPT 大量生产文章的……很多人已经赚到了钱,不会用 ChatGPT 提高生产效率的,真的会最先被淘汰!
llm 把所有人拉到了同一起跑线
2023 年之前,没有几个人用过 megatron、deepspeed,没有几个人研究过 DPO、PPO、MOE,没有几个人知道 reward_model 怎么训,也没有几个方向的数据 piepeline 是需要花大价钱清洗才能运转的,就连“sft 数据要追求质量而不是数量”也是过了半年才达成共识的。在这个新的技术范式之下,我一个新人可以和工作十年的 nlp 组长进行激烈辩论,我一个小白可以告知苏剑林这样的大佬我对 rope 的认知和实验结果。
去年,我最喜欢说的一句话就是:“都是2023年开始学的,谁又能比谁能强多少呢?”。今年这句话依然生效,只不过同时我也意识到了,2023年已经在逐渐远去,凭借着天赋、财力、努力,deepseek 与 qwen2 团队的同学很明显已经开始和我们拉开距离了。每个 llm 的从业者都要有比去年更大的忧患意识:好不容易回到同一起跑线,怎么能这么轻易再次被拉开?
我们的公司可以做不过 deepseek,但是我们要努力让自己的认知和能力不要被他们甩开太远!
llm 带来了黄金的技术时代
公司愿意花钱去买卡租卡来让我实践学习,领导看见我工作时间读论文会感到满意,同事之间每天都在讨论新的 idea 或者是 Meta / OpenAI / Google 的新技术报告。我不得不说,这样的工作氛围,在 ChatGPT 出现之前,我从来没有遇到过。
可惜的是,如今大部分的公司开始拥抱应用,琐碎杂活再次多起来了。因此,如果真的感觉工作太忙有些力不从心,我从一个打工人的视角出发,真的建议大家可以利用周末多学学习跑跑实验。想一下吧,公司租着 4W / 月(1机8卡,粗略估计)的机器,来培养我们的认知,我想不到比这两年更适合提升自我技术的时机啦。
这种黄金时代在“人均只有十年的程序员生涯”中,应该是很难再有了!
llm 是泡沫?
回归正题,llm 会是一场泡沫吗?我不太理解这个问题为什么会被反复拿出来提问。这个答案对我们程序员来说真的重要吗?它是不是泡沫又能怎么样呢?毕竟,我既不在乎 AIGC 会通往何方,也不在乎 llm 是不是一条正确的技术路线,我只想在这场 llm 浪潮中,向我的组长、领导、未来的面试官证明一件事:我愿意去研究最新的技术方向,我有能力去复现最新的技术成果,仅此而已!
当 Google 再提出一个新的技术范式,难道各大公司会因为曾经研究过 llm 就不愿意招我们了吗?他们一定还是会选择“ llm 工作做的最好的那群人”,来组建新的研究团队去跟随新的前沿技术。
所以,llm 是泡沫吗?这是企业家们考虑的问题吧,程序员无需多想,我们只需享受这场技术革新的盛宴。
写在最后
我想再额外分享一个观点:在 llm 这个赛道,真的没必要羡慕别人的工作,做好自己的工作即可。
举个例子,文本工作的同学天天在想:
图像工作的同学则天天在想:
说实话,没必要抱怨自己的工作内容,我们有卡用,我们就领先了大多数的同行。即使是当下最具含金量的“pretrain / scaling law”工作,未来也可能在求职时一文不值,毕竟难道曾经有公司招 nlp 方向的人要求会训出一个 BERT 吗?以应用为导向会是 llm 的必由之路。
在这场 AIGC 的浪潮下,工作没有高下之分,眼下的工作大概率都会像 BERT 一样成为时代的眼泪。我们只需要做好当下,培养自己鉴别论文价值的能力、复现开源项目的能力、debug 代码的能力,坐等真正的“AIGC”出现即可。
最后,对于没卡的同学,我这里还是建议多去找实习,读再多的论文,刷再多的技术文章,也不如一次 debug 多机通讯报错带来的认知深刻~~~