ChatGPT的出现
- 2022年11月底,ChatGPT 上线,引爆 AI 圈 和 科技圈,2023年春节后, 人人都开始关注并讨论这项新技术
- 它是 OpenAI 研发的智能聊天工具, 基于GPT语言模型,模拟人类的对话方式
- 默认只能用文字进行交互,理解多种语言,有一些插件,可用语音,图表等
- 截止现在,ChatGPT热度依旧火热,也已被大众所知晓并普遍使用
什么是ChatGPT
- 是一个预训练的对话式的文本生成AI工具
- 第一个呢是预训练。
- 第二个是对话式的文本生成
- Chat 包括输入端即发出有效提问(Prompt) 和 输出端的智能参考答案
- GPT
- G: Generative, 是一个生成式的模型,可以生成符合语法和语义规则的自然语言的文本, 重点是生成式的模型
- P: Pre-trained,基于大规模的文本数据的预训练, 可以使自己更加的聪明。
- T: Transformer, 使用 Transformer 的架构来有序的处理文本
- GPT不是通过搜索而拼凑答案,而是更像一个大脑
- 当我们提交完问题之后,GPT会基于它预训练好的能力计算出结果
- GPT 是一种语言逻辑推理的大模型也叫 LLM (Large Language Model 大型语言模型)
- 这个模型是一种神经网络,能够读取,并且理解大量的自然语言的文本,能够像人类一样去驾驭这些语言。
- 比如我们可以通过中文去和GPT去进行交流。
GPT 和 AIGC 的关系
- GPT是具有代表性的大型的语言生成模型之一, 是比较优秀的LLM的实现,也是其技术实现的代表之一
- LLM 就是基于大量的训练数据训练的,能够生成高质量的人工语言的神经网络的模型
- AIGC 是由人工算法自动生成文本图片等多种类型的数字内容
- 所以,GPT, LLM, AIGC是紧密相关的
- GPT 是 AIGC 重要的组成之一,AIGC采用大模型的技术来生成高质量的文章和其他的内容
- 通过分析海量的数据,大模型可以自主的去生成文本,实现对AIGC技术的支持
- 三者相互促进,并推动着彼此的发展
ChatGPT的能力
- 通过先给它提供一个庞大的语料库,让模型通过上千亿个参数,对这些文本去进行标记和学习
- 最终构建出一个复杂的预测模型,然后根据这个预测模型去生成我们的数据
- 这种预测的模式跟我们的大脑学习和加工的模式是非常相似的
1 ) 拟人化的能力
- 因为运作模式类似人脑,这也使得GPT能够更加的拟人化, 正是由于它的这种拟人化
- 能够让它可以像真人一样,和我们正常的聊天,回答各种各样的问题,甚至可以理解人的感情
2 )了解全领域的知识
- 我们发现GPT好像所有的知识它都会, 真正的做到了,上知天文下知地理
- 我们可以向它来提问各个领域的知识,比如让他帮我们写代码和我们写文档等等。
- 随着它的模型的迭代,参数的变化,GPT对于整个世界的认知,也将会发生质变
- 和之前传统的预测模型不一样,它不再是单纯的去记录预训练的这些信息。
- 同时还会基于预训练的信息去提炼成知识,可以说他有了超越认知的创造力。
3 )会表达,具有中立,客观,安全的语言表达能力
- 同时GPT有中立客观安全的语言表达能力, 当我们询问问题的时候, GPT的回答往往是比较准确和客观的,而且非常具备条理性。
- 随着GPT的发展,对于一些涉及到不良影响的问题,GPT是拒绝回答的,也就是具备中立和客观的表达的能力。
4 )具备复杂的推理能力,可根据上下文语义自行推理
- GPT具备复杂的推理能力, GPT3之后的模型泛化出了思维链的能力
- 这个能力是模型涌现出新能力的关键机制,可以根据上下文的语义去进行自行推理
5 )接受身份设定,可以告诉它是谁,特长是什么
- GPT接受身份设定的能力,可以不停的告诉GPT它是谁?它的特长是什么?
- 然后GPT就可以根据我们的设定和提示来帮助我们解决问题
- GBT它的这些能力都是以海量的知识和数据作为基础的。
- 简单点来说,就是将所有的语料送进大语言模型当中,然后让他去预测下一个词汇是什么
- 与传统的语言模型不同的点在于GPT接收到的语料数据是极其庞大的
GPT训练数据的演变
OpenAI | 学习资料 | 参数量 |
---|---|---|
GPT1 | 5GB | 1.17亿 |
GPT2 | 40GB | 15亿 |
ChatGPT | 45TB+ | 1750亿+ |
- 从始至终语言模型,它的训练机制都没有变化, 变的只是模型的量级,俗话说量变引起质变
- 相较于传统的语言模型呢,GPT就是一个量变引起质变的一个结果
生成大预言模型的过程
- 第一步是预训练为语言模型灌输知识
- 第二步是通过模板规范,也就是将人工标注好的这些范例输入到语言模型当中
- 第三步是创意引导,对GPT生成的结果去进行打标签
- 基于超大规模的数据,经过这三个步骤造就了今天最强的语言模型ChatGPT
类GPT类的产品对当今工作的替代性
1 )容易被GPT取代的工作场景
- 客服代表,电话销售
- 语言翻译员,文字工作者
- 基础数据分析师
- 普通程序员
- 普通助理等水平一般的工作人员
2 ) 不容易被GPT替代的工作场景
- 需要判断和决策工作,通过复杂的分析和判断来做出决策的工作
- 需要创造力和想象力的工作,如艺术家,作家
- 人际交往和情感互动的工作,如心理治疗师, 临床医生,教育工作者
对GPT这类AI产品的认识
- 类似汽车出现代替了马车, AI 不是新事物,很早就有语音识别,人脸识别,智能机器人等产品
- GPT 多年前开始研发的,只是这两年厚积薄发,横空出世
- 任何行业都会关注效率和成本, 能用AI做的,就不会雇佣人工
- 它们只是工具,现在的AI都是人工智能辅助
- AI工具早就应用于生产生活,都是小众或专业领域
- GPT 广泛应用于日常办公领域,尤其是互联网行业
- GPT 更接近人类沟通方式,更能直接体现 图灵测试
- 它们没有思想和意识,没有办法自主完成从0到1的工作
- 我们要从面向google编程进阶到面向AI编程
GPT对程序员的影响
- 未来已来, 不懂得使用类GPT工具的程序员, 工程师将会很难生存发展
- 初级/普通水平的程序员可能会面临替代, 也可能因GPT而快速进阶为高级工程师
- 使用GPT, 咨询问题 (代替搜索引擎)
- 使用GPT, 写技术解决方案
- 使用GPT, 开发智能工具
- 使用GPT, 提升开发效率 (快速生成代码,快速解决bug)
- 使用GPT, 将 ChatGPT的能力融合到工作场景中
- 使用GPT, 提升自身溢价空间,向着工具无法替代的方向努力
GPT目前的应用场景
- 基于ChatGpt 搜索,生成文档,编写代码,总结知识
- 结合其他组件,生成动画,视频,PPT
- 将ChatGpt的能力融合到工作当中
- 如数据开发IDE的智能化
- Cursor编辑器 (当前集成了GPT4)
- 目前IDE(eg: vscode)的智能插件Github Copilot
GPT 国内发展
- 各大厂商推出国内大模型,如: 百度的文心一言, 阿里的通义千问 , 腾讯的混元,华为的盘古
- 各类AI场景逐步集成落地,如钉钉集成的通义前文,WPS集成AI
GPT的未来
- 当前几年是GPT发展初期,也是各行各业使用开发GPT能力的红利期
- GPT可能会在不久的将来,在各个行业形成一个完善的产业链来协助提升社会生产力