ChatGPT的出现
- 2022年11月底，ChatGPT 上线，引爆 AI 圈 和 科技圈，2023年春节后, 人人都开始关注并讨论这项新技术
- 它是 OpenAI 研发的智能聊天工具, 基于GPT语言模型，模拟人类的对话方式
- 默认只能用文字进行交互，理解多种语言，有一些插件，可用语音，图表等
- 截止现在，ChatGPT热度依旧火热，也已被大众所知晓并普遍使用
什么是ChatGPT
- 是一个预训练的对话式的文本生成AI工具
- 第一个呢是预训练。
- 第二个是对话式的文本生成
- Chat 包括输入端即发出有效提问(Prompt) 和 输出端的智能参考答案
- GPT
- G: Generative, 是一个生成式的模型，可以生成符合语法和语义规则的自然语言的文本, 重点是生成式的模型
- P: Pre-trained，基于大规模的文本数据的预训练, 可以使自己更加的聪明。
- T: Transformer, 使用 Transformer 的架构来有序的处理文本
- GPT不是通过搜索而拼凑答案，而是更像一个大脑
- 当我们提交完问题之后，GPT会基于它预训练好的能力计算出结果
- GPT 是一种语言逻辑推理的大模型也叫 LLM (Large Language Model 大型语言模型)
- 这个模型是一种神经网络，能够读取，并且理解大量的自然语言的文本，能够像人类一样去驾驭这些语言。
- 比如我们可以通过中文去和GPT去进行交流。
GPT 和 AIGC 的关系
- GPT是具有代表性的大型的语言生成模型之一, 是比较优秀的LLM的实现，也是其技术实现的代表之一
- LLM 就是基于大量的训练数据训练的，能够生成高质量的人工语言的神经网络的模型
- AIGC 是由人工算法自动生成文本图片等多种类型的数字内容
- 所以，GPT, LLM, AIGC是紧密相关的
- GPT 是 AIGC 重要的组成之一，AIGC采用大模型的技术来生成高质量的文章和其他的内容
- 通过分析海量的数据，大模型可以自主的去生成文本，实现对AIGC技术的支持
- 三者相互促进，并推动着彼此的发展
ChatGPT的能力
- 通过先给它提供一个庞大的语料库，让模型通过上千亿个参数，对这些文本去进行标记和学习
- 最终构建出一个复杂的预测模型，然后根据这个预测模型去生成我们的数据
- 这种预测的模式跟我们的大脑学习和加工的模式是非常相似的
1 ） 拟人化的能力
- 因为运作模式类似人脑，这也使得GPT能够更加的拟人化, 正是由于它的这种拟人化
- 能够让它可以像真人一样，和我们正常的聊天，回答各种各样的问题，甚至可以理解人的感情
2 ）了解全领域的知识
- 我们发现GPT好像所有的知识它都会, 真正的做到了，上知天文下知地理
- 我们可以向它来提问各个领域的知识，比如让他帮我们写代码和我们写文档等等。
- 随着它的模型的迭代，参数的变化，GPT对于整个世界的认知，也将会发生质变
- 和之前传统的预测模型不一样，它不再是单纯的去记录预训练的这些信息。
- 同时还会基于预训练的信息去提炼成知识，可以说他有了超越认知的创造力。
3 ）会表达，具有中立，客观，安全的语言表达能力
- 同时GPT有中立客观安全的语言表达能力, 当我们询问问题的时候, GPT的回答往往是比较准确和客观的，而且非常具备条理性。
- 随着GPT的发展，对于一些涉及到不良影响的问题，GPT是拒绝回答的，也就是具备中立和客观的表达的能力。
4 ）具备复杂的推理能力，可根据上下文语义自行推理
- GPT具备复杂的推理能力, GPT3之后的模型泛化出了思维链的能力
- 这个能力是模型涌现出新能力的关键机制，可以根据上下文的语义去进行自行推理
5 ）接受身份设定，可以告诉它是谁，特长是什么
- GPT接受身份设定的能力，可以不停的告诉GPT它是谁？它的特长是什么？
- 然后GPT就可以根据我们的设定和提示来帮助我们解决问题
- GBT它的这些能力都是以海量的知识和数据作为基础的。
- 简单点来说，就是将所有的语料送进大语言模型当中，然后让他去预测下一个词汇是什么
- 与传统的语言模型不同的点在于GPT接收到的语料数据是极其庞大的
GPT训练数据的演变
| OpenAI | 学习资料 | 参数量 |
|---|---|---|
| GPT1 | 5GB | 1.17亿 |
| GPT2 | 40GB | 15亿 |
| ChatGPT | 45TB+ | 1750亿+ |
- 从始至终语言模型，它的训练机制都没有变化, 变的只是模型的量级，俗话说量变引起质变
- 相较于传统的语言模型呢，GPT就是一个量变引起质变的一个结果
生成大预言模型的过程
- 第一步是预训练为语言模型灌输知识
- 第二步是通过模板规范，也就是将人工标注好的这些范例输入到语言模型当中
- 第三步是创意引导，对GPT生成的结果去进行打标签
- 基于超大规模的数据，经过这三个步骤造就了今天最强的语言模型ChatGPT
类GPT类的产品对当今工作的替代性
1 ）容易被GPT取代的工作场景
- 客服代表，电话销售
- 语言翻译员，文字工作者
- 基础数据分析师
- 普通程序员
- 普通助理等水平一般的工作人员
2 ) 不容易被GPT替代的工作场景
- 需要判断和决策工作，通过复杂的分析和判断来做出决策的工作
- 需要创造力和想象力的工作，如艺术家，作家
- 人际交往和情感互动的工作，如心理治疗师, 临床医生，教育工作者
对GPT这类AI产品的认识
- 类似汽车出现代替了马车, AI 不是新事物，很早就有语音识别，人脸识别，智能机器人等产品
- GPT 多年前开始研发的，只是这两年厚积薄发，横空出世
- 任何行业都会关注效率和成本, 能用AI做的，就不会雇佣人工
- 它们只是工具，现在的AI都是人工智能辅助
- AI工具早就应用于生产生活，都是小众或专业领域
- GPT 广泛应用于日常办公领域，尤其是互联网行业
- GPT 更接近人类沟通方式，更能直接体现 图灵测试
- 它们没有思想和意识，没有办法自主完成从0到1的工作
- 我们要从面向google编程进阶到面向AI编程
GPT对程序员的影响
- 未来已来, 不懂得使用类GPT工具的程序员, 工程师将会很难生存发展
- 初级/普通水平的程序员可能会面临替代, 也可能因GPT而快速进阶为高级工程师
- 使用GPT, 咨询问题 (代替搜索引擎)
- 使用GPT, 写技术解决方案
- 使用GPT, 开发智能工具
- 使用GPT, 提升开发效率 (快速生成代码，快速解决bug)
- 使用GPT, 将 ChatGPT的能力融合到工作场景中
- 使用GPT, 提升自身溢价空间，向着工具无法替代的方向努力
GPT目前的应用场景
- 基于ChatGpt 搜索，生成文档，编写代码，总结知识
- 结合其他组件，生成动画，视频，PPT
- 将ChatGpt的能力融合到工作当中
- 如数据开发IDE的智能化
- Cursor编辑器 (当前集成了GPT4)
- 目前IDE(eg: vscode)的智能插件Github Copilot
GPT 国内发展
- 各大厂商推出国内大模型，如: 百度的文心一言, 阿里的通义千问 , 腾讯的混元，华为的盘古
- 各类AI场景逐步集成落地，如钉钉集成的通义前文，WPS集成AI
GPT的未来
- 当前几年是GPT发展初期，也是各行各业使用开发GPT能力的红利期
- GPT可能会在不久的将来，在各个行业形成一个完善的产业链来协助提升社会生产力
