[chapter27][PyTorch][Overfitting under fitting]

news/2024/2/28 1:56:11

前言:

       

           机器学习模型性能度量标准之一: 泛化能力

泛化能力强的模型才是好的模型,在评价泛化能力

时候,我们经常遇到过拟合和欠拟合问题

 

目录:

    1: Overfitting

    2:    underfitting


一  Overfitting

      refers to a model that models the training data too well. In other words, the model is still learning patterns but they do not generalize beyond the training set。

Overfitting happens when a model learns the detail and noise in the training data to the extent that it negatively impacts the performance of the model on new data. This means that the noise or random fluctuations in the training data is picked up and learned as concepts by the model. The problem is that these concepts do not apply to new data and negatively impact the models ability to generalize.

Overfitting is particularly typical for models that have a large number of parameters, like deep neural networks.

 

 

      模型在训练集上表现很好,但是泛化能力很差,在测试集或者验证集上表现很差

过拟合会导致高 Variance 

机器学习防止过拟合方法

  • simpler model structure(选择合适模型)
  • regularization(正则化)
  • data augmentation(数据集扩增)
  • dropout(删除隐藏层结点个数)
  • Bootstrap/Bagging(封装)
  • ensemble(集成)
  • early stopping(提前终止迭代)
  • utilize invariance(利用不变性)
  • Bayesian(贝叶斯方法)

二 Underfitting(欠拟合)

        refers to a model that can neither model the training data nor generalize to new data.   

An underfit machine learning model is not a suitable model and will be obvious as it will have poor performance on the training data.

    欠拟合 是训练集上表现能力很差,测试集合验证集同样很差

  欠拟合会导致高 Bias

 

  解决方案:

   1: 增加特征维度

   2: 增加模型复杂度(网络深度,层次)

   3     集成学习

参考:

欠拟合(Underfitting)& 过拟合(Overfitting) - 知乎

机器学习防止欠拟合、过拟合方法 - 知乎


http://www.ppmy.cn/news/51880.html

相关文章

什么是Python?

Python是一种高级编程语言,它被设计成易读易写、具有简洁优美的语法和动态类型的解释型语言。Python由Guido van Rossum在1989年创造,最初目的是作为一种较为简单易学的编程语言,因此Python的语法设计非常简单易懂,入门门槛很低。…

一场没有英伟达/高通的上海车展

两年一度的上海国际车展,在2023年迎来「质」的变化。一方面,电动化浪潮已成定局,无论是传统自主品牌,还是合资品牌,新能源车型成为展区的主角。另一方面,零部件供应商的合纵连横,中外合作&#…

银行数字化转型导师坚鹏:银行数字化转型创新与应用前沿

银行数字化转型创新与应用前沿 ——金融科技如何赋能银行数字化转型 课程背景: 数字化背景下,很多银行存在以下问题: 不清楚5G如何赋能银行数字化转型? 不清楚最新金融科技如何赋能银行数字化转型? 不了解银行…

使用OpenFeign实现接口访问

1. 引言 在微服务横行的年代,后端根据业务的不一样分成了很多单独运行的服务,比如在物联网中,根据业务拆分为定时服务、设备控制等服务。当前端想控制设备时,其请求首先到其对应的后端服务,后端服务再调用设备控制服务…

实战之redis进行模糊查找

剧情回顾: 一般,我们都是用keys abc。但是这个会进行全局的搜索,会阻塞redis进程。 解决方法: 使用scan替代keys *。 SCAN的关键词:渐进式迭代。通过游标指定下一次迭代的位置,如果返回的游标为0&#x…

LVS+Keepalived群集

目录 一、Keepalived概述二、Keepalived服务重要功能三、VRRP通信原理四、Keepalived工具4.1 keepalived体系主要模块及作用4.2 keepalived服务的工作原理 五、keepalived脑裂及解决办法5.1 keepalived脑裂5.2 脑裂的原因5.3 解决对策 六、Keepalived的部署七、LVSKeepalived高…

java反序列化 cc链6 分析

前言 这里分析完cc1的两个以后,白日梦佬又介绍了cc6链,最主要的是这个链子不受jdk的版本影响,甚至不受cs版本的影响,这么说就是cs大部分都是可以使用cc链6,而且这个链子要简洁的很多,我一听这个好啊&#x…

Shell知识点(2)

1.转义 某些字符在 Bash 里面有特殊含义(比如$、&、*)。 $ echo $date$ 输出$date不会有任何结果,因为$是一个特殊字符 如果想要原样输出这些特殊字符,就必须在他们前面加上反斜杠,使其变成普通字符 $ echo \$…

Golang中的一些关键字(defer、:=、go func())

作者:非妃是公主 专栏:《Golang》 博客主页:https://blog.csdn.net/myf_666 个性签:顺境不惰,逆境不馁,以心制境,万事可成。——曾国藩 文章目录 defervar与 : 的区别var:二者区别 go func de…

字节超全学习流程图流出,100天涨薪10k,从功能测试到自动化测试

今年年初,由于经济压力让我下定决心进阶自动化测试,已经24的我做了3年功能测试,坐标广州薪资定格在8k,可能是生活过的太安逸,觉得8000的工资也够了。 但是生活总是多变的,女朋友的突然怀孕,让我…

SpringBoot配置文件

什么是配置文件 如下图: SpringBoot项目中会有一个自带的配置文件,它是properties后缀的。 配置文件的作用 配置文件是用来配置项目中的一些重要数据的。 如:数据库连接信息、项目的启动端口、日志等等。 如果没有这些信息,S…

操作系统之调度

目录 什么是调度 进程调度的时机、切换、过程与方式 调度器/调度程序 调度算法 先来先服务算法 短作业优先算法 高响应比优先算法 时间片轮转算法 优先级调度算法 多级反馈队列调度算法 什么是调度 调度的三个层次 高级调度 中级调度 低级调度 总结如下: …

‘gulp‘ 不是内部或外部命令,也不是可运行的程序

出现问题: D:\git\renwey-web-mobile>gulp default gulp 不是内部或外部命令,也不是可运行的程序 或批处理文件。 两种原因 原因一:环境变量没有设置 原因二:没有安装全局的gulp,只安装了本地gulp,…

博途1200/1500PLC工艺PID编程应用(SCL语言)

博途工艺PID的详细解读可以查看下面的博客文章,这里不再赘述 博途PLC 1200/1500PLC 工艺对象PID PID_Compact详细解读_RXXW_Dor的博客-CSDN博客这篇博文我们详细解读博途PLC自带的PID功能块PID_Compact,大部分工业闭环调节过程,我们采用系统自带的PID功能块基本都能胜任,一…

Matplotlib 安装

Matplotlib 安装 本章节,我们使用 pip 工具来安装 Matplotlib 库,如果还未安装该工具,可以参考python 怎么使用pip进行包管理。 安装 matplotlib 库: pip install matplotlib 安装完成后,我们就可以通过 import 来…

汇编小程序解析--3D立方体旋转

汇编小程序解析–3D立方体旋转,源代码如下,是vulture大神于1995年写的,我到现在才基本看懂。 ;本程序由国外的Vulture大哥编写,并公布了源码,这个是他95年的一个作品,可以说是在当时是非常成功的&#xff…

计算机专业毕业生求职选择及思考(干货满满)

这个专栏主要是关于应届生求职工作相关的文章,提供一些建议和思考后续持续更新! 后面章节持续更新 计算机专业毕业生求职的整体总结和概括。 求职时间 首先注意几个求职时间节点: 提前批: 秋招提前批,互联网大厂招…

vue封装公共组件库并发布到npm库详细教程

vue组件封装的原理:利用vue框架提供的api: Vue.use( plugin ),我们需要把封装好组件的项目打包成vue库,并提供install方法,然后发布到npm中。Vue.use( plugin )的时候会自动执行插件中的install方法。 一、组件库代码目录 目录…

适合程序员阅读的有用书籍:

几本适合程序员阅读的有用书籍: 1.《计算机程序设计艺术》(The Art of Computer Programming)是由Donald E. Knuth撰写的一系列著作,是计算机科学领域的经典之作。该系列著作共分为三卷,分别介绍了算法和计算机程序设计的基础知识和技巧。 …

FileZilla密钥登录

使用密码登录非常的方便,但是有的客户的云服务器上是限定只能通过密钥登录。我一般使用命令行的scp命令就可以正常上传,但是对于我一些同事来说,就很不方便。 生成密钥 这个不难,可以参考我之前的文章。 《Mac使用ssh连接远程服…
最新文章