[chapter27][PyTorch][Overfitting under fitting]

news/2024/10/11 17:34:11/

前言:

       

           机器学习模型性能度量标准之一: 泛化能力

泛化能力强的模型才是好的模型,在评价泛化能力

时候,我们经常遇到过拟合和欠拟合问题

 

目录:

    1: Overfitting

    2:    underfitting


一  Overfitting

      refers to a model that models the training data too well. In other words, the model is still learning patterns but they do not generalize beyond the training set。

Overfitting happens when a model learns the detail and noise in the training data to the extent that it negatively impacts the performance of the model on new data. This means that the noise or random fluctuations in the training data is picked up and learned as concepts by the model. The problem is that these concepts do not apply to new data and negatively impact the models ability to generalize.

Overfitting is particularly typical for models that have a large number of parameters, like deep neural networks.

 

 

      模型在训练集上表现很好,但是泛化能力很差,在测试集或者验证集上表现很差

过拟合会导致高 Variance 

机器学习防止过拟合方法

  • simpler model structure(选择合适模型)
  • regularization(正则化)
  • data augmentation(数据集扩增)
  • dropout(删除隐藏层结点个数)
  • Bootstrap/Bagging(封装)
  • ensemble(集成)
  • early stopping(提前终止迭代)
  • utilize invariance(利用不变性)
  • Bayesian(贝叶斯方法)

二 Underfitting(欠拟合)

        refers to a model that can neither model the training data nor generalize to new data.   

An underfit machine learning model is not a suitable model and will be obvious as it will have poor performance on the training data.

    欠拟合 是训练集上表现能力很差,测试集合验证集同样很差

  欠拟合会导致高 Bias

 

  解决方案:

   1: 增加特征维度

   2: 增加模型复杂度(网络深度,层次)

   3     集成学习

参考:

欠拟合(Underfitting)& 过拟合(Overfitting) - 知乎

机器学习防止欠拟合、过拟合方法 - 知乎


http://www.ppmy.cn/news/51880.html

相关文章

什么是Python?

Python是一种高级编程语言,它被设计成易读易写、具有简洁优美的语法和动态类型的解释型语言。Python由Guido van Rossum在1989年创造,最初目的是作为一种较为简单易学的编程语言,因此Python的语法设计非常简单易懂,入门门槛很低。…

一场没有英伟达/高通的上海车展

两年一度的上海国际车展,在2023年迎来「质」的变化。一方面,电动化浪潮已成定局,无论是传统自主品牌,还是合资品牌,新能源车型成为展区的主角。另一方面,零部件供应商的合纵连横,中外合作&#…

银行数字化转型导师坚鹏:银行数字化转型创新与应用前沿

银行数字化转型创新与应用前沿 ——金融科技如何赋能银行数字化转型 课程背景: 数字化背景下,很多银行存在以下问题: 不清楚5G如何赋能银行数字化转型? 不清楚最新金融科技如何赋能银行数字化转型? 不了解银行…

使用OpenFeign实现接口访问

1. 引言 在微服务横行的年代,后端根据业务的不一样分成了很多单独运行的服务,比如在物联网中,根据业务拆分为定时服务、设备控制等服务。当前端想控制设备时,其请求首先到其对应的后端服务,后端服务再调用设备控制服务…

实战之redis进行模糊查找

剧情回顾: 一般,我们都是用keys abc。但是这个会进行全局的搜索,会阻塞redis进程。 解决方法: 使用scan替代keys *。 SCAN的关键词:渐进式迭代。通过游标指定下一次迭代的位置,如果返回的游标为0&#x…

LVS+Keepalived群集

目录 一、Keepalived概述二、Keepalived服务重要功能三、VRRP通信原理四、Keepalived工具4.1 keepalived体系主要模块及作用4.2 keepalived服务的工作原理 五、keepalived脑裂及解决办法5.1 keepalived脑裂5.2 脑裂的原因5.3 解决对策 六、Keepalived的部署七、LVSKeepalived高…

java反序列化 cc链6 分析

前言 这里分析完cc1的两个以后,白日梦佬又介绍了cc6链,最主要的是这个链子不受jdk的版本影响,甚至不受cs版本的影响,这么说就是cs大部分都是可以使用cc链6,而且这个链子要简洁的很多,我一听这个好啊&#x…

Shell知识点(2)

1.转义 某些字符在 Bash 里面有特殊含义(比如$、&、*)。 $ echo $date$ 输出$date不会有任何结果,因为$是一个特殊字符 如果想要原样输出这些特殊字符,就必须在他们前面加上反斜杠,使其变成普通字符 $ echo \$…