【xLSTM-Transformer序列预测源代码】

news/2024/12/14 11:35:03/

背景

近来xLSTM比较热门,网上也有很多用xLSTM结合Transformer的示例,也就是将xLSTM放到了Encoder里面。这也是合理的,因为Encoder本身就就编码的过程,放入xLSTM理论上能提升信息提取能力。

再有就是,Transfomer接收的输入是[批大小,序列长度,维度]。但对于一维序列,这个维度就是1,总觉得不大好,于是把原始序列折叠成了序列长度x维度进行输入。

以下是完整介绍:

程序在闲鱼上,价格19。原谅我没免费提供源代码- -确实是花了不少时间整理的。

【闲鱼链接】:https://m.tb.cn/h.T21o8Ez?tk=LFxn3GBqJyA HU9196

如果链接失效,可在闲鱼搜索:耐心的等待5283,然后点“用户”即可找到个人主页下的程序

Python,Pytorch中xLSTM-Transformer进行序列预测源程序。此程序是将xLSTM融入到了Encoder层中,增加创新性。包含所有的源代码和数据,程序能够一键运行。源程序是用jupyterLab所写,建议分块运行。也整理了.py格式供pyCharm等运行。

工作是进行序列预测,即使用12个值,来预测1个值。使用前建议先了解Transformer的大致结构:Encoder、Decoder、Embedding等。

具体工作如下:

1、加载数据。数据为Excel文件,525行,13列。即525个样本,前12列为数据,第13列为预测值(标签)。原序列长度为12,预测步长为1。为了符合Transformer的输入,将原始的1x12序列强行调整为3x4的格式,即序列长度=3,维度=4。这一步对于Transformer非常重要。依次划分70%、10%、20%作为训练集、验证集和测试集。

2、构建Encoder、Decoder类,Encoder中包含xLSTM,也使用了Embedding。然后构建Transformer。用summary显示网络结构。

3、训练,计算loss。建议用GPU训练,CPU可能比较慢。

4、测试,绘图。

注:xLSTM直接当成一个层来用即可,写在了单独的.py文件里,也是从网上找来的,原理不是特别懂。有基础的话容易替换数据、或改为分类模型。可有偿帮忙替换数据。整理不易,价格低廉。本程序完全由本人整理并于2024.11.29在淘天知识产权进行了备案,如有盗版将追究。


http://www.ppmy.cn/news/1551351.html

相关文章

用Java爬虫“搜刮”工厂数据:一场数据的寻宝之旅

引言:数据的宝藏 在这个数字化的时代,数据就像是隐藏在数字丛林中的宝藏,等待着勇敢的探险家去发掘。而我们,就是那些手持Java魔杖的现代海盗,准备用我们的爬虫船去征服那些数据的海洋。今天,我们将一起踏…

40 基于单片机的温湿度检测判断系统

目录 一、主要功能 二、硬件资源 三、程序编程 四、实现现象 一、主要功能 基于STC89C52单片机,采用dht11温湿度传感器检测温湿度, 通过lcd1602显示屏各个参数,四个按键分别可以增加温湿度的阈值, 如果超过阈值,则…

数据安全与隐私保护:大数据时代的挑战与机遇

数据安全与隐私保护:大数据时代的挑战与机遇 在21世纪的信息化浪潮中,大数据已成为推动社会进步和经济发展的重要力量。它像一座宝藏,蕴含着无限的价值和潜力,为企业决策、科学研究、公共服务等领域提供了前所未有的洞察力。然而…

【docker】安装数据库脚本

mysql5.7 Docker启动mysql7并挂载文件关闭大小写敏感,【docker】安装mysql-CSDN博客 docker run \--name mysql -d -p 3306:3306 \-v /docker/data/mysql/data:/var/lib/mysql \-v /docker/data/mysql/conf:/etc/mysql/conf.d \-e MYSQL_ROOT_PASSWORD密码 \-e TZ…

2024算法基础公选课练习五(DFS2)

一、前言 因为此次题目较多&#xff0c;我也不想分成两篇博客来发&#xff0c;我就直接给代码了&#xff0c;如果题目有需要强调的地方再特殊说明 二、题目总览 三、具体题目 3.1 问题 A: 勘探油田 我的代码 8方向的flood fill模型 #include <bits/stdc.h> using i6…

平安科技Java面试题及参考答案

多个线程 a++,单个线程不管别的线程怎么改变 a 的值,只管自己的 a 的值,但是只有一个对象 在 Java 中,当多个线程对同一个对象的共享变量 a 进行 a++ 操作时,如果不进行适当的同步处理,就会出现数据不一致的问题。因为 a++ 操作并非原子操作,它实际上包含了读取 a 的值、…

OpenAI:2025年ChatGPT将成为“企业大脑”,并向Agent过渡

刚刚OpenAI 的销售总监在接受《The Information》采访时透露了 ChatGPT 的2025年商业化重点——企业级应用&#xff0c;并设定了一个雄心勃勃的目标&#xff1a;到 2029 年实现年收入 1000 亿美元&#xff01; OpenAI销售总监 Giancarlo "GC" Lionetti 认为企业人工智…

8款Pytest插件助力Python自动化测试

当测试用例变得复杂&#xff0c;或者需要处理大量测试数据时&#xff0c;插件通过使测试更加简洁和结构化而变得非常有用。Python凭借其简洁性和多功能性&#xff0c;成为自动化测试的热门选择&#xff0c;而pytest是最广泛使用的测试框架之一。虽然pytest本身功能强大&#xf…