[Anonymous GitHub]代码下载方法,一次性全下载

news/2024/4/16 22:57:52
  • 工具分享:

https://github.com/kynehc/clone_anonymous_github​github.com/kynehc/clone_anonymous_github

  • 注意:下载链接格式一定要确保结尾有个/

注意:下载链接格式要弄成readme之前的链接:例如下面的链接:

https://anonymous.4open.science/r/GraphCL-7105/README.md/

你应该写为:

 https://anonymous.4open.science/r/GraphCL-7105/

使用:

注意原来的代码有问题,用我这个

python download.py --url https://anonymous.4open.science/r/GraphCL-7105/ --dir data/
import argparse
import timeimport requests
import os
from time import sleep
import concurrent.futuresdef parse_args():parser = argparse.ArgumentParser(description='Clone from the https://anonymous.4open.science')parser.add_argument('--dir', type=str, default='master',help='save dir')parser.add_argument('--url', type=str,help='target anonymous github link eg., https://anonymous.4open.science/r/840c8c57-3c32-451e-bf12-0e20be300389/')parser.add_argument('--max-conns', type=int, default=128,help='max connections number')return parser.parse_args()def dict_parse(dic, pre=None):pre = pre[:] if pre else []if isinstance(dic, dict):for key, value in dic.items():if isinstance(value, dict):for d in dict_parse(value, pre + [key]):yield delse:yield pre + [key, value]else:yield pre + [dic]def req_url(dl_file, max_retry=5):url = dl_file[0]save_path = dl_file[1]save_dir = '/'.join(save_path.split('/')[:-1])if not os.path.exists(save_dir) and save_dir:try:os.makedirs(save_dir)except OSError:passheaders = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.2 Safari/605.1.15"}for i in range(max_retry):try:r = requests.get(url, headers=headers)with open(save_path, "wb") as f:f.write(r.content)returnexcept Exception as e:print('file request exception (retry {}): {} - {}'.format(i, e, save_path))sleep(0.4)if __name__ == '__main__':args = parse_args()assert args.url, '\nPlese specifipy your target anonymous github link, \n e.g:    ' \+ 'python download.py --target https://anonymous.4open.science/r/840c8c57-3c32-451e-bf12-0e20be300389/'url = args.urlname = url.split('/')[-2]max_conns = args.max_connsprint("[*] cloning project:" + name)list_url = "https://anonymous.4open.science/api/repo/" + name + "/files/"headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.2 Safari/605.1.15"}resp = requests.get(url=list_url, headers=headers)file_list = resp.json()print("[*] downloading files:")dl_url = "https://anonymous.4open.science/api/repo/" + name + "/file/"files = []out = []for file in dict_parse(file_list):file_path = os.path.join(*file[-len(file):-2])  # * operator to unpack the arguments out of a listsave_path = os.path.join(args.dir, file_path)file_url = dl_url + file_pathfiles.append((file_url, save_path))with concurrent.futures.ThreadPoolExecutor(max_workers=max_conns) as executor:future_to_url = (executor.submit(req_url, dl_file) for dl_file in files)for future in concurrent.futures.as_completed(future_to_url):time.sleep(2)try:data = future.result()except Exception as exc:data = str(type(exc))finally:out.append(data)print("The current file is :", str(len(out)), end="\r")print("[*] files saved to:" + args.dir)


http://www.ppmy.cn/news/359201.html

相关文章

JDK的下载与安装

一、下载 1、首先,打开浏览器,输入以上Oracle的官网网址 2、然后点开产品,打开产品的列表,点击Java 3、点击Download Java,进入Java的下载页 4、滚动到下面,找到Java8版本。虽然最新版本是Java14&#xff0…

下载文件文件类型

文件后缀 MIME TYPE .doc ——application/msword .dot ——application/msword .docx ——application/vnd.openxmlformats-officedocument.wordprocessingml.document .dotx ——application/vnd.openxmlformats-officedocument.wordprocessingml.template .docm ——applica…

如何下载???

只是刚加入csdn....在这里找到了很好的资料想下载..但是没法获取下载列表啊???该如何办呢>??谢谢了

Elasticsearch下载/安装

Elasticsearch 官网版本支持矩阵Elasticsearch 下载地址Kibana 下载地址Logstash 下载地址 以下示例为 window 系统 前置条件 需要先安装 jdk 安装 Elasticsearch 下载安装包之后解压文件,进入 bin 文件夹 执行 elasticsearch.bat 文件,启动 elasticse…

一、如何下载JDK?

1.https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 打开链接,进入该页面: 2. 然后点开产品,打开产品的列表,点击Java 3.点击Download Java,进入Java的下载页 4.滚动到下面&#xff0c…

【文件下载】

前言 在前端开发中,有时需要让用户下载文件,比如下载PDF文档、Excel表格等。这时候,我们可以使用JavaScript来实现文件下载功能。本文将介绍几种常用的前端JS下载文件的方法,包括XMLHttpRequest、Fetch API、Blob、FileSaver.js等…

下载

// 设置为下载application/x-download resp.setContentType("application/x-download"); // 下载后的文件名称 String downloadFileName "abc.txt"; // 编码转换 downloadFileName URLEncoder.encode(downloadFileName, "UTF-8"…

下载~!!!

找到个下载资料的好地方,大家来顶一下(fpt也能免费,还随时更新.数千G!!) 找到个下载资料的好地方,大家来顶一下(fpt也能免费,还随时更新.数千G!!) 精品资料免费fpt下载使用方法 http://www.ibeifeng.com/…

Git 的下载与安装

文章目录 Git 的下载与安装一、下载1、下载git2、跳转到下载页面 二、安装1、选择组件,一般只需点击Additional icons(添加图标到桌面)其他都是默认勾选的,然后点击“Next”进入下个页面2、是否创建开始菜单目录,点击“…

VMware下载地址

Github版:https://github.cdnweb.icu/201853910/VMwareWorkstation/blob/master/README.md 版本: VMwareWorkstation 16 VMwareWorkstation 15 VMwareWorkstation 14 VMwareWorkstation 12 VMwareWorkstation 11 VMwareWorkstation 10 VMwareWorkstatio…

下载的几种方式-将使用协议下载的方法封装成类

一、同步下载 》第一种方式:将URL转化为字符串打印 NSString *str1 [NSString stringWithContentsOfURL:[NSURL URLWithString:"http://www.baidu.com/"] encoding:NSUTF8StringEncoding error:nil];NSLog("str1 : %", str1); 》第二种方式&a…

文件下载的三种方式

1。 第一种方法是前后端的接口只给了一个API请求&#xff1a; 前端第一种实现方式&#xff1a; <a href"/downloadfilerouter" download></a>*备注: download属性只支持firefox&#xff0c; chrome&#xff0c;不支持IE* 前端第二个实现是使用一个div…

哨兵-1 Sentinel-1数据下载(ASF)

Sentinel-1数据下载 1、Sentinel-1 数据简介2、Sentinel-1 数据下载步骤2.1在ASF下载Sentinel-1数据2.1.1网站页面介绍2.1.2 数据下载步骤 1、Sentinel-1 数据简介 Sentinel-1 由 Sentinel-1A 和 Sentinel-1B 两颗卫星组成的星座&#xff0c;它们共享相同的轨道平面&#xff0c…

组织机构代码

组织机构代码是对中国内依法注册、依法登记的机关、企、事业单位社会团体等单位颁发一个在全国范围内唯一的、始终不变的代码标识。 组织机构代码格式&#xff1a;XXXXXX-X 组织机构代码由8位数字&#xff08;或大写拉丁字母&#xff09;本体代码和1位数字&#xff08;或大写拉…

组织机构正则校验

// 组织机构代码校验checkOrgCardNumber(value) {if (value "") {return false} else if (value.length ! 10) {return false} else {// var patrn /^[0-9A-Z]$/;var reg /[0-9A-HJ-NPQRTUWXY]{8}-[0-9A-HJ-NPQRTUWXY]/;if (reg.test(value) false) {return fals…

赢胜智能:松下机器人维护

松下机器人大部分以焊接为主&#xff0c;市面上常用机型TM1400和TM1800为主 整体来讲&#xff0c;本客户松下机器人长期没有维护&#xff0c;长期搁置部分轴油脂凝固&#xff0c;其中还有漏油的现象&#xff0c;部分固定螺丝已滑丝&#xff0c;无法拆卸。 电池长时间不用已经没…

科技型中小企业认定时间和有效期?

山东省2022年科技型中小企业评价工作&#xff0c;原则上每月公示一批&#xff0c;每批次受理截止时间为每月20日&#xff08;双休和节假日顺延到下一个工作日&#xff09;&#xff0c;企业申报集中的月份将适当增加公示批次。 2022年受理截止日期为2022年9月30日&#xff0c;建…

国内可以开展医疗器械管理体系(ISO13485)认证的机构名录

国内可以开展医疗器械管理体系&#xff08;ISO13485&#xff09;认证的机构名录&#xff08;更新至2021年7月31日&#xff09; 序号 机构名称 1 中天鸿图国际认证有限公司 2 华纳时代检测认证有限公司 3 兴原认证中心有限公司 4 深圳美澳检测认证有限公司 5 …

徐汇区企业技术中心认定条件及申报流程

徐汇区企业技术中心 一、主管部门 徐汇区商务委员会 二、政策依据 《徐汇区企业技术中心管理办法》徐商务发〔2022〕23号 《关于组织申报2022年度徐汇区企业技术中心的通知》 三、扶持政策 经认定的徐汇区企业技术中心&#xff0c;按照有关规定&#xff0c;可享受相应扶…

国家级!维视智造荣获“智能制造解决方案供应商规范企业”称号

为加快培育智能制造系统解决方案供应商&#xff0c;规范市场行为&#xff0c;加强质量管理,在工业和信息化部装备工业司指导下&#xff0c;由智能制造系统解决方案供应商联盟依照《智能制造解决方案供应商规范条件》开展评审&#xff0c;遴选一批具有较强示范、带动和引领作用的…
最新文章