特斯拉前AI总监疯狂点赞:单张A100,10秒训练CIFAR-10破世界纪录
编辑:Aeneas 好困
【新智元导读】这位小哥在单张A100上,10秒完成了CIFAR-10训练,打破了世界纪录,还引来了Karpathy啧啧称赞。
刷新世界纪录!
用600行代码,在单张A100上,不到10秒,就完成了CIFAR-10数据集的训练,并且精度高达94%。
特斯拉前AI总监Andrej Karpathy连发3条推特,疯狂点赞。
Karpathy之所以如此激动,是因为12年前,他试过手动对CIFAR-10进行分类,得到的也是94%!而当时的SOTA只有80%。
项目介绍
项目地址:https://github.com/tysam-code/hlb-CIFAR10
git clone https://github.com/tysam-code/hlb-CIFAR10 && cd hlb-CIFAR10 && python -m pip install -r requirements.txt && python main.py
这段代码可以在Colab上直接使用,事实上——其中大部分是在Colab中开发的。
这位叫Tysam的小哥,给自己定下的目标是——
简单初学者友好只需torch和python的常用代码可破解几乎不用外部依赖(目前只有torch和torchvision)破世界纪录的单GPU训练时间(此前在A100上的世界纪录是18.1秒,而Tysam打破了世界纪录——小于10秒)在2年内让训练时间小于2秒为了达成快速训练的神经网络实现,Tysam参考了David Page在CIFAR-10图像分类数据集上有效训练残差网络的代码,但几乎是从头编写的。
这种做法的好处是,Tysam code现在保持着CIFAR-10上单GPU训练速度的世界纪录——在A100上不到10秒!
在David Page代码的基础上,Tysam做了如下改动:
压缩和激励层(squeeze and excite layers)非常多的超参数调整复杂架构修剪(miscellaneous architecture trimmings)更改内存格式,更好地使用张量核心等其他与原始代码相比,Tysam的代码全部都在一个文件中,而且非常扁平flat。
此外,所有的管线也都已经公开,有兴趣的朋友可以在里面快速探索自己的想法。
至于为什么会选择ConvNet,而不是现在最流行的Transformer呢?
在Tysam看来,虽然Transformer是新事物,但信息从训练集中压缩到神经网络中的方式,实际上始终都遵循着同样的一套基本数学原理。
Tysam希望,在一两年内让这个代码库在2秒内完成训练,在四到五年内在1秒内完成训练。
Karpathy疯狂点赞
对于Tysam的代码,Karpathy赞叹不已,他丝毫不吝啬自己的溢美之辞——
「我喜欢这种极简的设计美学,它让阅读代码不再是精疲力竭的寻宝过程。你不需要把代码散布在复杂的嵌套目录结构之中,然后用各种指令把事情搞得过于复杂。」
随后,Karpathy还表示,这让他想起了自己在12年前做的测试:
12年前,「肉眼」分类实现了94%的准确率,用时未知。
12年后,600行代码实现了94%的准确率,用时不到10秒。
当时的过程大概是:
在一个平平无奇的周末,Karpathy突然想看看人类在这个数据集上能达到什么样的精度。
于是就快速地手搓了一段MATLAB代码用于测试。
界面长这个样子:
在测试过程中,程序首先会一张一张图片地展示,然后Karpathy会按下0-9(10个键),对应这张图他所认为的类别(10个分类)。
在经过了不知道多长时间之后,Karpathy终于完成了400张图片的分类,准确率为94%左右。
那么,为什么不是100%呢?
Karpathy:「因为有些图像真的太扯了!」
比如下面这几个:
也难怪Karpathy当年预测AI所能达到的极限是85-90%(笑)。
当然,后来的结果大家也都知道了,CIFAR-10分类的准确率早就被刷到了99.5%。
著名的CIFAR-10
众所周知,CIFAR-10是由Geoffrey Hinton和他的学生Alex Krizhevsky和Ilya Sutskever整理的一个用于识别普适物体的小型数据集,也是如今机器学习研究中最广泛使用的数据集之一。
CIFAR-10数据集由10类32x32的彩色图片组成,总共包含60000张图片,其中50000张图片作为训练集,10000张图片作为测试集。
这10个类别为:飞机( airplane )、汽车( automobile )、鸟类( bird )、猫( cat )、鹿( deer )、狗( dog )、蛙类( frog )、马( horse )、船( ship )和卡车( truck )。
参考资料:
https://github.com/tysam-code/hlb-CIFAR10
大家都在看
-
机械专业刚读大学最应该做的是什么 #学习计 大学刚入学该做些什么?1. 刚进入大学校园,一切都很新鲜,环境、教学方式都不同。若高中未住宿,到大学要适应新住宿环境,学会管理和支出生活费,认识来自全国各地的新同学,相比高 机械之最10-01
-
揭秘!这所“半步211”大学,与海为邻,机 你知道吗?在河北,有座学府与海仅一步之遥,机械专业独步江湖,它虽非“211”,却常被赞誉为“半步211”的传奇存在!海边的学术殿堂——燕山大学在美丽的海滨城市秦皇岛,有一所与蔚 机械之最09-30
-
华特磁电添世界级科技成果,博阳机械粉尘回 科技创新是产业发展的源头动力。近日,山东华特磁电LHGC-6000型立环高梯度磁选机被中国重型机械工业协会认定为“世界上转环直径最大(6000mm)的立环高梯度磁选机”,获2023年重型机 机械之最09-30
-
张雪峰谈机械类专业:最吃香的三个专业是什 张雪峰曾在很多期视频中表示,机械类专业的就业面广、就业率高,是个非常好的专业。而机械类专业中最吃香的三个专业分别是机械设计制造及其自动化、航空航天工程以及能源与动力工程。 机械之最09-26
-
从国之重器到日用百货 各行各业由大变强挺 央视网消息:这些湖南元素不仅在山水之间,也被装载于“国之重器”的工程机械上,蕴藏在很多生活小物件的生产制造中。湖南制造还有哪些“意想不到”?意想不到的“国之重器”:诞生工 机械之最09-25
-
最强丰田LC70,纯机械结构,满载12人 听说关注我的都发财了!想体验躺赢人生吗?动动您发财的小手,点个关注点个赞,一起走向人生巅峰!越野活化石:1999款丰田LC75,机械之美与实用主义的完美结合?在这个追求智能互联、 机械之最09-25
-
斯大林为什么是伟大的?斯大林最伟大的一点 斯大林为什么是伟大的?斯大林最伟大的一点是他的胆识,毅力和决心,他当得知95个师被德军击溃,近百万大军溃不成军,敌人已经来到乌克兰边界时,没有和一些领导人一样,痛哭流涕,说 机械之最09-25
-
十个维度给新一轮中部崛起画像 中秋假期,名不见经传的山西隰县小西天景区,游客接待量同比增长3倍左右。国产游戏《黑神话:悟空》带火了取景地山西的旅游。旅游平台数据显示,大同、忻州、朔州等地旅游订单较端午 机械之最09-24
-
机械专业适合中分段考生 对于高考考分中分段的学生,就是考分不到一本线,又达到民办二本录取线,以至于也可选择公办大专的这部分的理工科学生,在选取专业上可给这么几点建议。中分段学生选专业肯定是以就业 机械之最09-23
-
机械类专业选这几个方向,前景好,薪资高 机械类专业一直被称作工科之母,现代的工业基本上都是在机械的基础上建立起来的,所以机械的就业率相对于其他专业而言是相当的高的,而且随着近几年汽车行业的兴起,机械的待遇也出现 机械之最09-23
相关文章
- 数字化如何锻造特钢“六最”产品?
- 机械类专业选这几个方向,前景好,薪资高
- 从唐胥到京奉:中国铁路从这里走来
- 中国最大的十个机械制造企业 1.中国一重集
- 化身“最快的刀”“最准的尺”,一束光,都
- 德国机械到底有多么的无敌?看完这些你就知
- 大雁为何眷恋这座城
- 安徽制造,何以跃升?
- 同为“机械四小龙”,为何仅燕山大学没有入
- 历史上最成功的 10 款雅马哈 ATV
- 八位堂Retro87机械键盘:复古之魂,游戏之
- 机械工程:工业领域最基础专业,好就业考研
- 解密新一代的瑞士入门机心之王——Powermat
- 鄙视]大学最后悔的10大专业: 1.机械工程
- 最机械的方式,往往在越野上更好用
- 中国最牛机械巨头,高管集体套现
- 机械类最牛逼的五所学校 就业领域单位随便
- 港媒:勾践剑”工艺让盾构机焕发活力
- 机械零件的失效分析
- 5轴加工招财牛 你是最牛的,等你来.......#
热门阅读
-
世界上最快的改装车:音速之风陆地极速车, 12-09
-
天下第一暗器暴雨梨花针,传说中的唐门暗器 07-13
-
世界上最快的公交车:迪拜超级巴士,时速超 12-09
-
世界十大大型船舶排名,第一能承重六十万吨 07-13
-
世界上最早的自动枪,马克沁重机枪最高射速 11-20
-
世界上寿命最短的大型航空母舰,短短的17个 04-26
-
美国枪店购买的百年名枪M1911 陨石制作一把 04-26