锐客网

  1. 首页 > 睿知 > it技术 > >

算法|历时一年，论文终于被国际顶会接收了

算法人工智能深度学习java编程语言

??点击上方，选择星标或置顶，每天给你送上干货??
作者 | godweiyang
出品 | 公众号：算法码上来（ID：GodNLP）
- BEGIN -
就在昨天，超算领域的国际顶会SC22放榜了，我们组的论文也被接收了，得分44332（4分制）：算法|历时一年，论文终于被国际顶会接收了
文章图片

论文地址：
https://arxiv.org/abs/2110.05722
算法|历时一年，论文终于被国际顶会接收了
文章图片
SC会议是什么？ 可能很多同学都没听过SC是什么会议，SC会议全称“高性能计算、网络、存储和分析国际会议”（The International Conference for High Performance Computing, Networking, Storage, and Analysis），是高性能计算，体系结构领域顶级会议，CCF推荐A类会议。SC会议发表难度大，每年录用70篇左右的论文，录用率在25%左右。2022年投稿320篇，录用75篇（6篇修改中），录用率约为23%。SC22将于11月13-18日在美国达拉斯举行。
论文写的啥？ 这次中的论文标题是：“LightSeq2: Accelerated Training for Transformer-based Models on GPUs”，这是LightSeq第二期训练引擎相关论文，深入讲解了LightSeq训练引擎中用到的算子融合、显存管理等相关技术。LightSeq支持Transformer、BERT、GPT、ViT等多种模型的训练加速，在机器翻译任务上最高可以加速3倍。详细的技术原理介绍可以看下面的文章：
支持Transformer全流程训练加速，最高加速3倍！字节跳动LightSeq上新

投稿过程是怎么样的？ 去年6月的时候，这篇论文的初稿就已经成型了。当时投了下半年的PPoPP国际顶会，但是评分很低，几乎都是拒绝。总结原因，一是因为这个会议和论文方向不是特别合得来，这个会议更注重分布式并行方向的成果；二是论文是按照NLP领域写作习惯来写的，写的也确实糟糕，所以被认为没有什么创新。
被拒之后请了UCSB的几位老师和学生进行了专业的修改，重新组织了论文的结构。相同的技术用更高级的话术来表达后，论文顿时高大上了起来。SC22的投稿过程非常漫长，从3月份一直持续到了6月份才出结果。而最终的终稿要一直持续到8月份，会议更是在11月才开启，整个过程持续了大半年。
还能公费旅游不？ 疫情原因，达拉斯现场是没办法去了，UCSB的几位老师同学可以帮忙去现场观摩观摩。还记得两年前的ACL20也是错过了去西雅图公费旅游的机会，今年又错过了达拉斯。会议可以错过，但愿人不要吧。
我们组是做啥的？ 我们组是字节跳动火山翻译团队，那自然就是做机器翻译的啦。而我呢是做模型优化方向的，LightSeq就是我们的主要项目：
https://github.com/bytedance/lightseq
之前也写过一篇我们组的详细介绍：
来字节快两年了，回答一些你们感兴趣的问题

怎么进字节？ 内推链接（或点击阅读原文）：
https://job.toutiao.com/s/YB9MUpS
算法|历时一年，论文终于被国际顶会接收了
文章图片
也强烈建议加我微信（godweiyang）沟通交流，岗位信息、内推进度等等都可以问我。
- END -
我是godweiyang，字节跳动算法工程师，末流985计算机本硕均专业第一。秋招斩获三家大厂SSP offer，擅长算法、机器翻译和模型加速。
回复【书籍】
获取精心整理的1G计算机各方向书籍，我大学自用的。
回复【算法】
获取我面试时写过的100多道算法题解，刷完进大厂没问题。
回复【CUDA】
获取我为新手准备的CUDA入门系列教程。
回复【内推】
内推字节，通过率高，加我微信可随时查催进度、咨询问题。
回复【加群】
进我的技术交流（聊天）群和内推群，群内有字节HR答疑。
算法|历时一年，论文终于被国际顶会接收了
文章图片

【算法|历时一年，论文终于被国际顶会接收了】求求兄弟们点个在看吧，今天的阅读量靠你们了

    推荐阅读


    上一篇：人工智能簇|朴素贝叶斯算法之鸢尾花特征分类【机器学习】【伯努利分布,多项式分布,高斯分布】

    下一篇：ubuntu|win11 使用wsl2安装pytorch 梳理