1. 前言
每年年底,CSDN都会举办一个年终征文,用以总结博主一年来所做之事。这是一件十分有益的事情,就像我们在工作中需要写年终报告一样。它能够让我们对于我们一年来所做之事进行一个总结,并且有助于梳理我们接下来的工作方向。
去年总结的文章长风破浪会有时,直挂云帆济沧海——纪念,展望还历历在目,今年就已经接近尾声了,又该总结一遍了。
2. 在CSDN上有什么进展吗?
今年在CSDN上发表的数量是我自进入CSDN以来最低的一年,可能是因为学术科研上的压力,让我无暇顾及撰写博客了吧。作为博客专家我还是有一些惭愧。在年初时,我还获得了博客之星TOP50的头衔。不过好在撰写的文章还是有一些质量,使得我的排名从去年的5000名,到达现在的1500名。按照计划,我明年年终应该进入前1000。不知道这个Flag是否可以达成,让我们拭目以待。
哦,对了,今年收到了3件CSDN的衣服,一件T恤,2件卫衣,也算是CSDN的忠实粉丝了吧。
3. 今年有什么有趣的AI进展?
疫情似乎禁锢住了我们创造力,最近一年,基本上没有太多实质性进展,仍然继续着深耕预训练模型的土地,尤其是在模型架构上,继续延续着的transformer的基础架构,大概已经快5年了,似乎发展到了瓶颈。
不过,幸运的是,我们仍然有一些可圈可点的贡献,我会从自身科研,科学应用,日常应用和关于未来4个方面进行阐述。
3.1三大NLP顶会最佳论文奖
我们先从NLP三大顶会最佳论文奖看一下最新的研究方向,总体而言,主要是NLP最重要的机器翻译任务以及最新的多模态任务两个方面,下面是3篇论文的摘要。
ACL 最佳论文奖:Vocabulary Learning via Optimal Transport for Neural Machine Translation
对于从业者来说,大家无时无刻不在使用词表对语言进行向量化表示。在深度学习时代,词表构建基本上是所有自然语言处理任务的第一步工作。尽管现今也有了一些比较通用的词表处理方法,但是仍然没有办法回答最基础的问题:什么是最优词表,如何生成最优词表?
为了回答该问题,本论文尝试提出一种无需训练的词表评价指标和针对该评价指标的词表学习方案 VOLT。该方案在常用的英德翻译、英法翻译、低资源翻译、多语言翻译上都取得了相比传统词表解决方案更好的结果。
EMNLP 最佳论文奖:Visually Grounded Reasoning across Languages and Cultures
目前,ImageNet的概念和图像被应用于很多视觉和语言数据集以及预训练编码器的设计,或者或多或少会从ImageNet中吸取灵感。但是,人们很难察觉,ImageNet基准对计算机视觉进步的贡献其实是被高估了,因为ImageNet主要都是选自于英文数据库和英文图像查询,这就会导致数据源材料带有不少北美或西欧的偏见。
经验和理论分析表明,在现有的视觉语言数据集中记录的概念和图像,在许多不同于英语的语言中以及在欧洲和北美以外的文化中,可能既不突出也不是原型。为了减轻这些偏见,他们设计了一个新的注释协议,其中图像和标题的选择完全由母语人士驱动。
具体来说,他们用5种不同类型的语言(印度尼西亚语、汉语普通话、斯瓦希里语、泰米尔语和土耳其语)得出描述,比较和对比图像对,建立了一个用于基础语言推理的多元文化和多语言数据集MaRVL(Multicultural Reasoning over Vision and Language)及其注释指南。
研究人员使用最先进的SoTA(state-of-the-art)模型在MaRVL上测试,结果发现,与英语数据集相比,它们的表现仅仅略高于随机水平,这与MaRVL中概念、图像和语言的分布不均匀性有很大关系。这让他们有理由相信,在狭窄的语言和文化领域之外,MaRVL通常能更忠实地评估最先进的模型在现实应用中的适用性。
NAACL 最佳论文奖: Video-aided Unsupervised Grammar Induction
我们研究了视频辅助语法归纳法,它从无标记文本和相应的视频学习一个constituency解析器。现有的多模态语法归纳方法侧重于从文本-图像对中学习句法语法,结果表明静态图像信息可以用于语法归纳。然而,视频提供了更丰富的信息,不仅包括静态对象,还包括动作和状态变化,这对引导动词短语很有用。在本文中,我们从视频中探索了丰富的特征(例如动作、物体、场景、音频、人脸、OCR和语音),并以最近的Compound PCFG模型(Kim et al., )为基线。我们进一步提出了一个多模态化合物PCFG模型(MMC-PCFG)来有效地从不同的模态中聚合这些丰富的特征。我们提出的MMC-PCFG进行了端到端的训练,并在三个基准上(即DiDeMo、YouCook2和MSRVTT)超过了每个单独的模态和以前最先进的系统,证实了利用视频信息进行无监督语法归纳的有效性。
3.2 蛋白质预测
而在科学应用方面,首当其冲的DeepMind 旗下的 AlphaFold2和华盛顿大学的 RoseTTAFold 帮我们人类解决蛋白质折叠问题,即预测蛋白质结构。这两项技术被Science认为是十大科学进展之一。不过就在前几天,中国团队的HeliXonAI则在蛋白质结构预测上取得了第一的好成绩。
3.3 虚拟姬
在我们的日常应用中,既然人工智能达不到像人一样,那么让人像人工智能一样还是可以办到的。在直播界,虚拟直播正在逐渐流行开来,云舶科技也是其中之一。这种利用动作捕捉技术,并通过AI模型实时运算,可以让虚拟人物与观众实时互动,并且增加虚拟质感,也逐渐被大家所接受。下图里的内容都是实时计算产生的,GTX1060的显卡只支持面部捕捉,如果是上半身捕捉,建议RTX2080以上显卡。(本人真的不太能接受漂亮的虚拟姬后面,是抠脚大汉的存在)
3.4元宇宙
关于未来。今年另外一个和人工智能相关的则是“元宇宙”(Metaverse),甚至连Facebook都改名为Meta。Metaverse是一个古老的词汇,早在1992年便由科幻小说作家尼奥·斯蒂文森在《雪崩》一书中提出来,随着《我的世界》这个游戏被大家认识。而的《头号玩家》和的《失控玩家》让大家发现元宇宙真的是充满无限可能。即将上映的《黑客帝国4》更是所谓的元宇宙的正统之作(PS5上也上线了令人惊讶的同名游戏,达到了影院级的游戏体验)。
头号玩家
失控玩家
国内也大量入局公司入局,当然不仅是头部公司腾讯、百度、阿里、头条,很多垂直企业也响应所谓的元宇宙,例如主打陌生人社交的Soul也号称是社交元宇宙(本人也有幸成为Soul的SSR)。
关于此点,我曾经做过评述:
最近,我们都在谈论元宇宙,并列举出了元宇宙的种种应该具备的特性。现在抄的火热的无怪乎是卖元宇宙的地。这并不是说一无是处,只是一个金钱游戏而已,并不会真正的推动技术的发展。它唯一有用的是编织了一个很好的故事,为元宇宙的发展提供动力。
另一方面,像哈佛已经开始使用VR进行教学,据说有3333小时的虚拟体验。但是本质上还是需要从外界获取信息和资源并把它搬运到VR的世界中。这个虚拟世界的生产速度远远跟不上我们的需求。
真正的元宇宙,应该能够在内部不断扩充内容,而不是依靠与外界之间的联系。这点可以参考互联网的发展,现在互联网信息生产之剧烈,远超任何一个时代,本质原因是我们生产信息的平台不在局限于物质世界。
我们写博客,写头条,不用物理世界写一遍,到互联网上写一遍,我们直接在互联网平台中生产。这样才能够用超出现实物理限制的速度把我们的文章和思想分发到N个人的手中。因此元宇宙首先要做的,应该是创造元宇宙的生产工具。
在未来,如果原宇宙真的能够完美实现,那么必然是一个超现实的世界,而不是仅仅依附于现实世界的存在。
因此,如果元宇宙如果要发展起来,不仅仅是虚拟世界和现实世界要连接起来,更重要的是,要能够在元宇宙中真正的完成生产过程本身,否则元宇宙内部空虚,也无法以现实世界的发展弥补,因为从现实世界搬运信息资料到虚拟世界的成本已经远远大于直接在现实世界中使用的成本了。
4. 自身学术上有什么进展吗?
经过与导师、师弟师妹们的一起努力,一年下来也有几篇论文的产出,这一年也没有白白浪费。对于论文的撰写和自身研究方向也有了更加清晰的认识,相信以后科研的道路可以越走越远。毕竟,我们曾经说过:让我们和AI一起,改进世界!也是我另外一个口号:“AI让世界更懂你”的初心不变。
对于参加了几次线上国际会议的我来说,逐渐熟悉和接受网上交流讨论的氛围了,并且,我还学会了如何利用PPT软件录制视频。
暑假里,继续了去年的比赛,去年没有经验,只获得了第12名。今年有幸进入了TOP5的名次,也算是对于自己再比赛上面的一次突破吧。希望以后可以再接再厉,让科研真正的下沉到应用中来。
Confluence目前运行正常,校内云盘系统也正常运行。除了自己的研究方向构建了标注网站、端到端的展示系统外,自己也倒腾了一些有趣的端到端的应用。如漫画的你以及超分辨率照片修复等。
下面还是要看一看亲自下厨的成果。
漫画的你的效果:
原图
漫画版的你
超分辨率照片修复:
在接下来的时间里,我会结合自身的领悟,将专栏《计算机专业研究生核心能力培养》撰写完全,也算是研究生生涯的总结吧。
5. 今年读了哪些书?看了什么纪录片?
今年读书较少,多数是延续了去年的书单,比如物理学的未来、心灵的未来和达尔文的黑匣子。为了培养我其他方面的能力,我还阅读了《手机摄影——从入门到精通》以及《即兴演讲》等其他方面的书籍,增强自身的生活品质。
在纪录片上,主要看了腾讯视频中的《迈进未来》和头条视频的《宇宙》,关于人类未知的世界,我们从基因里就想去探寻!
6. 对明年有哪些愿望?
突然发现,每年的愿望似乎都很相同,这是很朴素的想法。借用一下去年的愿望吧:正所谓否极泰来。首先希望疫情可以过去,家人都健健康康。然后再希望自己学有所成吧,对自己的未来能够更清楚一些。
7. 总结
,是后的第一年,也可以说是新阶段的第一年,总体来讲,一切都在向好的方向发展。仍然感谢一直陪伴我的朋友们,让我们一起向着未知的未来,进发!
疫情仍然是我们生活中影响最大的事情,从德尔塔到奥密克戎,每一次进化都使得我们提心吊胆一次。不过幸运的是,最近听世卫组织说,明年疫情有望结束。希望明年,一切都能顺利度过。
我向来是积极乐观主义者,正如我曾经说过的一样:
我相信未来是美好的
因为我在努力让世界变得更美好
我能够坚持这个信念的根本动力
来源于我脚踏实地的每一份努力
也正是因为我的努力
美好的未来才更有可能
,你准备好了吗?我来了!