度中国科学十大进展Last year's science Top 10 unveiled
China's 10 top scientific advances of were unveiled on Monday by the High Technology Research and Development Center.
The 10 were selected from 310 scientific achievements suggested by scientific journals. The center made its preliminary selection in December, choosing 30 projects completed between Dec 1, and Nov 30, , and were then put to vote by 3,500 experts and scholars before being whittled down to the top 10.
They include the landing of Mars probe Tianwen-1, the launches of the Tiangong space station's Tianhe core module and the Shenzhou XII and XIII manned spacecraft, and their docking with the station, the artificial synthesis of starch from carbon dioxide, the Chang'e-5 lunar samples for their insight into lunar evolution, the Five-Hundred-Meter Aperture Spherical Radio Telescope reporting the largest set of fast radio bursts ever detected, a self-powered soft robot reaching the bottom of the Mariana Trench, and the discovery of a key gene associated with long-distance avian migration.
This was the 17th such roundup of events by the Ministry of Science and Technology's High Technology Research and Development Center, which aim to promote and popularize progress in essential research, and create a wider appreciation of science.
1火星探测任务天问一号探测器成功着陆火星
2中国空间站天和核心舱成功发射，神舟十二号、十三号载人飞船成功发射并与天和核心舱成功完成对接
3从二氧化碳到淀粉的人工合成
4嫦娥五号月球样品揭示月球演化奥秘
5揭示新冠病毒(SARS-CoV-2)逃逸抗病毒药物机制
6“中国天眼”(FAST)捕获世界最大快速射电暴样本
7实现高性能纤维锂离子电池规模化制备
8可编程二维62比特超导处理器“祖冲之号”的量子行走
9自供电软机器人成功挑战马里亚纳海沟
10揭示鸟类迁徙路线成因和长距离迁徙关键基因
外媒：中国制定未来深空探测计划，嫦娥将会很忙！
11月29日外媒刊文。
中国已经为其未来的月球探测计划制定了雄心勃勃的路线图，包括一个国际科学前哨站。中国工程院院士吴伟仁表示，中国月球探险的下一步——嫦娥六号机器人任务——已确定在月球背面着陆，并将收集和带回样品。
“如果嫦娥六号成功，这将成为人类第一次从远端获取样本。”他最近在北京与国内媒体会面时表示。
嫦娥六号之后，嫦娥七号机器人探测器将被送往月球南极，以寻找水和其他资源。
“嫦娥七号任务旨在寻找南极的水迹，调查那里的环境和天气，并调查其地形。”
据吴介绍，嫦娥八号将在月球南极的嫦娥七号附近着陆，之后，两个任务的组成部分——轨道器、着陆器、漫游器和探测器——将共同组成机器人科学前哨的原型。
吴说，从长远来看，该前哨站将成为月球探测国际合作的平台。
他说：“我们欢迎外国加入这个项目，我们可以共同设计、建造和管理这个设施，并分享其数据和发现。”
【腾讯新专利可鉴别换脸，可用于打击色情等黑产、网络诈骗】
据媒体消息，天眼查App显示，近日，腾讯科技（深圳）有限公司申请的“换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备”专利获授权。
摘要显示，本申请涉及人工智能和计算机视觉技术。方法包括：在训练换脸鉴别模型时，将同一样本对象的未换脸脸部样本图像和换脸脸部样本图像包含在一个样本图像组中，对换脸鉴别模型进行训练，并基于模型针对样本图像组生成的损失值调整换脸鉴别模型的参数。由于同一样本对象的未换脸脸部样本图像与换脸脸部样本图像的面部主要特征差异很小，因此可以使模型在调整参数时，弱化对图像面部主要特征的学习，更注重样本图像的差异特征，从而减少模型在训练过程中的抖动，加快模型的收敛速度，提高鉴别准确率。
官网显示，腾讯云已有相关换脸甄别产品，可用于打击色情等黑产、打击网络假视频传播、打击网络诈骗等场景
MIT Technology Review “十大突破性技术”解读（转载）继续
来源：国家自然科学基金委员会微信公众号 发布时间：/6/28 17:25:24
MIT Technology Review “十大突破性技术”解读—新闻—科学网
2 生成式预训练模型(GPT-3)
（2） GPT等系列模型发展过程和能力变化
预训练语言模型数量众多，其中具有里程碑意义的典型模型包括ELMo、BERT和GPT。限于篇幅，在此只选择GPT系列模型进行代表性介绍。
在对GPT-3模型进行解读之前，我们首先对预训练语言模型的初衷和中间发展过程进行回顾。以N-Gram为代表的传统语言模型是计算给定语言片段的概率或者给定上文预测下一个词的出现概率，采用的是传统的基于频率的离散统计概率模型。其主要问题是离散的词表示方法描述能力差，参数空间成指数级增长，基于频率的统计概率模型建模能力差，导致最终语言模型描述能力不足、鲁棒性差、准确率不高。为解决上述问题，以ELMo、BERT和GPT为代表的预训练语言模型利用大规模甚至全网数据，基于生成式语言模型或者掩码语言模型，用神经网络方法训练语言模型。这样，预训练语言模型既有传统模型的概率输出，也可生成语言片段的向量表示。由于采用神经网络的方法，可以利用可导、可微等强大的数学工具和极大规模的数据，所以预训练语言模型上下文建模能力超强，可计算出更加准确的概率和上下文强相关的语言片段的动态向量表示。
ELMo开启了第二代预训练语言模型的时代，即上下文相关和“预训练+微调”的范式。ELMo是一种生成式模型，以双向LSTM作为特征提取器，利用上下文信息动态建模，较好地解决了以Word2Vec为代表的第一代预训练语言模型存在的一词多义问题，在自然语言生成任务上表现尤为出色。BERT是一种掩码式语言模型，以Transformer Encoder为特征提取器，在自然语言分析和理解任务上表现尤为出色。GPT是一种生成式模型，以Transformer Decoder为特征提取器，在自然语言生成任务上表现更为突出。
在上述系列模型提出以前，以自然语言理解为代表的下游任务主要采用监督学习的方式在相应的标注数据集上训练模型。这就需要每一个目标任务有充足的标注数据，并且在特定任务上训练的模型无法有效地泛化到其他任务上。在数据不足的情况下，这类判别式模型就无法取得令人满意的效果。针对这一问题，OpenAI团队提出了第一代的生成式预训练语言模型（GPT-1）是基于Transformer Decoder的生成式语言模型，对该模型结构没有新颖改动，但扩大了模型的复杂度。该类生成式预训练模型只需要利用非监督的语言模型目标函数即可进行训练，因此可以利用海量的无标注数据进行模型学习。除此以外，GPT-1模型在增强下游任务时对各种输入数据的格式进行了统一，以实现最小的模型结构修改。基于以上两个特点，GPT-1只需要简单的微调监督训练即可用于下游任务，并取得显著的效果提升，展示了生成式预训练语言模型强大的泛化能力。额外的评测发现GPT-1在零资源的设置下仍然具有一定的泛化能力。这些结果展示了生成式预训练的强大威力，为后续参数规模更大、所需训练数据更多的模型版本奠定了基础。
GPT-2在GPT-1的基础上，对模型结构进行了5点微小改进，增加更多的训练数据，进一步提升了生成式预训练语言模型的泛化能力，重点解决 GPT-1 在下游任务使用时需要监督微调训练的问题。通过在模型训练时引入任务信息、利用比GPT-1模型更多的训练数据（40GB vs. 5GB）、搭建更大参数规模的模型（15亿vs. 1.17亿），GPT-2模型在零资源的设置下超越了多种下游任务上的前沿模型，例如机器翻译、阅读理解、长距离依赖关系建模等。GPT-2模型的这些特点揭示了更大的模型容量和更多的训练数据可以进一步提升模型的泛化能力以及减少对监督训练的依赖。此外，GPT-2模型的容量和训练数据相比，还处于欠拟合的状态，这就需要进一步增大模型的参数规模。
GPT-3在GPT-2模型的基础上进一步扩大了参数(1750亿 vs. 15亿)和数据规模（45TB vs. 40GB），是目前为止最大的语言模型，无需微调训练即可用于下游任务，在零资源（Zero-shot）和小样本（Few-shot）设置下具有出色的表现。在GPT-2的多任务泛化能力基础上，GPT-3在新的任务上取得了惊艳的结果，包括数学加法、新闻文章生成、词汇解读、代码编写等，并且这种模型表现会随着参数量的进一步增加而提升。
待续
近期我国深圳大学与四川大学自主研发设计的深海沉淀物保温保压取样装置已经海试成功，这也是世界上首次获得保温保压的深海沉积物样本。最近在海南省深海沉积物搭载在我国自主研发的4500米级潜水器深海勇士号上，在南海1370米深水域完成采样任务。采样本保原压力13.8MPa，温度保持6.51°C的沉积物样品，这是全球首次采集到保温保压的深海样本。自从以来，研发团队突破重重技术难关，开发了我国首套保温保压采样设备，形成了全新的深海采样探测体系。这次深海采样的成功，为我国未来的海洋探测提供了重要的技术装备支持。
【#度中国科学10大进展发布#】2月28日，科学技术部高技术研究发展中心（基础研究管理中心）发布度中国科学十大进展：火星探测任务天问一号探测器成功着陆火星；中国空间站天和核心舱成功发射，神舟十二号、十三号载人飞船成功发射并与天和核心舱成功完成对接；从二氧化碳到淀粉的人工合成；嫦娥五号月球样品揭示月球演化奥秘；揭示SARS-CoV-2逃逸抗病毒药物机制；FAST捕获世界最大快速射电暴样本；实现高性能纤维锂离子电池规模化制备；可编程二维62比特超导处理器“祖冲之号”的量子行走；自供电软机器人成功挑战马里亚纳海沟；揭示鸟类迁徙路线成因和长距离迁徙关键基因等10项重大科学进展入选。(央视新闻客户端）
科技日报: 地球外首次确认“生命之源”，日本小行星样本中发现20多种氨基酸 网页链接。地球人不寂寞
这次北京冬奥会，除了震憾之外，还有不为人知的一面。提起这次冬奥，很多人都被中国领先的场馆设计所震撼。极致的高效节能，充满绿色化的前沿科技，这些无一不让人津津乐道。然而，抛开这些之外，很多人都忽视了这届冬奥会还蕴藏着一个“秘密”。过去，每一届奥运的举办，都需要建设大量的基础设施。从雅典到伦敦再到里约，从赛事组织，到交通以及转播、通讯、安防等系统，都需要投入大量的服务器计算机，以用于赛事的正常运转。然而，这些投入都是一次性投入的，比赛之后这些设备会被闲置。因而，每一次奥运结束之后，都留下了一地鸡毛。大量的基础设施，一时间成为了“废墟”。而这次的中国冬奥会，则有效地解决了这个问题。作为奥林匹克全球合作伙伴，阿里巴巴服务北京冬奥会，打造了百年奥运史上首个核心系统全面上云的奥运会。何为云上奥运？简单来说，就是利用远端的云技术替代地面服务器，让整个奥运赛事从重资产转向了轻资产。这样一来，不仅能够给主办方节省一笔不小的开支。与此同时，也避免了一定的资源浪费。更值得注意的是，云计算所具备的高容量特性，还可以释放出更多的媒体生产力，大幅降低报道流程复杂性、减少人员成本和空间占用。而节省下来的人力，则可以投入到创新内容中。要知道，当下的全球都在提倡绿色节能。而中国的这个转变，无疑为世界提供了一个集科技、绿色、人文于一体的新奥运样本！
