白内障光明计划“北京市慈善基金会复明公益行”在京举行

中新网12月26日电 “众所周知,白内障是可以通过手术得到治疗的眼部疾病,但很多老人由于对白内障疾病本身不够了解,往往等到视力严重下降甚至完全失明,才‘迫不得已’赶到医院接受手术治疗。”北京华德眼科医院执行院长柴万彪12月25日上午在白内障光明计划“北京市慈善基金会复明公益行”公益活动上说:“北京华德眼科医院衷心希望通过此类型的公益活动,能让更多百姓正确认识和了解白内障,从而做到及早重视、及时治疗。”

北京华德眼科医院医护人员为在场老人进行现场眼健康筛查

同期还有另一篇来自 Facebook AI 研究院的论文 Learning Existing Social Conventions via Observationally Augmented Self-Play (arxiv.org/abs/1806.10071)从另一个角度设计了协调机制:在加入一个团体之前,新的智能体要通过观察和重放机制学习这个团地当前的行为模式(人类角度的「风俗习惯」),让自己能够融入,避免加入团体之后它的策略无法得到奖励(即便在无合作的竞争性环境下可以得到奖励)。不过大概还是前一篇学会固有社交动机更高明一点?相比之下它可是明明白白地促进了智能体都变得更协调、更主动沟通啊(笑)。

一个基于风格的GAN生成器架构

推荐理由:StyleGAN 无疑是 2019 年最热门的 GAN 网络模型。在 StyleGAN 之前,GAN 的相关研究已经遇到了条件式生成困难、单纯增加模型大小的收益有限、无法生成逼真的高分辨率图像等等多种困境,StyleGAN 就冲破了这个瓶颈,在生成控制的可控制性、不同属性的互相搭配、高分辨率高清晰度(且具备一致性)方面都带来了大幅进步。为此,StyleGAN 获得了 CVPR 2019 最佳论文荣誉提名奖。

推荐理由:这篇来自韩家炜团队的论文研究了深度学习中的变差管理。在神经网络的训练中,Adam、RMSProp 等为了提升效果而加入了自适应动量的优化器都需要一个预热阶段,不然在训练刚刚启动的时候就很容易陷入不好的、可能有问题的局部最优,而这篇论文中提出的 RAdam 能为优化器提供好的初始值。借助一个动态整流器,RAdam 可以根据变差大小来调整 Adam 优化器中的自适应动量,并且可以提供一个高效的自动预热过程;这些都可以针对当前的数据集运行,从而为深度神经网络的训练提供一个扎实的开头。

推荐理由:神经机器翻译模型的训练方式是给定上下文,预测某一些被掩模的词,但推理过程(真正的翻译过程)是需要从零生成整个句子。这种偏差问题其实在序列到序列转换任务中长期普遍存在。这篇论文就研究了这种偏差,并探讨如何弥补这种偏差。

“善德光明行”基金管委会副主任张钱顺介绍:自2018年4月起,北京市慈善基金会发起成立了“善德光明行”专项基金,旨在为全市低保、低收入和困难家庭老年人资助白内障手术费用,北京华德眼科医院作为执行单位给白内障老人提供手术。截止至今年10月份,已为我市9个区的7万余人(次)老人进行了筛查,其中6987名因罹患白内障导致视力下降的老人通过“善德光明行”项目重获光明。

推荐理由:随着目标识别的规模越来越大、粒度越来越细,类别不平衡、遮挡、分类模糊性、物体尺度差异性等等问题越来越明显。我们很容易想到,人类视觉识别能力中的一个重要环节是「基于常识的推理」,比如辨认出了 A 物被 B 物遮挡之后,对这两个物体的识别都能更准确。这篇论文就把这种思想融入到了 RCNN 模型中,作者们为模型设计了显式的常识知识,并且用基于类别的知识图把图像中物体的语义知识表示出来。

弥补神经机器翻译模型训练和推理之间的缺口

这两篇论文不仅都对神经网络的优化过程提出了有效改进,而且两者还可以共同使用。这些成果都既增进了我们对神经网络损失空间的理解,还是非常有效的工具。

另一方面,在用深度模型学习空间常识、学习预测深度的同时,作者们还增加了额外的结构让网络能够提取临近的帧之间的变化信息,提高了网络处理运动物体的能力。最终效果是,只需要单个摄像头视角的输入,模型就可以输出稳定、高准确率的三维深度预测,对于运动的物体也有很好效果。这篇论文也获得了 CVPR 2019 最佳论文荣誉提名奖。

作者们提出的解决方案是,生成条件在「基于参考文本中的词」和「解码器自己的输出中预选择词」两种之间切换,论文的实验做得非常完善,结果令人信服。根据 ACL 2019 论文奖评选委员会的意见,这种方法适用于当前的纯学习训练范式,也能为规划采样带来改进;而且,这不仅可能影响本来针对的机器翻译任务的未来研究和应用,也能用来普遍地改进其它的序列到序列转换模型。这篇论文也被选为 ACL 2019 最佳论文。

在多智能体强化学习中把社交影响作为固有动机

AI 在游戏中胜过人类当然不是第一次了,不过 DeepMind 开发 AlphaStar 并不仅仅(和其它游戏 AI 一样)使用了大量的计算能力,他们使用的群体强化学习(群体进化、保留多种不同策略)等设计也改善了通常强化学习做法的问题,提高了智能体在复杂环境中的表现。不完全信息、高维连续行动空间的长序列建模问题的解决方案日趋成熟。

除此之外,我们还准备了一篇「2019 年十大新奇论文」,总结了这一年中尤其新颖有趣、甚至出格招致批评的论文。

2019 年精彩学术论文 Top10(按首字母排序)

活动现场,北京华德眼科医院医护人员对老年人容易出现的眼科疾病进行了小科普,并为在场老人进行现场眼健康筛查,根据检查结果,医生还给出了相应的治疗方案。

除此之外,作者们还做了许多改进,让模型更适应大规模物体识别、增强阶段之间的联系、优化识别效果。最终,模型的  mAP 在多个数据集上都有大幅提高。作者们的方法比较轻量,可以用在各种目标识别主干网络上,也可以集成各种不同的知识来源。

推荐理由:随着多智能体强化学习研究越来越多,为智能体设计/让智能体学会行动协调和信息交换成了一个重要课题。这篇论文中作者们的着力点就是在多智能体环境下,让智能体从其他智能体身上学会固有的社交动机。他们的方法是,如果一个智能体能影响其他智能体、让它们在协同和沟通方面都有更好的表现,那就奖励它。更具体地,作者们在论文中展示了,如果一个智能体让其他智能体的行为发生了较大的改变,那奖励它就更有可能鼓励不同的智能体之间有更多的共同信息交换。这样的机制会让智能体形成归纳偏倚,更有意愿学会协同运动,即便这些智能体都是各自独立地训练的。并且影响力的奖励是使用一种分布式的方式来计算的,能够有效解决突发通信的问题。这篇论文获得了 ICML 2019 最佳论文荣誉提名。

推荐理由:这篇论文要解决的任务「从单个摄像头估计运动物体的深度」乍看上去是无法完成的。这篇论文用了很巧妙的方法,一方面,作者们把 YouTube 上用户们自己上传的「时间静止」视频作为数据集,它们提供了海量的、天然的、带有人物的三维空间回放,经过传统方法还原之后就可以作为标注数据,免去了采集之苦。这实际上提醒我们,除了用传统众包方法专门收集数据集之外,网络上还有许多公开数据经过处理以后也可以成为很有价值的训练数据集。

作者:MIT,DeepMind,普林斯顿大学

既然稀疏的网络可以有和稠密网络差不多的性能,这篇论文里作者们就提出一个大胆的假设,看作是想要的稀疏网络本来就在稠密网络里,我们只需要把它找出来就可以 —— 更具体地,如果从随机初始化的网络随机做 n 次迭代可以得到训练好的稠密网络,从随机初始化的网络里做类似数目的迭代也可以找到表现差不多的稀疏网络。只不过,找到那个稀疏网络非常依赖好的初始值,而想在随机出好的初始值简直就像抽彩票。这就是论文核心的「彩票假说」。

推荐理由:现代的神经网络研究都有一个固定的模式,固定网络架构,通过优化寻找好的连接权重(训练)。这种惯例也引发了一些讨论,「如果我们把网络结构看作先验,把连接权重看作学到的知识」,那么我们能在多大程度上把知识以结构(先验)的形式集成在模型中呢?以及这样做是好还是坏呢?

白内障光明计划“北京市慈善基金会复明公益行”,不仅为北京市眼疾患者带来了福音,也为中老年白内障患者创造了一个重见光明的优秀服务平台,具有重要的现实意义。同时,希望通过社会各界的共同努力,不断扩大受助面,惠及到更多有需求的眼部疾病患者。

据悉,白内障光明计划“北京市慈善基金会复明公益行”公益活动由北京市慈善基金会主办、北京华德眼科医院协办。

一方面,在感知模型中加入常识、加入基础的推理能力是构建「视觉智能」的趋势;另一方面,其它研究者虽然在更早的研究里就提出过「从图像的目标识别生成关系图」,但是关系图生成了以后有什么作用呢,这篇论文就展示了,可以用图进一步改善目标识别任务本身的表现。

作者们设计了算法确认「是否抽到了好的号码」,也用一系列实验验证了假说、展示了好的初始值的重要性。甚至,从好的初始值出发得到的稀疏网络可以得到比稠密网络更好的表现。这篇论文获得了 ICLR 2019 的最佳论文奖。

推荐理由:2019 年 1 月,DeepMind 开发的星际 2 AI「AlphaStar」首次亮相就击败了人类职业选手。虽然当时的比赛规则明显对 AI 方有利,但我们已经感受到了 AI 并不是靠操作速度、而主要是靠优秀的策略取得胜利的。后来,在公平规则的、基于星际 2 天梯的大规模人机 1v1 比赛中,AlphaStar 继续发挥出了优秀的表现,取得了「Grandmaster」段位,大概为所有活跃玩家的前 0.15%。这也成为了 AlphaStar 论文发表在《Nature》杂志 2019 年 10 月刊所需要的最后一个实验。

公益活动中,北京华德眼科医院业务副院长丁振强就老视矫正、人工晶体种类、白内障手术年龄、手术时间以及手术后恢复等问题向与会的老年朋友做了认真细致的解答。

同一时期还有另一篇研究改进优化过程的论文《LookAhead optimizer: k steps forward, 1 step back》(arxiv.org/abs/1907.08610),它的核心思路是维持两套权重,并在两者之间进行内插,可以说是,它允许更快的那一组权重「向前看」(也就是探索),同时更慢的那一组权重可以留在后面,带来更好的长期稳定性。这种做法带来的效果就是降低了训练过程中的变差,就「减少了超参数调节的工作量」,同时「在许多不同的深度学习任务中都有更快的收敛速度、最小的计算开销」(根据论文作者自己的介绍)。

彩票假说:找到稀疏、可训练的神经网络

推荐理由:作为缩小网络体积、降低运算资源需求的技术路线,网络稀疏化和知识蒸馏一起得到了越来越多的关注。目前最常用的稀疏化方法是先训练一个大网络然后剪枝,稀疏的网络也可以得到和稠密网络差不多的性能。

通过观察静止的人学习预测移动的人的深度

作者:UIUC Liyuan Liu、韩家炜,微软研究院 高剑峰 等

“从前传统白内障手术的目的就是复明,让患者在手术后能‘看的见’就算成功了。而现在,随着人们逐步对生活质量要求的提高,白内障手术已不再是单纯的追求复明,而是要求更大化地提高术后视觉质量,要让患者具有良好的屈光状态,不仅要‘看得清,更要看得好’,伴随着蔡司三焦点等多功能人工晶体的应用,可帮助患者术后获得高质量清晰自然的近、中、远全程视力,并能够在解决白内障问题的同时,一并解决近视、远视、老花等诸多视觉问题。”丁振强表示。

作者:中科院计算所智能信息处理重点实验室,中国科学院大学,微信 AI 模式识别中心,伍斯特理工学院,华为诺亚方舟实验室

通过多智能体强化学习在星际2中达到「Grandmaster」段位

丁振强介绍:“如今的白内障手术,在全程计算机系统控制下,设定切口位置、大小、深度并利用飞秒激光取代了手术刀,精确至微米级别,让白内障手术全面进入‘无刀’时代;通过飞秒激光技术制作微创的切口进行晶状体撕囊和劈核,比手工操作切口更精准,为高端人工晶体植入提供了保障。”

活动现场,北京华德眼科医院业务副院长丁振强博士做白内障讲座

关于自适应学习率的变化以及更多

Reasoning-RCNN: 在大规模目标检测中应用统一的自适应全局推理