计算摄影

在过去几年中，在手机相机的质量和多功能性方面的改进一直值得我们关注。其中一方面是手机使用的物理传感器的改进，另一个主要的方面是计算摄影科学的进步。我们的研究团队发布了他们的新研究技术，并与谷歌 Android 和消费者硬件团队密切合作，将这项研究应用在最新的 Pixel 和 Android 手机及其他设备上。2014 年，我们引入了 HDR+ 技术，让镜头捕获图像帧，在软件中对齐帧，并通过计算软件将它们合并在一起。最开始我们是为了让图片具有比单次曝光更高的动态范围。不过，先捕获帧然后对这些帧执行计算分析是一种通用方法，可以在 2018 年的相机中实现很多高级功能。例如，Pixel 2 提供的 Motion Photos，以及 Motion Stills 中的增强现实模式。

2018 年，我们在计算摄影方面的主要工作之一是开发了一种叫作 Night Sight 的新功能，让 Pixel 手机的摄像头能够“看到黑暗中的东西”，赢得了媒体和用户的赞誉。当然，Night Sight 只是我们团队开发的能够帮助用户拍摄完美的照片的众多新功能之一，其他的还包括使用 ML 提供更好的肖像拍摄模式、使用 Super Res Zoom 进行进一步的取景，以及使用 Top Shot 和 Google Clips 捕捉精彩的瞬间。

算法与理论

算法是谷歌系统的核心，触及我们所有的产品，从 Google Trips 背后的路由算法到谷歌云的一致性哈希算法。在过去的一年中，我们继续研究算法和理论，涵盖了从理论基础到应用算法、从图形挖掘到隐私保护计算等领域。在优化算法方面，我们的工作涉及从研究机器学习的持续优化到分布式组合优化。在机器学习的持续优化方面，我们在训练神经网络随机优化算法收敛性（获得 ICLR 2018 年最佳论文奖）方面的研究揭示了基于梯度的优化方法（例如 ADAM 的一些变体）存在的问题，同时为提出基于梯度的新优化方法奠定了基础。

ADAM 和 AMSGRAD 在一维凸问题上的性能比较

在分布式优化方面，我们致力于改进组合优化问题的通用性和通信复杂性。在其他应用方面，我们开发了一些算法，例如，通过草拟覆盖大规模数据集，对具有数万亿条边的图进行平衡分区和层次聚类。我们在线交付服务方面的工作获得 WWW2018 最佳论文奖。最后，我们的开源优化平台 OR-tools 在 2018 年 Minizinc 约束编程竞赛中获得了 4 枚金牌。

在算法选择理论方面，我们提出了新的模型，并研究了重建和学习多项分对数混合的问题。我们还研究了可通过神经网络学习的函数类，以及如何使用机器学习来改进经典的在线算法。

在谷歌，保证学习技术的严格私密性对我们来说非常重要。我们开发了两种新方法来分析如何通过迭代和重排来放大隐私差异。我们还应用差异隐私技术来设计在游戏方面具有健壮性的激励感知学习方法。这种学习技术在高效的在线市场设计中得到了应用。我们在市场算法领域的新研究还包括帮助广告客户测试广告竞价的激励兼容性，以及针对应用内广告的优化技术。我们还进一步推动了重复竞价方面最先进的动态机制的边界，提出了强大的动态竞价。

最后，在在线优化和在线学习的健壮性方面，我们开发了新的用于流量峰值时刻的随机输入的在线分配算法，以及对损坏的数据具有健壮性的新强盗算法。

软件系统

我们对软件系统的大部分研究仍然与构建机器学习模型和 TensorFlow 有关。例如，我们发布了 TensorFlow 1.0 的动态控制流程。我们的一些新研究引入了一个叫作 Mesh TensorFlow 的系统，可以很容易地指定具有模型并行性的大规模分布式计算，还支持数十亿个参数。另外，我们还发布了一个可扩展的深度神经排序库。

TF-Ranking 库支持多项目评分架构，这是对传统单项评分的扩展

我们还发布了 JAX，这是 NumPy 的一个变体。虽然 JAX 不是 TensorFlow 的一部分，但它利用了一些相同的底层软件基础设施（例如 XLA），并且它的一些想法和算法对我们的 TensorFlow 项目有所帮助。最后，我们继续研究机器学习的安全性和隐私性，并开发 AI 系统的安全和隐私开源框架，如 CleverHans 和 TensorFlow Privacy。

对我们来说，另一个重要的研究方向是将 ML 应用于软件系统。例如，我们继续研究如何将带有层次模型的计算移到设备上，并在学习内存访问模式方面做出了一些贡献。我们还继续探索如何使用学习索引来取代数据库系统和存储系统中的传统索引结构。

一个 NMT 模型中 Hierarchical Planner 的放置

2018 年，Spectre 和 Meltdown 是在现代计算机处理器中出现的新型安全漏洞。在我们继续努力模拟 CPU 的行为时，我们的编译器研究团队将他们用于测量机器指令延迟和端口压力的工具集成到 LLVM 中，从而可以做出更好的编译决策。

谷歌产品、我们的云产品和机器学习模型推理严重依赖于为计算、存储和网络提供大规模、可靠、高效的技术基础设施的能力。过去一年的一些研究亮点包括谷歌软件定义网络 WAN 的发展——这是一个独立的联合查询处理平台，可以在很多存储系统（BigTable、Spanner、Google Spreadsheets 等）中针对基于不同文件格式的数据执行 SQL 查询，以及我们的代码评审报告——调查谷歌代码评审背后的动机、当前实践以及开发人员的满意度和面临的挑战。

运行一个托管内容的大型 Web 服务需要在动态环境中实现稳定的负载均衡。我们开发了一致性哈希方案，可以保证每台服务器具有最大的负载，并将其部署到 Google Cloud Pub/Sub 中。Vimeo 的工程师找到了我们发布的早期论文，在 haproxy 中实现了这个方案，然后将其开源，并将其用于 Vimeo 的负载均衡项目中。结果很是令人感到兴奋，这些算法帮助他们将缓存带宽减少了近 8 倍，同时消除了缩放瓶颈。

AutoML

AutoML，也称为元学习，即通过机器学习来自动化机器学习。多年来，我们一直在研究这个领域，我们的长期目标是开发出可以利用从之前已解决的其他问题中得出的见解和能力来找出新问题并自动解决问题的系统。我们在这个领域的早期工作主要使用强化学习，但我们对使用进化算法也很感兴趣。

去年，我们展示了如何使用进化算法自动发现各种视觉任务的神经网络架构。我们还探讨了如何将强化学习应用于除神经网络架构搜索之外的其他问题。我们的工作表明，它可以被用于自动生成图像变换序列，用以提高各种图像模型的准确性，以及找到新的符号优化表达式，比常用的优化更新规则更有效。我们在 AdaNet 方面的工作展示了如何拥有一个具有学习保证的快速灵活的自动算法。

AdaNet 自适应地增长了神经网络的集合。在每次迭代中，它测量每个候选者的集合损失，并选择最佳的一个进入下一次迭代

我们的另一个重点是自动发现计算效率高的神经网络架构，这样它们就可以在移动电话或自动驾驶汽车上运行，这些环境对计算资源或推理时间有严格的限制。我们的工作表明，在强化学习架构搜索的奖励函数中将模型的准确性与其推理计算时间相结合，就可以找到高度准确的模型，同时满足特定的性能约束。我们还探索了使用 ML 来学习自动压缩 ML 模型，以便可以使用更少的参数和更少的计算资源。