AWS 的系统正确性实践
利用形式化和半形式化方法
构建可靠和安全的软件需要一系列方法来推理系统正确性。除了行业标准测试方法（如单元测试和集成测试）之外，AWS 还采用了模型检查、模糊测试、基于属性的测试、故障注入测试、确定性模拟、基于事件的模拟以及执行跟踪的运行时验证。形式化方法一直是开发过程的重要组成部分——也许最重要的是，形式化规范作为测试预言，为 AWS 的许多测试实践提供了正确的答案。正确性测试和形式化方法仍然是 AWS 的关键投资领域，这些领域的投资已经看到了卓越的回报，这加速了投资。
数据中心计算机的中间表示
降低健壮且高性能分布式系统的负担
我们已经到了分布式计算无处不在的地步。内存应用程序数据大小正在超过单台机器的容量，因此需要将其分区到集群中；在线服务具有高可用性要求，这只能通过将系统部署为多个冗余组件的集合来实现；高持久性要求只能通过数据复制来满足，有时甚至跨越广阔的地理距离。
模拟：分布式系统中未充分利用的工具
模拟在人工智能系统的出现中发挥着巨大的作用：我们需要一种高效、快速且经济高效的方式来训练人工智能代理在我们的基础设施中运行，而模拟绝对提供了这种能力。
融合
实践研究重启
我非常自豪和激动地宣布重启 acmqueue 的“实践研究”专栏。从 2016 年成立之初开始，在三年时间里，“实践研究”通过学术界专家精心策划，将开创性和前沿研究成果带到那些忙于构建事物而无暇管理大量学术出版物的从业者面前。我们相信该系列成功实现了其既定目标，即在学术界及其在业界的同行之间分享“阅读计算机科学研究的乐趣和效用”。我们知道我们的读者想念它，我们很高兴在中断三年后重新点燃火焰。
去中心化计算
将所有相关输入提供给中央求解器是解决问题的显而易见的方法，但这并非总是唯一的方法。仅使用本地通信和本地计算的去中心化方法有时是最好的方法。本期“钻头”回顾了一个用于自组织无线网络的优雅协议，该协议还可以解决看似不可能的社交网络问题。该协议在参与者之间保护隐私，并且非常简单，可以用铅笔、纸和明信片来实现。示例软件实现了去中心化协议和中央求解器。
公司到云端：Google 的虚拟桌面
Google 如何将其虚拟桌面迁移到云端
超过四分之一的 Googler 使用内部、数据中心托管的虚拟桌面。这种本地部署的产品位于公司网络中，允许用户从世界任何地方远程开发代码、访问内部资源和使用 GUI 工具。在其最显着的特性中，虚拟桌面实例可以根据手头的任务进行调整大小，具有持久的用户存储，并且可以在公司数据中心之间移动以跟随出差的 Googler。直到最近，我们的虚拟桌面都是使用名为 Ganeti 的自研开源虚拟集群管理系统托管在 Google 公司网络上的商用硬件上的。今天，这项重要且对 Google 至关重要的工作负载在 GCP（Google Compute Platform）上运行。
每朵乌云都镶有银边
缓存为王。如果你的缓存被削减，你将会感受到它。
显然，你的管理层从未听过“一分钱一分货”这句话。或者他们听到了，但没有意识到它适用于他们。云计算的节省是以失去对系统的控制为代价的，这最好地概括在流行的书呆子贴纸上，上面写着“云只是别人的计算机”。一些提供商现在提供了一种叫做金属即服务的东西，我真的认为这应该意味着一支 80 年代的金属乐队会出现在你的办公室，演出一场演出，砸碎家具，并在地毯上撒尿，但不幸的是，这只是云提供商最终承认云计算并非真正适用于所有应用程序的方式。
看门狗与雪花
进行大胆猜测
系统可能随机卡住不仅表明系统存在严重错误；这也是风险的主要来源。你没有说你的分布式作业控制系统控制什么，但我们假设它不是具有重大现实世界副作用的东西，例如发电站、喷气式飞机或金融交易系统。当然，风险在于系统会在不方便某人添加虚拟作业来清除卡顿时卡住，而是在某些可能导致数据丢失或返回不正确结果的操作期间卡住。
超越分布式事务的生命
叛教者的观点
本文探讨并命名了在拒绝分布式事务的世界中，大规模关键任务应用程序的实现中使用的一些实用方法。主题包括细粒度应用程序数据的管理，这些数据可能会随着应用程序的增长而随时间重新分区。设计模式支持在这些可重新分区的数据片段之间发送消息。
站在分布式巨人的肩膀上
有远见的物理学家们真聪明！
如果你足够努力地眯起眼睛，分布式计算的许多挑战看起来都类似于伟大的物理学家所做的工作。天哪，那些家伙真聪明！在这里，我们研究了一些最重要的物理学突破，并将一些异想天开的类比与计算世界中的现象联系起来……只是为了好玩。
调试分布式系统
验证和调试的挑战和选项
分布式系统对软件开发人员提出了独特的挑战。推理系统节点的并发活动，甚至理解系统的通信拓扑都可能很困难。获得系统活动洞察力的标准方法是分析系统日志。不幸的是，这可能是一个繁琐而复杂的过程。本文着眼于区分分布式系统与其他类型软件的几个关键特性和调试挑战。本文介绍了几种有前途的工具和正在进行的研究，以帮助解决这些挑战。
您应该将大数据上传还是运送到云端？
公认的智慧并非总是正确。
当您希望移动到云端的数据达到 TB 级及以上时，人们普遍认为最好将其运送到云提供商，而不是上传。本文分析了运输和上传策略的比较、它们所依赖的各种因素，以及在何种情况下最好运送而不是上传数据，反之亦然。鉴于千兆位速度互联网连接的日益普及，以及更新版本的驱动器接口（如 SAS 和 PCI Express）支持的数据传输速度的爆炸式增长，这种分析性确定非常重要。
时间是一种幻觉。
午餐时间更是如此。 - 福特·普里弗克特对道格拉斯·亚当斯的《银河系漫游指南》中的亚瑟·登特说
关于数字系统——尤其是现代计算机——更令人惊讶的事情之一是它们的时间保持得多么糟糕。当大多数程序在单个系统上运行时，这对大多数软件开发人员来说不是一个重要问题，但是一旦软件进入分布式系统领域，这种不准确性就成为一个重大挑战。
演进与实践：金融领域的低延迟分布式应用
金融行业对低延迟分布式系统有独特的需求。
实际上，所有系统都对延迟有一些要求，这里延迟定义为系统响应输入所需的时间。延迟要求出现在飞机飞行控制、语音通信、多人游戏、在线广告和科学实验等不同的问题领域中。分布式系统提出了特殊的延迟考虑因素。近年来，金融交易的自动化推动了对具有挑战性延迟要求和全球地理分布的分布式系统的需求。自动化交易为不断缩小的延迟要求的工程挑战提供了一个窗口，这可能对其他领域的软件工程师有用。
从 EDVAC 到 WEBVAC
面向计算机科学家的云计算
到现在为止，每个人都听说过云计算，并意识到它正在改变传统企业 IT 和新兴初创公司构建未来解决方案的方式。这种向云端发展的趋势仅仅是硬件和软件行业复杂经济学的转变，还是对计算的根本不同思考方式？在行业工作过之后，我可以自信地说两者都是。
遍布全球的可靠 Cron
...或者我是如何不再担心并学会热爱时间的
本文介绍了 Google 分布式 Cron 服务的实现，该服务为绝大多数需要定期调度计算作业的内部团队提供服务。在它存在的过程中，我们吸取了很多关于如何设计和实现看似基本服务的教训。在这里，我们讨论了分布式 Cron 面临的问题，并概述了一些潜在的解决方案。
没有“现在”
分布式系统中同时性的问题
现在。我写下这个词到你读到它之间的时间至少是几个星期。这种延迟是我们理所当然的，甚至在书面媒体中都不会考虑的。“现在。” 如果我们是在同一个房间里，而我大声说出来，你可能会有更强的即时感。你可能会直觉地感觉好像你和我说话的时间完全相同。这种直觉是错误的。如果，你不相信你的直觉，而是思考声音的物理学，你就会知道在我说和你听到之间一定已经过去了时间。
Unikernel：虚拟库操作系统的兴起
如果虚拟设备中的所有软件层都在同一个安全、高级语言框架内编译，会怎么样？
云计算一直在开创将大型数据中心中的计算资源出租给多个（并且可能是竞争对手的）租户的业务。云的基本使能技术是操作系统虚拟化，例如 Xen1 或 VMWare，它允许客户在共享的物理机器集群上多路复用 VM（虚拟机）。每个 VM 都表现为一台独立的计算机，启动标准操作系统内核并运行未修改的应用程序，就像它在物理机器上执行一样。
迈向软件定义的 SLA
公共云中的企业计算
公共云引入了可能重塑企业计算的新技术和架构。特别是，公共云是企业应用程序、平台软件和新的设计中心。大规模、按需资源的 API 驱动编排是一个重要的新设计属性，它将公共云与传统的企业数据中心基础设施区分开来。企业应用程序必须适应新的公共云设计中心，但与此同时，新的软件和系统设计模式可以为公共云服务添加企业属性和服务级别。
就是无法回避：你正在构建一个分布式系统
构建分布式系统需要有条不紊地处理需求。
分布式系统难以理解、设计、构建和操作。与单台机器相比，它们在设计中引入了指数级的更多变量，使得应用程序问题的根本原因更难发现。应该说，如果应用程序没有有意义的 SLA（服务级别协议）并且可以容忍长时间的停机和/或性能下降，那么入门门槛就会大大降低。然而，大多数现代应用程序都期望用户具有弹性，SLA 通常以“几个 9”来衡量（例如，每月 99.9% 或 99.99% 的可用性）。
公寓和云
环境中的约束增强了服务。
住在公寓里有其约束和服务。通过定义生活方式和限制使用模式，可以将许多房屋紧密地打包在一起，并为居民提供许多便利设施。对于那些有兴趣并愿意在其约束范围内生活并享受共享公共服务的人来说，公寓生活可以提供巨大的价值。
保护云中的弹性
弹性计算具有巨大的潜力，但仍存在许多安全挑战。
作为某种技术炒作的抱怨者，直到最近我仍然相信云计算只不过是多年来围绕一个想法的最新营销驱动的炒作。外包 IT 基础设施服务，又名 IaaS（基础设施即服务），自 20 世纪 80 年代以来就已存在，由电信公司和主要的 IT 外包商提供。托管应用程序，又名 PaaS（平台即服务）和 SaaS（软件即服务），在 20 世纪 90 年代以 ASP（应用程序服务提供商）的形式流行起来。
为何云计算永远不会免费
云提供商之间的竞争可能会压低价格，但代价是什么？
IT 行业上次向企业交付外包共享资源计算是在 20 世纪 80 年代的时分共享，当时它发展成为一门高超的艺术，提供了企业要求的可靠性、性能和服务。今天，云计算有望解决同一市场的需求，这基于新技术的革命、企业数据中心中大量未使用的计算能力以及高度强大的互联网数据通信基础设施的发展。从集中式共享基础设施交付计算的规模经济使客户期望云计算成本将显着低于提供自己的计算所产生的成本。
使用 MonALISA 监控和控制大型系统
MonALISA 开发人员描述了它的工作原理、其背后的关键设计原则以及构建它时遇到的最大技术挑战。
加州理工学院的 HEP（高能物理）小组于 2002 年开始开发 MonALISA（使用大型集成服务架构的监控代理）框架，旨在提供能够控制和优化大规模数据密集型应用程序的分布式服务系统。其最初的目标应用领域是网格系统和支持 HEP 协作的数据处理和分析的网络。我们尝试满足数据密集型应用程序需求的策略是转向应用程序、计算和存储设施以及网络基础设施之间更协同的关系。
云计算：概述
从 首席技术官圆桌会议中提炼出的重要云计算问题摘要
自时分共享的发明或 PC 的引入以来，云计算可能比我们在 IT 领域看到的任何事物都更能代表信息服务交付架构的范式转变。本概述介绍了 2008 年 云计算和虚拟化首席技术官圆桌会议期间讨论的一些关键主题。虽然本概述并非旨在取代深入的圆桌讨论，但它总结了专家组普遍同意的基本问题，并应帮助读者评估云计算对其应用领域的适用性。
首席技术官圆桌会议：云计算
我们的专家组讨论云计算以及公司如何最好地利用它。
许多在行业期刊上阅读有关云计算的人会认为它是解决所有 IT 问题的灵丹妙药。事实并非如此。在本次首席技术官圆桌会议讨论中，我们希望为从业者提供有用的建议，以了解如何评估云计算对其组织的价值。我们的重点将放在资金不足、工作过度且大量资产被旧硬件和软件占用的 SMB（中小型企业）IT 经理身上。云计算在多大程度上可以解决他们的问题？借助该快速发展领域的五位当前思想领袖的帮助，我们为该问题提供了一些答案。
分布式计算经济学
计算经济学正在发生变化。如今，以下各项的价格大致相当：（1）一次数据库访问；（2）10 字节的网络流量；（3）100,000 条指令；（4）10 字节的磁盘存储；以及（5）1 兆字节的磁盘带宽。这对如何构建互联网规模的分布式计算具有影响：人们将计算尽可能地靠近数据，以避免昂贵的网络流量。
计算是免费的。世界上最强大的计算机是免费的（SETI@Home 是一台 54 万亿次浮点运算的机器）。Google 每年免费为世界上最大的在线数据库（2 PB）提供万亿次搜索。Hotmail 每年免费发送万亿封电子邮件。Amazon.com 提供免费图书搜索工具。许多网站提供免费新闻和其他免费内容。电影、体育赛事、音乐会和娱乐节目通过电视免费提供。
超越 Beowulf 集群
随着集群规模和复杂性的增长，管理其配置变得越来越困难。
在 90 年代初期，David Culler 领导下的伯克利 NOW 项目假设可以使用能力较弱的机器组来解决科学和其他计算问题，而成本仅为大型计算机的一小部分。1994 年，Donald Becker 和 Thomas Sterling 致力于通过采用当时刚起步的 Linux 操作系统在 NASA 戈达德太空飞行中心构建 Beowulf 集群，从而进一步降低成本。通过将桌面机器与 PVM、MPI 和 PBS 等开源工具连接在一起，早期的集群（通常是将 PC 塔堆叠在金属架子上，并用一堆电线将它们互连）从根本上改变了科学计算的平衡。
企业网格计算
网格计算为企业数据中心带来了巨大的希望，但仍存在许多技术和运营障碍。
我不得不承认，当广大 IT 人员面对围绕网格技术（尤其是在企业内部）的大肆宣传时，我深感同情。各个供应商都试图在名义上的处女技术领域插上自己的旗帜，并宣布它为自己的，使用了诸如网格、自主、自我修复、自我管理、自适应、实用程序等等术语。分析师们，嗯，分析并试图理解这一切，在此过程中，每个人都独立地创建了他或她自己对这片未知领域的地图，并将其命名为基于策略的计算、有机计算等等。不幸的是，这只会进一步混淆大多数人的视听。
Web 服务和 IT 管理
Web 服务不再仅仅用于应用程序集成。
平台和编程语言的独立性，加上行业发展势头，使 Web 服务成为大多数企业集成项目的首选技术。它们与 SOA（面向服务的架构）的密切关系也帮助它们获得了更高的知名度。请考虑 SOA 的以下定义：“一种架构风格，其目标是在交互式软件代理之间实现松散耦合。服务是服务提供商为实现服务消费者的期望最终结果而完成的工作单元。
企业软件即服务
在线服务正在改变软件的本质。
虽然外包诸如工资单之类的业务职能的做法已经存在了几十年，但它作为在线软件服务的实现最近才开始流行。在在线服务模型中，提供商开发一个应用程序并运营托管它的服务器。客户通过互联网使用行业标准浏览器或 Web 服务客户端访问该应用程序。各种在线应用程序，包括电子邮件、人力资源、业务分析、CRM（客户关系管理）和 ERP（企业资源规划），均可使用。
描述大象：IT 即服务的不同面孔
诸如网格、按需和面向服务的架构等术语都陷入了混乱，但它们背后都存在一个总体趋势。
在一个著名的寓言中，一群盲人被要求描述一头大象。每个人都遇到了动物的不同部位，并且毫不奇怪地提供了不同的描述。今天，我们在 IT 行业中看到了类似程度的混乱，诸如面向服务的架构、网格、实用程序计算、按需、自适应企业、数据中心自动化和虚拟化等术语被广泛使用。就像听盲人说话一样，很难知道这些词语背后的现实是什么、不同的部分如何组合在一起，以及我们应该对正在描述的动物做些什么。