隐形助手 -

2006年7月27日
第4卷，第6期

隐形助手

一个实验室对普适计算的实验

GAETANO BORRIELLO，华盛顿大学

普适计算旨在将计算机置于我们周围的任何地方——融入日常生活的结构之中¹——从而改善我们的生活。无论是提高我们的工作效率，与家人和朋友保持联系的能力，还是我们的娱乐，目标都是找到方法，通过让所有这些计算机——无论大小、可见与否——协同工作，使技术为我们服务。自从马克·维泽在1991年提出普适计算愿景以来，我们在创建更快、更小、更低功耗的计算设备方面取得了显著进展。然而，我们才刚刚开始着手解决如何让这些设备有效地与我们以及彼此互动的问题。

过去，计算机一直是工具。我们明确地命令它们执行步骤来完成一项工作。以这种方式使用它们，无意中将我们许多人变成了系统管理员——加载和升级软件，配置网络和服务，以及移动和存储数据。事实上，似乎花费在这些活动上的时间呈非线性增长，因为设备之间每对交互都需要特别关注。我们尝试自动化其中一些任务，但自动化还有很长的路要走，并且常常会产生额外的兼容性问题。

今天，计算机是我们环境中不可或缺的一部分，就像电动机融入到针对特定任务的电器中，不再被视为电动机一样²。汽车中的ABS（防抱死制动系统）现在集成了来自车轮和踏板上多个传感器的数据，以帮助驾驶员最有效地应用制动器。当然，人类可以做到这一点，但ABS可以更快、更好地做到——在首次检测到踏板移动时加速制动器的应用，然后与实际的车轮行为创建一个反馈回路以防止侧滑。涉及许多传感器和计算机，但只有一个简单但高度专业化的用户界面：制动踏板。我们无需了解所有这些设备是如何协调的细节。

未来，计算机将成为我们的助手，不仅帮助我们更轻松地做事，而且还能预测我们的需求。我们希望计算成为我们自身的延伸——具有改进的感官和能力。例如，我们开始看到汽车配备了雷达系统，可以检测到前方是否有汽车正在刹车，或者路况正在发生变化。通过自动检测危险情况，刹车可以比任何人类都可能希望的更快“反应”来应用。增加的安全边际是我们将会要求并愿意为此付出的。

普适计算的研究正专注于构建未来使用计算机和传感器集合的主动应用程序时出现的问题。在华盛顿大学，我们致力于普适计算的一个应用，这帮助我们开始探索这些问题^3,4,5,6,7,8。该项目由拉里·阿恩斯坦领导，他后来创立了一家名为Teranode的公司，以商业形式提供该应用的部分组件⁹。

LABSCAPE

细胞生物学家在湿实验室中进行实验——在实验室中，样品与试剂混合、加热、离心、分离、凝胶化等。这是一个数据密集型环境，记录每个细节非常重要，以便其他研究人员能够以较少的额外努力和高保真度地重现实验。为了实现这一点，细胞生物学家主要使用纸质笔记本。然而，许多复杂情况可能会妨碍及时准确地记录所有信息。

例如，污染风险禁止将纸张或PDA带入实验室。这迫使研究人员尽可能多地记住，并在稍后记录下来，或者将它们潦草地写在从实验室取出的小纸片上。更复杂的是，研究人员经常同时进行多个实验，以填补实验步骤之间出现的显著时间间隔。例如，在等待样品孵育时，研究人员将并行开始另一个实验。现在，他们必须确保每个细节，例如使用了多少试剂或样品加热到什么温度，都与正确的实验相关联。

另一个复杂因素是，多个研究人员可能共同参与一个实验。不同的人可能擅长使用某种设备，或者可能以更擅长执行某些步骤而闻名。因此，可能有多个人处理一个样品，中间间隔很长时间，但每个步骤收集的数据必须汇集在一起，以记录单个实验。

在研究实验室中，与生产实验室不同，研究人员经常需要查阅其他来源，以决定下一步实验该做什么——不一定有固定的协议可以遵循。研究人员需要用来决定做什么的信息可能来自网络上可用的静态资源，甚至来自同一实验中较早步骤的结果。对于研究人员来说，能够原位访问这些数据非常重要，这样他们才能保持专注。

正是在这种数据丰富的环境中，我们试图开发一种普适计算解决方案，该方案将自动记录与进行实验相关的所有数据，并在所有需要数据的地方提供数据。我们的目标是实现基于研究人员只是做他们的工作而进行的自动文档记录，而不是像目前实践中那样通过显式的额外步骤。我们的系统旨在成为一个助手，它就像在研究人员的肩膀上，记录下发生的一切，并在需要时提供数据——无需询问。想想电视剧《M*A*S*H》中的雷达·奥莱利角色，就可以想象这种助手的愿景。

在随附的方框中，我们使用在我们的工作中收集到的一系列图像来描述我们开发的普适计算应用/环境Labscape。

我们解决的第一个问题是创建一个组织数据的框架。为此，我们将研究人员已经做的事情形式化。在进入实验室之前，他们通常会草拟一系列他们将要遵循的步骤，只是为了帮助理清思路，并提供一个记录生成数据的地方。我们应用程序的第一个要素是一个用于指定实验流程图的工具——一种实验的示意图。我们能够将实验室中的所有步骤分为八个基本类别，并为每个类别定义了图标，以及一组预先填充（例如，要使用的试剂类型）或在实验期间填充（例如，实际使用了多少试剂）的参数。

细胞生物学湿实验室在空间上是有组织的。工作台被分配给特定的程序，以便设备可以在许多研究人员之间分时共享。因此，每个工作台都可以与我们的流程图中的特定类型的步骤相关联。我们使用小型红外标签来检测研究人员是否靠近特定的工作台，并使用样品上的条形码来唯一标识每个容器。每个工作台还配备了一台平板电脑，以提供可用于查看和输入数据的触摸感应显示表面。根据每个工作台的设备，我们还开发了一些特殊设备来调整设备上的设置或记录研究人员所做的更改。

我们根据我们引入实验室的设备收集的几个环境信息来确定研究人员在实验期间所处的位置。首先，我们可以使用近程标签将人员与工作台关联起来。其次，我们可以通过在每个工作台放置条形码阅读器或在样品上使用RFID标签并在工作台上放置阅读器天线，将样品与工作台或设备（例如，冰箱或离心机）关联起来。第三，我们通过在每个工具上添加无线传感器来记录设备的使用情况，甚至包括移液器（以一种不显眼的方式，不会改变仪器的可供性），并记录它们的使用方式以及在哪个工作台上使用。最后，工具产生的任何数据也被记录下来，并与工作台、研究人员和样品关联起来。这需要创建一些适配器，因为许多工具已经提供数字信息，但以非标准形式提供，难以集成到统一的数据存储库中。例如，我们希望数据携带仪器的识别号，以便可以对照校准和维护记录进行检查。

我们特别关注记录研究人员如何在微阵列托盘中填充许多孔。这是通过一个向下俯视工作区域的摄像头完成的。移液器尖端和托盘上的标记使视觉算法能够准确定位和定向物体。如果触发移液器以分配其内容物，我们可以记录将多少液体滴入精确的哪个孔中。移液器也可以通过将其尖端悬停在孔上方来查询孔的内容物。与摄像头平行安装的数据投影仪用于将此信息投影到阵列旁边，研究人员可以在那里轻松读取。孔与孔之间微小的参数变化极大地帮助了跟踪研究人员在执行重复程序中取得了多大进展。当目视检查显示出有趣的效果时，也很容易看出孔有什么不同。

与实验相关的所有信息都通过数据流图汇集在一起。流程图中的参数随着研究人员执行每个步骤而填充。多人参与工作并不重要，因为样品和研究人员都被识别出来了。同样，研究人员可以随意交错地进行多个实验。在每个时间点，我们都会对需要做什么有一个相当好的想法，这基于样品是什么以及它与什么流程图相关联；流程图中可能的下一步是什么（那些输入已经可用的步骤）；研究人员是谁，基于工作台到人的距离；以及该工作台上有什么设备可用，来自实验室的配置数据。通常可以消除生成的数据属于哪里的歧义。

为了支持系统，我们在每个实验室工作台的触摸屏上提供了视觉反馈——研究人员在屏幕上被识别出来，并且与样品对应的实验计划会自动弹出，显示可能的下一步以及何时从工作台上发生的事情集成数据。这使得研究人员可以轻松地使用他们的周边视觉，并且始终能够检查系统是否在轨道上。

当然，也存在一些混淆因素。例如，在执行某个步骤期间，可能有两名研究人员在同一个工作台；特定的设备可能没有被仪器化，无法与我们的数据收集兼容；同一工作台上可能同时存在多个样品。在这些情况下，我们使用触摸显示屏来显示可用数据的可能解释，并让那里的人员进行明确的关联。有时，研究人员想要更改流程图，因为在实验期间观察到了一些情况。这种更改必须被允许，并对任何数据进行适当的重新关联。

一旦实验完成，记录其步骤和结果的所有数据都会自动与原始实验流程图关联起来。几个利益相关者从中受益。最初的研究人员拥有记录实验每个步骤所需的所有数据——我们设想一个工具甚至可以自动编写研究论文的方法部分。研究人员的同事，他们可能通过帮助完成一些步骤做出了贡献，不必担心信息传递的问题——这是通过实验室的普适基础设施记录的关联自动完成的。通过以机器可读的形式获得数据和实验设计，更广泛的研究社区可以基于相似的样品、程序或结果搜索实验——并且找到另一位研究人员的数据，可以更容易地复制结果或使用它们来决定他们自己研究方向的下一步。

请注意，此应用程序不是传统的应用程序。它是长期存在的，因为没有人会“启动”或“退出”该应用程序。它在实验室中始终运行，因为它可以区分不同的研究人员和实验。它是该环境中不可或缺的一部分，并像实验室工作人员维护的任何其他设备一样进行维护。它是上下文感知的，因为它使用不同的感知数据来分类信息，并决定用户可能想要做什么或接下来看到什么。

Labscape软件有几个实现版本，所有版本都基于Java。我们最初的临时版本被一个基于我们为普适计算应用程序开发的系统软件的版本所取代¹⁰。它为应用程序从一台机器迁移到另一台机器以及从一个屏幕迁移到另一个屏幕提供了支持，并提供了集中管理功能。

经验教训

Labscape的经验为构建主动应用程序提供了几个重要的经验教训。这些经验教训从常识性教训到实现细节不等。

隐形并不意味着没有用户界面。 应该始终有一个易于看到的用户界面，允许用户检查系统是否按预期运行，或者可以覆盖系统正在主动执行的操作。在Labscape中，这意味着每个工作区域都有一个触摸屏，显示实验的流程图。此外，它还显示了每条感知数据如何用于修饰流程图。

传感器融合的原则性方法。 当使用传感器来确定人们在做什么时，歧义总是可能的。使用多个传感器可以帮助消除困难情况的歧义。从一开始就考虑传感器融合非常重要，因为稍后添加它极其困难。通过用户界面及时让用户参与解决更困难的歧义也很重要。

增量部署。 应该可以分部分安装系统，而不是作为一个整体实体。新的设备不断添加到实验室，旧的设备从实验室移除。系统需要具有弹性以适应这些变化，并且每次进行更改时都不需要进行重大重新配置。

没有充分理由，不要改变工作习惯。 在所有时候，我们都试图将我们的技术融入现有的工作习惯和设备中，并尽可能减少对工作习惯的影响。当需要全新的交互模型时，普适技术的采用就会受到阻碍。用户希望通过可衡量的改进来解决他们工作中的问题。如果工作习惯发生如此大的改变，以至于出现一系列全新的、常常是无法预见的问题，他们就没那么感兴趣了。

故障安全。 应用程序需要易于维护和以故障安全的方式运行。我们认识到使实验室设备上运行的所有软件都无状态的重要性。也就是说，可以随时打开和关闭任何一个设备或显示器，而不会丢失有价值的数据。持久性在一个单独的服务器中维护，该服务器包含所有感知环境和实验流程图的数据库。数据关联可以随时重建，并且不依赖于文件系统或内存数据结构。

标准，标准，标准。 为了使像Labscape这样的系统真正有用，我们需要标准化数据格式，以便可以开发支持工具的生态系统。这包括流程图、感知环境和设备设置。

结论

Labscape是同类应用中的首批应用之一，但它是正在兴起的新浪潮的一部分。类似的想法正在应用于从医院¹¹到老年护理¹²到油轮维护¹³等各种应用中。它们突出的特点将是使用环境信息来组织信息，以便呈现给许多利益相关者，以及预测任何时间点需要什么的能力。长期存在、上下文感知、主动的应用程序将是普适计算为社会带来益处的方式。

参考文献

Weiser, M. 1991. 21世纪的计算机。《科学美国人》（9月）。
Norman, D. A. 1998. 《隐形计算机》。马萨诸塞州剑桥市：麻省理工学院出版社。
Arnstein, L., Sigurdsson, S., Franza, R. 2001. 生物实验室中的普适计算。《实验室自动化杂志》6(1)。
Arnstein, L., Borriello, G., Consolvo, S. Hung, C., Su, J. 2002. Labscape：细胞生物学实验室的智能环境。《IEEE普适计算移动和普及系统》1(3)。
Arnstein, L., 等人. 2002. 普适计算的系统支持：Labscape的两个实现案例研究。第一届普适计算国际会议，瑞士苏黎世（8月）。
Consolvo, S., Arnstein, L., Franza, R. 2002. Ubicomp环境的设计和评估中的用户研究技术。第四届普适计算国际会议，瑞典哥德堡（9月）。
Grimm, R., Davis, J., Lemar, E., MacBeth, A., Swanson, S., Anderson, T., Bershad, B., Borriello, G., Gribble, S., Wetherall, D. 2004. 普适应用程序的系统支持。《计算机系统汇刊》22(4): 421-486。
Hile, H., Kim, J., Borriello, G. 2004. 微生物托盘和移液器跟踪作为一种主动有形用户界面。第二届普适计算国际会议，奥地利维也纳。
Teranode; http://www.teranode.com/。
参见参考文献 7。
Bardram, J. E. 2005. 基于活动的计算：支持普适计算中的移动性和协作。《个人和普适计算》9(5)。
Consolvo, S., 等人. 2004. 面向老年人护理网络的技术。《IEEE普适计算移动和普及系统：成功老龄化》3(2)。
Krishnamurthy, L., 等人. 2005. 工业传感器网络的设计和部署：来自半导体工厂和北海的经验。第三届嵌入式网络传感器系统会议 (SenSys 2005)，美国加利福尼亚州圣地亚哥。

GAETANO BORRIELLO是华盛顿大学计算机科学与工程学教授。他主要以其在数字电路自动综合、可重构硬件和嵌入式系统开发工具方面的工作而闻名。最近，Borriello是Portolano Expedition的主要研究员，Portolano Expedition是由DARPA赞助的隐形计算调查，Labscape是其中的一个关键应用。他于2001年至2003年部分休假，创立并指导了英特尔西雅图研究实验室，该实验室已发展成为普适计算研究的主要实验室之一。他的研究兴趣是基于位置的系统、基于传感器的推理以及使用被动和主动标签标记物体。

最初发表于Queue杂志第4卷第6期—
在数字图书馆中评论本文

更多相关文章

Vinnie Donati - 推动组织可访问性
在本文中，我们将探讨微软如何在整个组织中推动可访问性，并将仔细研究促进包容性文化的基本框架和实践。通过检查诸如意识建设、战略发展、可访问性成熟度建模等各个方面，我们旨在为开始其可访问性之旅的组织提供指南。我们的想法是分享我们所学到的知识，希望您可以采纳它，对其进行调整以适应您公司的目标，并以一种不仅仅是勾选框活动的方式来培养可访问性，而是真正将其融入您的文化中。

Shahtab Wahid - 设计系统是可访问性交付工具
设计系统是为消费者（设计师和开发人员）构建的基础设施，他们致力于应用程序的开发。一个成功的设计系统可以让组织中的消费者快速扩展跨应用程序的设计和开发，提高生产力并建立一致性。然而，许多消费者没有准备好为可访问性而构建。组织能否使应用程序的可访问性支持的构建具有可扩展性、生产力和一致性？本文探讨了设计系统如何成为支持可访问性的重要工具。

Juanami Spencer - 移动应用程序的可访问性考虑
在创建移动应用程序时，考虑可访问性至关重要，以确保尽可能广泛的受众可以使用和享受它们。与桌面体验相比，移动可访问性有其独特的考虑因素，但它为那些日常活动中依赖移动设备的用户提供了巨大的价值。通过牢记这些考虑因素，移动产品开发团队可以更好地支持和改善所有用户的生活。本文探讨了移动应用程序的一些关键可访问性考虑因素，并重点介绍了Bloomberg Connects应用程序如何在产品和流程中支持可访问性的几种方式。

Chris Fleizach, Jeffrey P. Bigham - 系统级可访问性
本文通过我们使iPhone能够使用VoiceOver屏幕阅读器进行非视觉使用的工作来说明系统级可访问性。我们为非视觉使用重新构想了触摸屏输入，引入了适用于屏幕阅读器控制的新手势，并且对于输出，我们添加了对合成语音和可刷新盲文显示器（输出触觉盲文字符的硬件设备）的支持。我们添加了新的可访问性API，应用程序可以采用这些API，并使我们的用户界面框架默认包含它们。最后，我们添加了一个可访问性服务，以桥接这些新的输入和输出与应用程序之间的联系。