亚马逊 AWS 机器学习峰会主题演讲以 Alexa 厕所幽默拉开序幕

周三上午，亚马逊的AWS云计算服务通过虚拟传输拉开了机器学习峰会的序幕。

上午的主题演讲由 AWS 人工智能和机器学习副总裁 Swami Sivasubramanian 主持； Alexa Shopping 研究与科学副总裁 Yoelle Maarek； AWS 机器学习副总裁 Bratin Saha； 软件制造商 Intuit 的首席数据官 Ashok Srivastava 作客。

Sivasubramanian 首先谈到机器学习是一代人中“最具变革性”的技术之一。 他引用了一个统计数据，每天发表 100 多篇机器学习论文。 “机器学习正在成为主流，”Sivasubramanian 说。 Sivasubramanian 表示，超过 100,000 名客户使用 AWS 进行机器学习，并引用了制药巨头罗氏和纽约时报等公司的例子。

Sivasubramanian 提供了在 ML 开发中“从客户那里逆向工作”的例子。 第一个例子是系统如何“用更少的数据学习”。 Sivasubramanian 说，随着 ML 成为主流，访问和注释数据“太乏味了”。 他举了一个例子，NFL 希望管理其足球比赛的视频资产库。 另一位客户是一家拥有 80 年历史的披萨公司，希望确保每个披萨都含有相同数量的奶酪以保持质量。 该公司使用 AWS 获得了用于比萨检查的成像系统。 解决方案是所谓的“小样本学习”，其中机器学习仅提供有限数量的示例。

Sivasubramanian 指出，小样本学习用于 Amazon Rekognition 产品中的自定义数据标记。 例如，NFL 为视频中的球员和球衣等事物分配自定义标签。 Amazon 的缺陷检测服务 Amazon Lookout for Vision 也使用 Rekognition。

Sivasubramanian 引用了复制真实工厂设置的愿望。 因此，开发 Lookout for Vision 的团队建造了一个工厂的复制品，以在现实世界中尝试少镜头方法。

Sivasubramanian 的下一个例子是用机器学习理解“不规则文本”，例如，文本是模糊的。 他指出，准确性下降了。 这对于真实世界的实例很重要，例如转录医生的手写笔记。

当上下文很少时，使用文本的前几个字母进行猜测的传统语言模型方法会遇到问题。 因此，AWS 团队发明了一种称为“SCATTER”的东西，用于“选择性上下文注意场景文本识别器”。

SCATTER 通过附加处理发送图像，该处理具有可以选择使用上下文信息或仅使用视觉信息的解码器。 Sivasubramanian 说，SCATTER 技术使基准字符识别任务的文本识别提高了 3.7%，这是一个很大的进步。 SCATTER 现在用于 AWS 的自动文本提取服务。

Sivasubramanian 随后提到了 Maarek，谈论“赋予 Alexa 幽默感”。 Maarek 引用了 Alan Turing 1950 年关于“计算机器和智能”的论文，该数学家在该论文中反对关于计算机的假设。

“想想调试器，”Maarek 说，这是计算机如何“思考自己的想法”的一个例子，人们认为计算机不会这样做，但图灵说他们会。 Maarek 说：“在计算机科学领域，图灵已经将幽默感视为一项真正艰巨的挑战”。

Maarek 说，挑战不是试图让 Alexa 变得有趣，而是“我们想回顾过去，询问客户是否有趣，以及机器应该如何回应它，”Maarek 解释道。

这导致了“当客户是一个有趣的人时检测幽默”的挑战。 为了训练该系统，Maarek 和团队查看了亚马逊上幽默的客户评论。 她说，“我们实际上在产品评论中发现了很多有趣的问题”，比如一位顾客问，“你能通过 Nintendo Switch 视频游戏机黑进黑客帝国吗”。 Maarek 继续解释这个笑话……

另一个例子是客户的讽刺，她说。 一位顾客问道，豪华饮料柜会“让我飞起来”吗？ Maarek 说，“讽刺：有趣。” 另一种幽默是“幽默的优越论”，比如询问Amazon Show家电会不会做早餐。 她解释说，这是人类表现出对简单机器的卓越理解的一个例子。 有人问 Hutzler 香蕉切片机，“它会向另一个方向弯曲吗？” 另一个例子：“如果一只独角兽在树林里放屁，周围没有人，它会发出声音吗？” （与独角兽肉产品有关。）

Maarek 说，该团队建立了一个深度学习模型，采用了关于幽默的概念，例如主观性，并使用了嵌入。 “我们考虑了领域偏差，以确保我们没有过度拟合我们的模型。” 因此，该团队能够在去年的 SIGER 会议上发表一篇幽默准确度很高的论文。

然后，该团队继续研究如何在 Alexa 中使用语音进行检测。 她问道，客户会喜欢 Alexa 理解幽默吗？ 还是客户想要感觉优越？ Maarek 引用了用户对 Alexa 的幽默言论，例如“Alexa，你能打嗝吗？”

“你会看到大量的厕所幽默，”她说，“这是一个非常重要的幽默领域的一部分，即解脱幽默。”

“Alexa，你的血型是什么？” 是被问到的事情之一。 她指出，有些例子与其说是有趣，不如说是好玩。 这样的话语是人类拟人化和优越感的例子。 “我们定义了嬉戏，”她说。 有趣意味着“客户不希望 Alexa 按字面意思接受此请求”，并且 Alexa 不应向用户的购物清单添加任何内容。

Maarek 说，她和团队必须重新研究亚里士多德、康德、叔本华和其他伟大思想家关于幽默的教义，以了解幽默的所有形式。 调查所有形式的幽默有助于团队了解用户将从 Alexa 中获得的乐趣。 问题变成了，如果 Alexa 理解他们的幽默，用户会喜欢吗？

该团队从“拟人化”开始，人们将 Alexa 视为一种人格，以此作为探索问题的推测点。 他们招募了 100 名大学生进行盲目提问，与一个他们不知道是 Alexa 的实体交谈（该实体被命名为“雪莉”，是电影《飞机》中的一出戏。）

学生的问题由 Google 的 BERT 转换器神经网络的自定义版本进行检查。 它采用了情绪分析等。 “我们有一个非常好的模型，”她说，“可以即时检测这些有趣的拟人化话语。”

该团队去了一个快速约会网站，以了解人们在试图变得有趣或好玩时会问的问题。 这导致了一项关于拟人化问题的调查，人们会问“你觉得自己和女人一样好吗？” 是一种被问到的问题。

结果是该团队确定当 Alexa 回应他们的嬉戏时，人类提问者会喜欢它。 “他们真的不想在 Alexa 上玩，而是想和 Alexa 一起玩，”研究得出的结论是。

Sivasubramanian 然后回到舞台上并谈到了 ML 使用的一个工业示例：亚马逊的自动化履行中心。 该公司在德国运营中心的设备上安装了 800 个传感器。 “我们学到了很多，”Sivasubramanian 说，包括如何减少故障，以及如何更好地了解从传感器到无线网关的最佳范围。 Sivasubramanian 表示，亚马逊将在未来几个月内在其配送设施中安装“数万个”Monitron 传感器。

Sivasubramanian 继续谈论“横向”用例，在这些用例中，客户没有太多的 ML 技能。 这包括“嵌入”所谓的“autoML”，客户不需要了解模型设计或调整。 然后，该技术用于客户服务、文档识别等。Sivasubramanian 提出了用于医疗保健的特定领域模型，例如医疗笔记转录。

Sivasubramanian 调出了公司的开发环境 Amazon SageMaker，这是该公司将 PyTorch 和 TensorFlow 等机器学习框架带给数据科学家的方式。

然后 Sivasubramanian 开始大规模部署机器学习，他邀请了 Saha。 Saha 指出，客户已经将他们的模型部署从早期的“只有几个”模型增加到每个客户“数千个”。 他指出，SageMaker 现在每月支持数千亿次预测。 “在短短几年内，从十几个模型到数百万个模型和数千亿个预测，”Saha 总结了这一进展。

Saha 将 Lyft 列为客户。 他们使用 SageMaker 减少了“5 级”ADAS（自动驾驶）的模型训练时间。

iFood 是拉美领先的食品配送公司，它使用 SageMaker 减少了配送人员的出行距离。

Saha 列举了“在日常生活中使用 SageMaker”的例子。 他说，这包括你从亚马逊订购的情况。 Amazon 需要集成和管理履行工具。 这包括“每年监控数百万的全球货运”。 这导致亚马逊内部团队构建了一个计算机视觉系统来扫描运营中心的物品。 该项目无法处理生产中的新请求。 因此，他们不得不离线开发 ML 模型。 这个过程需要三到六个月。 Saha 表示，借助 SageMaker，该团队能够将模型部署时间缩短至两周，并将“预测延迟”减少 50%。

“我们正在沿着三个方向构建 SageMaker，”Saha 说。 “基础设施、工具和 ML 产业化。” Saha 谈到了构建在 SageMaker 之上的东西，包括 AWS Inferentia，Snap、Autodesk 和 Condé Nast 等客户使用它来降低成本并提高推理性能。

Saha 谈到了今年将用于 EC2 实例的基于 Habana Gaudi 的芯片（Habana 是芯片巨头英特尔的一个部门）。 他还提到了 AWS 自己开发的用于 ML 训练的“Trainium”芯片，该芯片也将于今年晚些时候推出。

Saha 开始讨论部署多个端点的问题，每个端点对应一个 ML 模型。 解决方案是 SageMaker 的“多模型端点”，它允许“在单个端点上托管数十万个模型”。 他说，这导致了预测准确性和吞吐量的优化。

下一项技术是 SageMaker Clarify，这是一种深入了解 ML 模型产生某些预测的原因的工具。 Saha 引用了 SageMaker 对“Shapley 值”的使用，在模型或数据集上运行实验以查看预测如何改进。 他说，亚马逊能够使那些 Shapley 测试的运行速度比现有的开源实施快十倍。

他说，第三个方向是机器学习的产业化。 “我们问自己，软件是如何从一个利基市场走向一个行业的？” 它涉及来自软件的工具，例如 IDE 和 CI/CD。 他指出，SageMaker 是 ML 的第一个 IDE。 他指出，另一个类似的工具是 CI/CD 工具，这在 ML 中很少可用。

因此，亚马逊构建了 SageMaker Pipelines，这是第一个专门为机器学习构建的 CI/CD 服务，他说。 该工具允许在每个时间步回滚和排除 ML 代码故障。 3M 等客户正在使用 Pipelines 来扩大规模。 “只需点击几下，您就可以创建一个完全自动化的工作流程，将数月的编码时间减少到几个小时，”Saha 说。

Saha 说，另一个工业化途径是对每个人进行 ML 培训。 他指出，每位加入亚马逊的工程师都必须学习 ML。 亚马逊正在通过 Coursera 上的新 MOOC（大规模开放在线课程）与 DeepLearning.ai 一起实现深度学习。 实用数据科学课程面向准备在企业中实施 ML 的人员。 （Coursera 的联合创始人 Andrew Ng 在今天晚些时候的峰会上发表了演讲。）

Sivasubramanian 回来介绍了 Intuit 的首席数据官 Srivastava。 Srivastava 说 Intuit 的“使命”是“促进世界各地的繁荣”。 他引用了通过 TurboTax（4800 万）和“Mint 用户有权做出明智的金钱决定”（超过 2500 万）提交的纳税申报表的统计数据。

Srivastava 说，其中很多是“大规模人工智能和机器学习”的结果。 Intuit 自 2018 年以来一直与亚马逊 AWS 合作。Intuit 已将 250 个“AI 资产”投入生产，并在生产中运行 2,059 个“AI 任务”。 他说，近年来，Intuit 已经能够在美国申请 600 项人工智能专利。

Srivastava 谈到了他所谓的人工智能“需求层次”。 实际的 AI 模型位于金字塔的顶端，Intuit 希望其开发人员关注的东西，而“非生产性”的东西是它下面的 ML 基础设施，以及下面的数据基础设施。 这些就是 Intuit 依赖亚马逊的地方。 Srivastava 表示，该公司的移动应用程序部署增加了 60%。 “你的人工智能团队的好处是巨大的，”他说。 Intuit 已部署的 ML 模型数量增加了 50%。

Srivastava 审查了 Intuit 的机器学习，该构建在 SageMaker、Amazon Connect 等之上。其中包括 Intuit 构建的 ML Ops 功能和 CI/CD 工具链。 然后最重要的是，该公司建立了它的“虚拟专家”，可以实时回答诸如 Intuit 客户的家庭装修查询等问题。 该系统使用自然语言处理、数字助理等，将用户与主题专家联系起来。

Srivastava 使用了 TurboTax Live 的例子，它提出了关于一个人的工作等问题来计算一个人的税收。 “通过虚拟专家的魔力，你可以联系到合适的专家，”一位人类顾问说，他说。 他指出，这可以通过进行路由的机器学习来实现。

Sivasubramanian 在结束主题演讲时广泛指出机器学习如何“改变整个业务流程”。 这是通过“降低进入壁垒”实现的。