Graphcore 的首席执行官说，人工智能的未来是一个软件故事

AI 计算机初创公司 Graphcore 的首席执行官 Nigel Toon 说：“这里的误解是，这是一个需要解决的软件问题，而不是硬件问题，如果不是更多的话。”

Graphcore 以制造在每个“智能处理单元”或 IPU 芯片中拥有数十万个处理器内核的计算机系统而闻名，以处理人工智能问题。

它最新的机器有一个 IPU 芯片，“Bow”，由两个半导体芯片组成，一个叠在另一个上面。

然而，上周从位于英国布里斯托尔的 Graphcore 总部来到城里的 Toon 告诉 ZDNet，软件是日益庞大的 AI 问题所面临的巨大挑战的核心，而硬件虽然绝非微不足道，但却是， 从某种意义上说，次要的。

“你可以构建各种奇特的硬件，但如果你不能真正构建可以将一个人的描述能力在非常简单的水平上转化为硬件的软件，那么你就不是真正的解决方案，”图恩说。 在曼哈顿联合广场附近的 The Gray Dog 咖啡馆享用午餐。

另外：人工智能计算机制造商 Graphcore 推出 3-D 芯片，承诺 500 万亿参数的“超智能”机器

自大流行病封锁解除以来，这是图恩的多次旅行之一。 他很享受回到会见客户的过程中。 “再次旅行真好，”他面对面说道。

在他在美国的摇摆中要强调的要点之一是软件因素。 具体来说，是 Graphcore 的 Poplar 软件的功能，它将在 AI 框架（如 PyTorch 或 TensorFlow）上编写的程序转换为高效的机器代码。

Toon 认为，事实上，翻译行为才是 AI 的关键。 无论您构建什么硬件，挑战都是如何将 PyTorch 或 TensorFlow 程序员正在做的事情转化为任何可用的晶体管。

一个普遍的概念是，AI 硬件都是为了加速矩阵乘法，这是神经网络权重更新的构建块。 但是，从根本上说，它不是。

“它只是矩阵乘法，我们需要的只是卷积，还是我们需要其他操作？” Toon 反问道。

事实上，他说，“更多的是关于数据的复杂性。”

Toon 说，一个大型神经网络，例如 GPT-3，“实际上是一个关联的记忆”，因此数据之间的连接是必不可少的，而事物进出内存的移动成为计算的瓶颈。

另外：什么是 GPT-3？ 您的企业需要了解的有关 OpenAI 突破性人工智能语言程序的一切信息

Toon 对这种连接问题非常熟悉。Toon 在可编程芯片制造商 Altera 工作了 14 年，他回忆说，后来被英特尔收购。 一种可编程逻辑芯片，称为“FPGA”，通过其计算机块（称为单元）运行，通过在它们之间燃烧保险丝来为每个任务链接。

FPGA 的“所有软件”“都是关于如何获取图形，即您的网表或 RTL，并将其转换为 FPGA 内部的互连，”他解释道。

这样的软件任务变得非常复杂。

他说：“你在芯片内部构建了一个互连层次结构，试图让它发挥作用，但从软件的角度来看，将图形映射到互连是一个 NP-Hard 问题，”他指的是“非确定性 多项式时间”，一种计算复杂性的度量。

因为它是关于将关联的复杂性转化为晶体管，“这实际上是一个图形问题，这就是我们将公司命名为 Graphcore 的原因，”Toon 说。 一般而言，图是给定程序中不同计算任务之间相互依赖关系的总和。

“你必须从一种计算机科学方法开始，它说，这将是图形，你需要构建一个处理器来处理图形，进行高度并行的图形处理。”

“我们以此为基础构建软件，然后向下构建处理器，”他说。

这意味着硬件只是为软件服务。 “计算机遵循数据结构，”图恩争辩道。 “这是一个软件问题。”

另外：DeepMind 的“Gato”很平庸，那么他们为什么要构建它呢？

这是 Toon 借用 Nvidia 的 CUDA 软件的机会，该软件在 AI 世界拥有巨大的力量。

“这很有趣：许多人说 CUDA 在某种程度上是一个让其他任何人都无法竞争的生态系统，”Toon 观察到。 “但你误解的是没有人在 CUDA 中编程，没有人想在 CUDA 中编程，人们想在 TensorFlow 中编程，现在是 PyTorch，接下来是 JAX——他们想要一个高级构造，”他说，指的是各种开放的 -由 Meta 和 Google 及其他公司构建的源代码开发库。

“所有这些框架都是图框架，”他观察到，“你在描述一个相当抽象的图，在图中每个元素的核心都有大型运算符。”

Toon 指出，Nvidia“已经构建了一组令人惊叹的库，可以从程序员熟悉的高级抽象中进行转换——这是 Nvidia 所做的，不一定是 CUDA。”

进入 Graphcore 的竞争产品 Poplar，将 PyTorch 和其他产品转化为他所主张的是 Graphcore 更高效的硬件。 Poplar 拆开计算图并将其转换为当今 Graphcore 硬件中的任何门，以及明天将取代这些门的任何门。

然而，人们对 Graphcore 或许多其他有希望的年轻公司（如 Cerebras Systems 和 SambaNova）在 Toon 提到的那些库上与 Nvidia 竞争持怀疑态度。 在 4 月份的一篇社论中，著名的微处理器报告的编辑 Linley Gwennap 写道，“软件，而不是硬件”仍然是问题所在。 Gwennap 认为，对于 Graphcore 和其他公司来说，缩小差距的时间正在减少，因为 Nvidia 通过 Hopper 等硬件改进不断变得更好。

难道 Gwennap 等怀疑论者不欣赏 Poplar 软件的进步吗？

“这是一段旅程，”图恩说。 “如果你两年前接触白杨，你会说，它还不够好；如果你现在接触白杨，你会说，它其实还不错。

“两年后，人们会说，哇，这让我可以做一些在 GPU 上做不到的事情。”

Toon 断言，该软件已经拥有自己不断扩展的生态系统。 “看看我们围绕 Poplar 创建的生态系统，比如 PyTorch Lightning、PyTorch Geometric，”PyTorch 的两个扩展被移植到 Poplar 和 Graphcore IPU 芯片。

“它不仅仅是 TensorFlow，它是一个完整的套件，”他说。“TensorFlow 对 AI 研究人员来说很好，但它不是数据科学家、个人或非常大的企业可以来玩的环境。 “

从业者与科学家相比，需要易于使用的工具。 “我们使用 Hugging Face、Weights and Biases，”以及其他机器学习工具，他指出。 “还有许多其他图书馆即将推出，有些公司正在 IPU 之上构建服务，”并且“已经移植了与 Poplar 一起使用的 MLOps。”

与 Cerebras 和其他竞争对手相比，Graphcore “在构建软件生态系统以创造易用性方面遥遥领先，这样人们就可以进来”。

Toon 坚持认为，事实上，这归结为软件双头垄断。 “你看看其他任何人，即使是大公司，除了我们和 Nvidia 之外，没有其他人拥有这样的生态系统。”

同时，他声称，Nvidia 的硬件进步并不像他们吹嘘的那样，因为 Nvidia 的设计自由受到其自身成功的限制。 “Nvidia 在做什么？他们已经添加了 Tensor 核心，现在他们已经添加了 Transformer 核心——他们无法改变处理器的基本核心，因为如果他们这样做，所有的库都将被丢弃。”

他声称，虽然 Graphcore 在 MLPerf 行业测试套件的大多数基准测试中仍落后于 Nvidia，但 Poplar 和 IPU 设计的结合在可以谨慎应用的特定情况下提供了可衡量的优势。

“在某些模型上，例如图形神经网络，我们看到的性能是基于 Nvidia 的机器的五到十倍，”他说，“因为数据结构，我们在内部构建的底层架构 IPU 更适合那种稀疏的图形计算类型。”

此外：Graphcore 在最新的 MLPerf AI 基准测试中为 Nvidia 带来了新的竞争

他说，Poplar 软件还通过寻找并行化图形元素的巧妙方法，将运行 Transformer 模型的速度提高了两到三倍。

软件是战场，Nvidia 可以进行真正的竞争，前提是 AI 本身仍在不断发展。 人工智能程序有很多跑道可以变得更大，Toon 坚持认为，这会增加计算能力。

而破解人类认知密码的根本问题还很遥远。

首先，程序确实一直在变大。

当今最大的 AI 模型，例如 Nvidia 和 Microsoft 的 Megatron-Turing NLG，一种源自 2017 年 Transformer 创新的自然语言生成模型，具有 5000 亿个参数，或者权重，神经网络中需要调整的元素 这类似于真实人类神经元中的突触。

包括 Cerebras 在内的一些人指出了数万亿甚至数万亿参数的未来，Toon 也表达了同样的看法。

“随着参数数量的增加，数据量的增加，”Toon 观察到，“计算量增加了这两个部分的乘数，这就是为什么有这些不断发展的大规模 GPU 农场。”

100 万亿这个数字是一种神奇的目标，因为它被认为是人脑中突触的数量，因此它可以作为各种基准。

鉴于 Graphcore 和 Nvidia 以及其他所有人都在为其构建越来越强大的机器，因此在越来越大的问题上显然没有争议。

然而，Toon 对第二点感兴趣，即计算机科学问题，即所有这些是否可以完成任何有用的事情，以及它是否可以接近人类智能。

“围绕这一点的挑战是，你知道，如果你有一个包含 100 万亿个参数的模型，它会像人一样聪明吗？” 卡通说。

这不仅是将晶体管扔到这个问题上的问题，也是设计系统的问题之一。

“你知道吗，我们真的知道如何训练它吗？” 意思是，一旦神经网络具有 100 万亿个权重，就对其进行训练。 “我们知道如何给它提供正确的信息吗？我们是否知道如何以一种真正匹配人类智力的方式构建该模型，或者尽管有更多参数但它会如此低效吗？”

换句话说，“我们真的知道如何制造一台与大脑智能相匹配的机器吗？”

他提出，一个答案是专业化。 一个包含 100 万亿个参数的模型可能非常擅长狭义定义的东西。 “在像 [DeepMind 的游戏算法] Atari 这样的系统中，你有足够的约束来理解那个世界，”Toon 说。

同样，“也许我们可以建立足够的理解，例如，细胞如何工作，以及 DNA 如何转化为 RNA 再到蛋白质，然后你可以有一个强化学习系统，可以利用这种理解来解决，例如，好吧 ，那么我怎样才能以这样的方式折叠蛋白质，如果它与这个细胞结合，我就可以与细胞交流——假设这个细胞是癌细胞——我可以将一种药物附着在该蛋白质上，它可以 可以治愈癌症，”Toon 沉思道。

另外：AI：模式不在数据中，它在机器中

“这有点像 DeepMind 开发的 Atari 游戏，它变成了超人，一个在杀死癌症方面超人的系统——它会是专门的。”

他建议，另一种方法是“对世界的更普遍的理解”，类似于人类婴儿的学习方式，即“接触有关世界的大量数据”。 千亿个突触问题将成为构建“等级制度”的问题之一，图恩说。

“人类建立了对世界的理解等级，”他说，然后他们通过填补空白来“插入”。 “你使用你所知道的事情来推断和想象，”他说。

“人类非常不擅长外推；我们更擅长的是插值，你知道，有一些缺失的部分——我知道这个，我知道这个，而这个在中间的某个地方。”

Toon 对层次结构的思考呼应了该领域的一些理论家，包括 Meta 的 AI 首席科学家 Yann LeCun，他曾谈到在神经网络中构成理解层次结构。 Toon 表示他同意 LeCun 的某些方面的想法。

Toon 说，从这个角度来看，人工智能的挑战变成了“你如何对世界建立足够大的理解，以至于你正在做更多的插值而不是外推？”

他认为，这一挑战将是一个高度“稀疏”的数据，从小的后续数据更新参数，而不是对所有数据进行大量的重新训练。

“即使在你更新世界的特定事物中，你也可能必须触及你对世界的不同理解点，”图恩解释道。 “它可能不会全部整齐地集中在一个地方，数据非常混乱而且非常稀疏。”

从计算的角度来看，“你最终会得到许多不同的并行操作，”他说，“所有这些都非常稀疏，因为它们处理的是不同的数据片段。”

这两个想法、插值和更具体的癌症杀手模型，都与 Toon 的联合创始人、Graphcore 的首席技术官 Simon Knowles 提出的想法保持一致，他曾谈到“提炼”一个更通用的、非常大的神经网络 归结为特定的东西。

它们也是两个想法，似乎都在发挥 Poplar 软件作为关键功能的概念。 如果新数据是稀疏的，填补了空白，并且必须从关联内存中的许多地方提取，并且跨越许多图形操作，那么 Poplar 将扮演一种重要的角色，作为一种交通警察来分发这些数据和任务 IPU芯片之间并行。

另外：AI 初创公司 Graphcore 说世界上大多数人不会训练 AI，只是提炼它

尽管提出了这种情况，但 Toon 绝不是意识形态的。 他注意到，目前还没有人有确切的答案。 “我认为对于它如何运作存在不同的哲学和不同的想法，但没有人完全知道，”他谈到这个领域时说。 “这就是人们正在探索的。”

什么时候所有深层次的问题都能得到解答？ 可能不会很快。

“关于 AI 的惊人之处在于，我们从 AlexNet 到现在已经十年了，但我们仍然觉得我们正在探索，”他说，指的是在 2012 年 ImageNet 竞赛中表现出色的神经网络，它带来了深度学习形式 AI脱颖而出。

“我总是用电脑游戏来类比，”图恩说，他为他的第一台电脑编写了一个星球大战游戏，一个来自“早已被遗忘”的电脑制造商的 6502 套件。 “我们可能仍处于吃豆人阶段，我们还没有进入三维游戏，”就人工智能的发展而言，他说。

在 3D 游戏的发展过程中，“我不认为会有 AI 冬天，”Toon 认为，他指的是几十年来资金枯竭并使该行业陷入困境的多次。

“今天的不同之处在于，它有效，这是真实的，”他说。 在以前的时代，对于像 1980 年代的 Thinking Machines 这样的人工智能公司，“它只是行不通，我们没有足够的数据，我们没有足够的计算。

“现在，很明显它有效，有明确的证据，它带来了巨大的价值，”图恩说。 “人们在它的支持下建立整个企业，”他说。 “我的意思是，字节跳动和 TikTok 从根本上说是一家人工智能驱动的公司，这只是它在整个技术领域和企业中渗透的速度有多快的问题。”

科技巨头之间的争斗，例如 TikTok 和 Meta 的 instagram 之间的争斗，可以被视为一场人工智能之战，一场拥有最佳算法的军备竞赛。

还有：六十秒后的人工智能

Graphcore 肯定有钱度过任何一个冬天，人们应该认为，有 7.3 亿美元的风险融资。 Toon 拒绝提供信息或 Graphcore 的收入。

“我们有钱，我们有团队，”他说。 “我认为你总是可以拥有更多的钱和更大的团队，但你必须在现有的限制条件下工作。” Graphcore 拥有 650 名员工。

目前，AI 寒冬并不是挑战。 在 Poplar 和 IPU 的卓越软件组合上销售客户是。 这听起来确实像是一场与巨头 Nvidia 的艰苦战斗。

Meta 是 Facebook 的所有者，最近宣布了一款用于 AI 和 Metaverse 的“研究超级计算机”，该计算机基于 6,080 个 Nvidia GPU。 似乎人们只是想要越来越多的 Nvidia。

“我认为这就是我们作为一家企业面临的挑战，我们能否改变人们的心灵和思想，”图恩说。

好吧，他们可以吗？

“注意这个空间，”图恩说，然后前往机场。