2018 年 5 月 26 日 James Cuff
我们最近考虑了为什么计算经常被称为分布式计算,即使它不应该是分布式的, 或者被称为其他名称,但实际上不是。这里有一个新的概念。分散式计算。在这个新的一无所有、兼职、超级忙碌的经济中——我们越来越多地没有汽车却拼车,不住酒店却共享房屋——出现了不拥有计算却共享计算的概念。
等等。我们之前不是都看过这部电影很多次了吗?我们当然记得很多演员,其中至少有一个可能出演过《警察故事》 。网格、电子科学、寻找外星智慧、随机折叠蛋白质以发现药物——分布式和分散式计算范例的列表不胜枚举。我们都经历过,我们中的许多人的衣柜里都塞满了陈旧的印花 T 恤。
那么,为什么会出现这种新的去中心化炒作呢?一个词:区块链。在谷歌上搜索区块链,会返回 3030 万个结果,IBM、埃森哲和麻省理工学院出现在高度针对性和资金充足的搜索频谱的全面推广广告端。区块链显然是一件大事。分布式账本和消除双重支付有助于集中全球对去中心化货币的迷恋,能够通过计算挖掘新货币和大规模首次代币发行 (ICO)。从这项技术中,一个黑暗的金融黑社会发展起来,它笼罩在神秘之中,越来越多的隐身骗子兜售许多人并不完全理解的反乌托邦;欺诈猖獗,欺诈很常见,钱是赚的,但钱也是赔的。
让我们明确一点,区块链并不邪恶。这项技术本身并不邪恶,任何技术都不可能邪恶,区块链技术也很棒。将来源和安全性构建到链中并能够来回播放事件是一个非常酷的想法。然而,我们必须将金融和加密货币链与有关实际技术的任何合法对话分离开来。这就是为什么 IBM 等重量级人物深入区块链的原因。他们不是在兜售 ICO 或奇怪的假币,而是在推动我们数字交易中的数据来源、可信度和责任制。
一个很好的例子是,教育领导层现在正在寻求区块链来支持教育来源。能够通过系统跟踪学生并在他们完成作业和工作时检查他们的数字凭证是一件非常重要的事情,尤其是现在越来越多的课程都在网上进行。使用安全哈希进行可追溯性的加密数据块是一个非常好的主意。
进入分散式计算
Next Platform最近采访了去中心化计算的倡导者 Chris Matthieu,他也是Computes.com的首席执行官。Computes 表示,它通过安全的去中心化点对点网格计算平台提供“无限计算”。这当然是描述中所有正确的词语,但 Computes 是如何实现这一点的,Matthieu 在这里到底是什么意思?经过长时间的交谈,事实证明,这实际上既相当微妙,从远处看也相当聪明。
对于金融应用区块链,你可以将数据写入区块,然后以加密哈希值对区块进行签名,将其写入账本(一种数据库)。链上的每台计算机都有整个账本的副本,这可能会带来问题。此外,还存储了所谓的“工作量证明”,这是比特币中存在的一种机制,使区块链不可篡改。有效的工作量证明表明,矿工正在证明他们为生成区块做了一定量的工作。
不幸的是,最近的攻击也证明了任何给定链条中总是存在薄弱环节。账本可能会变得非常庞大和笨重,如果您试图构建一个用于工作负载调度的去中心化计算基础设施,并希望以薄边缘设备为目标,那么您实际上会排除许多物联网设备,因为它们太小而无法参与其中。携带完整的账本也非常慢。Matthieu 意识到他需要一个分布式账本,但也不需要工作量证明组件的负担,才能调度计算并跟踪负载调度的属性。将 Computes 视为一个去中心化的主批处理调度程序,您基本上就走在了正确的轨道上。
现在进入IPFS
IPFS最初是由 Juan Benet 发起的一项努力,旨在构建一个能够快速移动版本化科学数据的系统。通过版本控制可以跟踪软件状态随时间的变化(例如 Git)。IPFS 是一个分布式文件系统,旨在将所有计算设备与相同的文件系统连接起来。这个预先存在的分布式系统为 Computes 团队节省了多年的精力——该框架基本上已经由Protocol Labs编写并获得了大量资源支持,Protocol Labs 是一个备受尊敬的技术团队,不仅参与了 IPFS,还参与了Filecoin、libp2p、ipld和许多分散和分布式网络技术,这些技术是一些人所说的“新网络”的基础。
回到 IPFS,这里才是真正有趣的地方。所有 IPFS 对象的总和形成了一个加密认证的数据结构,称为 Merkle DAG。Merkle表示它是一个使用加密哈希来处理内容的加密认证数据结构, DAG是有向无环图,与分布式计算调度程序完美契合。几十年来,DAG 也被HTCondor等分布式计算系统最有效地使用, HTCondor 内部的Dagman多年来一直在幕后忙于将数十亿的工作负载调度到开放科学网格。这本质上是一个不改变没有损坏的东西的经典案例。
因此,从 IPFS 开始,就有了 DAG、不可变记录、并行和分布式作业状态分类帐。基本上,您需要做的就是将它们与一些额外的软件连接在一起以安排作业,然后就可以开始比赛了。这正是 Computes 所做的,正如该公司在频繁的帖子中详细解释的那样。Computes关于其网状分散式调度程序的白皮书和Lattice分布式数据存储的白皮书与现在无处不在的GitHub 存储库一起更深入地描述了底层技术。Computes 目前可扩展到每秒数千个交易,设计目标是 100 万 TPS – 这意味着大量同时安排的工作负载。目前,Computes 有 600 名注册开发人员,但我们希望更多地了解当今实际使用该软件的人员和科学家。
实际应用
我们与威斯康星大学麦迪逊分校通信科学与障碍系语言病理学研究员Carrie Rountrey进行了一次漫长而富有洞察力的对话。总结一下,Rountrey 的研究重点是帕金森症,从计算的角度来看,他们正在努力寻找更高效、更有效的测量工具来了解患者、研究对象和健康对照者的录音。然后,他们应用自动特征提取和自动语音识别系统来检查音频文件的特定特征。在与 Rountrey 的对话中,我们注意到帕金森症患者在发声方面会表现出非常微妙的变化,这在理论上最终可以带来更准确、更早的诊断,并为患者提供更好的支持。
Rountrey 特意指出这仍是极早期的研究,但我们注意到该方法最终确实会映射到分散式计算和数据收集范例。最重要的研究原因是,录音最好是在患者在家中进行日常活动时进行。患者在家中切菜的同时与配偶交谈,这与需要运动技能来避开刀片的环境截然不同,而且这还会产生比在录音诊所这种更无菌的环境中必然发现的更微妙的声音。这些细微的言语模式变化正是 Rountrey 分析和花时间寻找的。临床录音受环境问题的影响,与在家中发现的问题不同。我们与 Rountrey 进行了类比,认为这种环境录音问题类似于“白大褂高血压”,类似于患者在诊所的血压读数较高,而现场动态联网血压监测设备获得的读数则经过验证且更准确。语音记录显然是一个完全不同的领域,具有更大的数据速率和计算能力,但这种远程和分布式特性以及微创技术的应用在这里至关重要。
Rountrey 的最终目标是构建分布式数据收集和计算,但目前规模非常小。当前的计算环境位于实验室内,数据受到严格控制并受 IRB 监管,如今,任何东西都不能离开实验室。然而,Rountrey 的软件堆栈是建立在许多不同科学家多年研究的基础上的。许多交错且复杂的软件。拥有一种严谨的科学方法将软件包含在计算机映像中,并能够进一步容器化计算和数据,对于研究来说尤为重要。不幸的是,这项研究的资金也不足以为项目提供大量计算基础设施,因此能够安全地将工作负载转移到无人拥有的计算上将非常重要。
这是一个有趣的用例,一名研究人员使用计算,他是语言病理学专家,但他的日常工作不是计算。目前,计算作为用例并没有其他分布式计算工作无法实现的具体内容,但通过与 Matthieu 团队的密切合作,他们为实验室中运行的平台提供了可行的概念验证,他们可以从自己的立场看到未来会是什么样子。
未来是去中心化的吗?尚不清楚。但是,看到 Matthieu 的蒸汽朋克风格视频片段和他对这个领域的热情(成功退出了上一家 IoT 通信公司Octoblu,将其出售给 Citrix Systems),他也看过我们的分布式计算电影。目前,该平台的盈利计划尚不明确,因为有许多不同的选择,甚至包括使用分类账来支持比特币之类的货币交易,以直接计费计算和存储。那时我们回到了原点。时间会告诉我们,这种新的去中心化是否会成为旧的分布式,还是最终会一模一样。
Comments (0)
No comments