今天,我们有幸与图灵奖得主Jack Dongarra进行了一次深入的对话,探讨了他对高性能计算、AI、科学研究的看法。Dongarra的贡献深刻地影响了当今的计算机科学领域,他的见解值得我们认真倾听。
Dongarra的工作主要集中在高性能计算 (HPC) 领域,他开发的算法和软件对许多科学计算领域产生了巨大影响,包括AI和图形学。如今AI系统在训练和推理过程中严重依赖高性能计算,这都离不开Dongarra的奠基性工作。
“他的算法和软件对许多科学计算领域产生巨大影响,包括AI和图形学。” - 灵渠官方这样评价。
他主导开发了一系列标志性的线性代数软件包,包括LINPACK、广泛使用的BLAS (Basic Linear Algebra Subprograms) 以及其后继者LAPACK (Linear Algebra Package)。 这些库运转在今天几乎所有科学计算设备的底层。此外,他还参与了 MPI (Message Passing Interface) 的设计与推广,这是一种在分布式内存系统实现高效并行计算的关键标准。
简单来说,他解决了每个计算机都要处理的数学问题,并提供了一套统一的"积木"给各个计算设备使用。 当这些计算变得越复杂,对速度越发限制——比如今天全世界的计算资源都涌向AI领域,Dongarra的研究价值就越关键,它们支撑了今天AI最底层的要素。
Dongarra因其在高性能计算领域的杰出贡献,荣获了2021年ACM图灵奖 (ACM A.M. Turing Award)。
在ASC(亚洲大学生超级计算机竞赛)期间,我们有机会和Dongarra聊了很多,包括DeepSeek在内,以及今天AI领域人们关心的多个话题。
他强调了AI在处理复杂数学问题上的重要性,以及高效实现线性代数计算对于提升AI应用程序的性能至关重要。他还指出,AI需要的精度通常低于传统科学计算,这为优化算法和硬件提供了空间。
关于DeepSeek,Dongarra表示:DeepSeek所取得的成就是伟大的。
“DeepSeek所取得的成就是伟大的 (that was a great accomplishment that DeepSeek had)。”
他认为他们能够开发一个系统,并且以比传统方法更少的资源来完成,这让每个人都开始思考并试图更好地理解他们是如何做到的,以及如何可以将其应用到自己的AI应用中。
他强调保持开放态度对于让人们看到他们是如何做到的这个事实的重要性,因为这会让其他人能够复制和扩展。
当我们问及他目前关注的核心问题时,Dongarra表示:
我目前关注的一个核心问题是:如果未来计算机的硬件不再原生支持高性能计算的64位精度计算,我们该如何确保依然能获得64位的计算结果?
Dongarra认为,虽然过去曾有一些数学方法被应用过,但这些"旧"思路未来将扮演重要角色。他们正在研究如何利用这些技术方案,确保在硬件变革中不丧失64位的计算精度。
他还强调了需要调整基准测试体系。 他既不想想丢弃原有基准信息,又想对其进行补充,增加新的基准来衡量其他方面。于是他们推出了名为HPCG的新的基准,旨在衡量当今高性能机器上运行的实际科学问题的性能表现。
他认为拥有基准至关重要,更重要的是这些基准必须真实反映计算机的实际工作情况。我们应当预期基准会随时间演进,不断向集合中添加新的基准,以保持与我们所运行应用的高度相符。
科学是发现新事物,它是关于如何利用现有知识来继续向前突破,以得到新的知识,以及更好的对事物如何运作的理解。 他认为我们利用了计算机来做这些事情,而且做了很多。
Dongarra还谈到了他对美国科学的看法。他指出,今天美国正经历一个尴尬的时期,科学不像过去那样受到重视,资金也不如过去充足。如果这种情况持续下去,将会导致很多问题。
他希望在美国所经历的,在不久的将来会发生改变,回到一个科学能够繁荣发展,并获得足够资金的局面,从而能够有更多的科学发现诞生。
他强调,科学发现对于世界的发展至关重要,它能带来新的做事方式,教育我们的人民,并确保我们有足够的科学家来完成如此重要的工作。我们需要增加压力,确保它不被遗忘。
与Jack Dongarra的对话是一次深刻的学习体验。他的卓越贡献和对未来计算的思考,为我们指明了方向。DeepSeek等新兴技术的崛起,以及对科学研究的持续投入,将是推动我们前进的关键。我们期待着在未来的科学道路上,看到更多的突破和进步。