来源:集智俱乐部
作者:Alex Davies, Petar Veličković, Lars Buesing等
译者:赵雨亭
审校:潘佳栋
编辑:邓一雪
导语论文题目:
Advancing mathematics by guiding human intuition with AI
论文链接: https://www.nature.com/articles/s41586-021-04086-x1. 摘要
2.引入
3. 使用AI引导数学直觉
图1. 框架流程图。通过训练机器学习模型来估计特定数据P(Z)分布上的函数,该过程有助于引导数学家对猜想的函数f的直觉。来自学习函数
的准确性的见解和应用于它的归因技术,可以帮助理解问题和构建封闭形式的 f′。该过程是迭代和交互的,而不是一系列的顺序执行的步骤。 具体而言,它可以帮助数学家获得直觉,了解由 z 联系起来的两个数学对象 X(z) 和Y(z) 之间的关系,该过程通过找到满足 的学习函数 ,并分析它以了解这种关系的性质。举个例子:设 z 是凸多面体, 是 z 的顶点和边的数量,以及体积和表面积,Y(z)∈ℤ 是 z 的面。欧拉公式表明,在这种情况下,X(z)和Y(z)之间存在精确的关系:X(z)·(−1, 1, 0, 0)+2=Y(z)。* 在这个简单的例子中,使用许多其他方法,都可以通过数据驱动猜想生成的传统方法重新发现这种关系[1]。然而,对于高维空间中的X(z)和Y(z),或更复杂的数据,例如图,以及更复杂的非线性的 ,这种方法要么不太管用,要么完全不可行。 *注:例如,我们常见的欧拉公式形式为F-E+V=2,即 -V+E+2=F,V、E、F分别表示顶点、边、面的数量。4. 拓扑学:
纽结理论中代数与几何不变量的关系
图2. 三个双曲纽结的不变量示例。我们假设几何和代数不变量之间存在先前未发现的关系。
我们的假设是,纽结的双曲不变量和代数不变量之间存在一种未被发现的关系。监督学习模型能够检测,很多几何不变量和符号差σ(K) (signature) 之间存在一种模式,这里的符号差可编码关于纽结K的重要信息,但之前人们并不知道它与双曲几何有关。如图3a所示,归因技术确定的最相关的特征是尖形几何 (cusp geometry) 的三个不变量,图3b中部分地显示了这种关系。使用仅由这些测量值组成的X(z)训练第二个模型实现了非常相似的准确度,这表明它们是一组足够的特征,可以捕获几何不变量对符号差的几乎所有影响。这三个不变量是横向平移μ和纵向平移λ的实部和虚部。这些量与符号差之间存在非线性的多元关系。在被引导关注这些不变量后,我们发现,通过使用一个与符号差线性相关的新数学量,可以更好地理解这种关系。图3. 扭结理论归因。a. 每个输入X(z)的属性值。具有高值的特征是那些学习函数最敏感的特征,并且可能与进一步探索相关。95% 置信区间误差线跨越模型的 10 次重新训练。b. 相关特征的示例可视化——经向平移相对于符号差的实部,由纵向平移着色。
我们引入了“自然斜率” (natural slope) ,定义为 slope(K)=Re(λ/μ),其中Re表示实部。它有以下几何解释:可以将经线实现为欧几里得环面上的测地线γ。如果给出正交的测地线γ⊥,它最终会返回并与γ 交于某点。这样做时,它将沿着经度减去纬度的倍数行进,这个倍数就是自然斜率。它不必是整数,因为 γ⊥的端点可能与其起点不同。我们最初关于自然斜率和特征的猜想如下。 猜想: 存在常数c1和c2,使得对于每个双曲扭结K,5. 表示论:对称群组合不变性猜想
图4. 两个示例数据集元素,一个来自S5,一个来自S6。组合不变性猜想指出,一对置换的KL多项式应该可以从它们未标记的Bruhat区间计算出来,但是此前人们并不知道计算的函数。
注:Bruhat 区间是一种图,表示一次只交换两个对象,让集合中的对象逆转顺序的所有不同方式。KL多项式告诉数学家关于这个图在高维空间中存在的不同方式的一些深刻而微妙的性质。只有当 Bruhat 区间有100或1000个顶点时,才会出现有趣的结构。图 5. 表示论归因。a. 在预测q4时,与数据集中跨区间的平均值相比,显著子图中存在的反射增加百分比的示例热图。b. 与来自数据集的10个相同大小的自举样本相比,模型的10次再训练在显著子图中观察到的每种类型的边缘的百分比。误差线是95%的置信区间,显示的显著性水平是使用双侧双样本t检验确定的。*p < 0.05;****p < 0.0001。c,通过假设、监督学习和归因的迭代过程发现的有趣子结构的区间021435–240513∈S6的说明。受先前工作[31]启发的子图以红色突出显示,超立方体以绿色突出显示,分解成分与SN-1中的区间同构以蓝色突出显示。
这两种结构的重要性,如图5c所示,证明了KL多项式可以通过补充信息中总结的漂亮公式直接从超立方体和SN-1成分中计算。数学结果的进一步详细处理在参考文献[32]中给出。 定理: 每个Bruhat区间都允许沿其极值反射进行典型超立方体分解,从中可以直接计算KL多项式。 值得注意的是,进一步的测试表明所有的超立方体分解都正确地确定了KL多项式。对于直到S7的对称群中的所有大约3×106个区间和从对称群S8和S9采样的超过1.3×105的非同构区间,都可以进行计算验证。 猜想: 无标记的Bruhat区间的KL多项式可以用前面的公式计算出任何超立方体分解来得到。 这个猜想的解决方案,如果被证明是正确的,将解决对称群的组合不变性猜想。这是一个很有前景的方向,因为该猜想不仅在相当多的例子中得到了经验验证,而且还有一个特别好的形式,可以提出攻破该猜想的潜在途径。这个案例展示了如何从训练的模型中获得关于大型数学对象行为的非微观见解,从而发现新的结构。6. 结论
参考文献
1. Borwein, J. & Bailey, D. Mathematics by Experiment (CRC, 2008). 2. Birch, B. J. & Swinnerton-Dyer, H. P. F. Notes on elliptic curves. II. J. Reine Angew. Math.1965, 79–108 (1965). 3. Carlson, J. et al. The Millennium Prize Problems (American Mathematical Soc., 2006). 4. Brenti, F. Kazhdan-Lusztig polynomials: history, problems, and combinatorial invariance. Sémin. Lothar. Combin. 49, B49b (2002). 5. Hoche, R. Nicomachi Geraseni Pythagorei Introductions Arithmeticae Libri 2 (In aedibus BG Teubneri, 1866). 6. Khovanov, M. Patterns in knot cohomology, I. Exp. Math. 12, 365–374 (2003). 7. Appel, K. I. & Haken, W. Every Planar Map Is Four Colorable Vol. 98 (American Mathematical Soc., 1989). 8. Scholze, P. Half a year of the Liquid Tensor Experiment: amazing developments Xena https://xenaproject.wordpress.com/2021/06/05/half-a-year-of- the-liquid-tensor- experiment-amazing-developments/ (2021). 9. Fajtlowicz, S. in Annals of Discrete Mathematics Vol. 38 113–118 (Elsevier, 1988). 10. Larson, C. E. in DIMACS Series in Discrete Mathematics and Theoretical Computer Science Vol. 69 (eds Fajtlowicz, S. et al.) 297–318 (AMS & DIMACS, 2005). 11. Raayoni, G. et al. Generating conjectures on fundamental constants with the Ramanujan machine. Nature 590, 67–73 (2021). 12. MacKay, D. J. C. Information Theory, Inference and Learning Algorithms (Cambridge Univ. Press, 2003). 13. Bishop, C. M. Pattern Recognition and Machine Learning (Springer, 2006). 14. LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. Nature 521, 436–444 (2015). 15. Raghu, M. & Schmidt, E. A survey of deep learning for scientific discovery. Preprint athttps://arxiv.org/abs/2003.11755(2020). 16. Wagner, A. Z. Constructions in combinatorics via neural networks. Preprint athttps://arxiv.org/abs/2104.14516(2021). 17. Peifer, D., Stillman, M. & Halpern-Leistner, D. Learning selection strategies in Buchberger’s algorithm. Preprint athttps://arxiv.org/abs/2005.01917 (2020). 18. Lample, G. & Charton, F. Deep learning for symbolic mathematics. Preprint athttps://arxiv.org/abs/1912.01412(2019). 19. He, Y.-H. Machine-learning mathematical structures. Preprint athttps://arxiv.org/abs/2101.06317(2021). 20. Carifio, J., Halverson, J., Krioukov, D. & Nelson, B. D. Machine learning in the string landscape. J. High Energy Phys. 2017, 157 (2017). 21. Heal, K., Kulkarni, A. & Sertöz, E. C. Deep learning Gauss-Manin connections. Preprint athttps://arxiv.org/abs/2007.13786(2020). 22. Hughes, M. C. A neural network approach to predicting and computing knot invariants. Preprint athttps://arxiv.org/abs/1610.05744(2016). 23. Levitt, J. S. F., Hajij, M. & Sazdanovic, R. Big data approaches to knot theory: understanding the structure of the Jones polynomial. Preprint at https://arxiv.org/abs/1912.10086(2019). 24. Jejjala, V., Kar, A. & Parrikar, O. Deep learning the hyperbolic volume of a knot. Phys. Lett. B 799, 135033 (2019). 25. Tao, T. There’s more to mathematics than rigour and proofs Bloghttps://terrytao.wordpress.com/career-advice/theres-more-to-mathematics-than- rigour-and-proofs/ (2016). 26. Kashaev, R. M. The hyperbolic volume of knots from the quantum dilogarithm. Lett. Math. Phys. 39, 269–275 (1997). 27. Davies, A., Lackenby, M., Juhasz, A. & Tomašev, N. The signature and cusp geometry of hyperbolic knots. Preprint at arxiv.org (in the press). 28. Curtis, C. W. & Reiner, I. Representation Theory of Finite Groups and Associative Algebras Vol. 356 (American Mathematical Soc., 1966). 29. Brenti, F., Caselli, F. & Marietti, M. Special matchings and Kazhdan–Lusztig polynomials. Adv. Math. 202, 555–601 (2006). 30. Verma, D.-N. Structure of certain induced representations of complex semisimple Lie algebras. Bull. Am. Math. Soc. 74 , 160–166 (1968). 31. Braden, T. & MacPherson, R. From moment graphs to intersection cohomology. Math. Ann. 321, 533–551 (2001). 32. Blundell, C., Buesing, L., Davies, A., Veličković, P. & Williamson, G. Towards combinatorial invariance for Kazhdan-Lusztig polynomials. Preprint at arxiv.org (in the press). 33. Silver, D. et al. Mastering the game of Go with deep neural networks and tree search. Nature 529, 484–489 (2016). 34. Kanigel, R. The Man Who Knew Infinity: a Life of the Genius Ramanujan (Simon and Schuster, 2016). 35. Poincaré, H. The Value of Science: Essential Writings of Henri Poincaré (Modern Library, 1907). 36. Hadamard, J. The Mathematician’s Mind (Princeton Univ. Press, 1997). 37. Bronstein, M. M., Bruna, J., Cohen, T. & Veličković, P. Geometric deep learning: grids, groups, graphs, geodesics, and gauges. Preprint athttps://arxiv.org/abs/2104.13478(2021). 38. Efroymson, M. A. in Mathematical Methods for Digital Computers 191–203 (John Wiley, 1960). 39. Xu, K. et al. Show, attend and tell: neural image caption generation with visual attention. In Proc. International Conference on Machine Learning 2048–2057 (PMLR, 2015). 40. Sundararajan, M., Taly, A. & Yan, Q. Axiomatic attribution for deep networks. In Proc. International Conference on Machine Learning 3319–3328 (PMLR, 2017). 41. Bradbury, J. et al. JAX: composable transformations of Python+NumPy programs (2018);https://github.com/google/jax 42. Martín A. B. A. D. I. et al. TensorFlow: large-scale machine learning on heterogeneous systems (2015);https://doi.org/10.5281/zenodo.4724125. 43. Paszke, A. et al. in Advances in Neural Information Processing Systems 32 (eds Wallach, H. et al.) 8024–8035 (Curran Associates, 2019). 44. Thurston, W. P. Three dimensional manifolds, Kleinian groups and hyperbolic geometry. Bull. Am. Math. Soc 6, 357–381 (1982). 45. Culler, M., Dunfield, N. M., Goerner, M. & Weeks, J. R. SnapPy, a computer program for studying the geometry and topology of 3-manifolds (2020);http://snappy.computop.org. 46. Burton, B. A. The next 350 million knots. In Proc. 36th International Symposium on Computational Geometry (SoCG 2020) (Schloss Dagstuhl-Leibniz-Zentrum für Informatik, 2020). 47. Warrington, G. S. Equivalence classes for the μ-coefficient of Kazhdan–Lusztig polynomials in Sn. Exp. Math. 20, 457–466 (2011). 48. Gilmer, J., Schoenholz, S. S., Riley, P. F., Vinyals, O. & Dahl, G. E. Neural message passing for quantum chemistry. Preprint athttps://arxiv.org/abs/1704.01212(2017). 49. Veličković, P., Ying, R., Padovano, M., Hadsell, R. & Blundell, C. Neural execution of graph algorithms. Preprint athttps://arxiv.org/abs/1910.10593(2019).(参考文献可上下滑动查看)
未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。
有话要说...