枢纽|普林斯顿研究“最小值”：平方和的破局，二次和三次优化问题的极限( 三 )

三次多项式在许多实际方法中都很重要。它们为思考变量之间的三阶相互作用提供了一个数学框架。增加一种关系使得关系的清晰度提高，从而极大地改善机器学习性能，比如在文本挖掘中，大家希望算法能从大数据集中提取意义。
例如，你向计算机输入一段文本，并要求它确定这段文本的内容。计算机注意到“苹果”这个词经常出现，但是没有更多的信息，导致“苹果”这个词语仍有歧义。
可能是水果，也可能是公司，或者其他。
但如果“苹果”和“橘子”同时出现，计算机会更加确定这是水果。但还是有可能出错，因为橘子也可能是一家公司。所以这时候引入第三个词语，如“瓜”，即引入了立体关系，可能会更加确信文本谈论的是农产品。
但是，清晰度的增加也带来了复杂性。
从2019年初，Zhang就开始探索解决这个问题的不同方法，但被卡住了，直到Ahmadi建议他尝试一种叫做平方和的技术，Ahmadi以前曾用这种技术解决其他优化问题。

破局

“平方和”指的是一些多项式可以表示为其他多项式的平方和。例如：
平方和揭示了最初输入的多项式的属性。因为实数的平方不可能为负，所以如果将一个多项式表示为平方和，证明它总是输出一个非负值。这是一种快速的检验方法。然而，这种方法在有约束的二次优化问题中不起作用，这就是为什么Ahmadi和Zhang不能在他们的二次方程中利用它。
【枢纽|普林斯顿研究“最小值”：平方和的破局，二次和三次优化问题的极限】但是对于没有约束的三次优化问题，平方和成为寻找局部最优最小解时的重要方法。如果将多项式函数的图形描绘成一条浮动在横轴上方的曲线，它的最低点是对应于变量的特定排列。
这种算法可以快速循环遍历一系列输入，反复测试多项式是否为平方和。此时，算法会将曲线向下拖动，无限趋近于横轴。此时，另一种算法可以快速表明低点的坐标。
此时，Zhang和Ahmadi才将优化问题向前推进了一小步，他们的突破在于发现可以通过平方和检验找到某些多项式的最低点，从而寻找三次函数的局部最优解。
在像这样的三次多项式的图中，一端总是指向负无穷。所以三次方程不可能处处为正，可以用平方和检验。但是Ahmadi和Zhang想出了一种方法，只关注曲线向上的那部分。
Zhang说：“对于三次函数求解的问题，我们总是可以把函数拖到我们想要的位置，解决了三次函数局部最优解的重要理论问题。”
现在，Ahmadi和Zhang正在尝试将这一方法升级为一种更普适的算法来提高实用价值，不仅可以处理二次函数，还有三次函数。这将使程序更加稳定，并提高机器学习任务的性能。
目前，优化问题求解的难点不仅在于目标数比较多的多目标优化，甚至大规模多目标优化，动态多目标优化，偏好众目标优化，还有计算求解的时效问题，工具的普适问题。在处理实际情况下的优化问题中，进一寸有一寸的欢喜。
编译来源：
https://www.quantamagazine.org/surprising-limits-discovered-in-quest-for-optimal-solutions-20211101/

雷峰网