多核学习（Multiple Kernel Learning, MKL）是一种有效的机器学习方法，它能够处理具有多重线索或表示的学习复杂数据。MKL的核心在于自动地学习一组基础核函数的最优组合，以及决策函数的参数，以适应特定任务的需求。在很多应用场合，尤其是在处理多模态或多源数据时，需要学习系统能够找到一组基础核函数的最优组合。为了达到这个目的，提出了MKL算法，它能够自动地学习决策函数以及组合基础核函数的权重。
然而，MKL算法因为核函数计算的高昂成本，被认为在可扩展性方面表现不佳。对于有大量数据点的复杂数据集，传统的MKL算法往往需要昂贵的计算资源，难以在标准的桌面PC上实现高效学习。
Dai等人在2014年提出了双随机梯度下降算法（doubly Stochastic Gradient Descent, doublySGD），显著提升了核方法的可扩展性。然而，这种算法不适用于MKL，因为它无法学习核函数的权重。本文的主要贡献在于提出了一个新颖的算法扩展，即三重随机梯度下降（triply Stochastic Gradient Descent, triplySGD），它能够同时学习决策函数和核函数的权重。该算法涉及到三个层面的随机性：数据点、随机特征和核函数。这是前人工作中未考虑的。
三重随机梯度下降算法的提出，意味着学习过程不再需要针对每个数据点和每个特征进行全量的计算，从而可以大幅减少计算成本。该算法的工作原理是每次迭代中，随机选择一部分数据点、一组随机特征和一个核函数来更新模型，从而实现了对核函数权重的学习和优化。与传统的MKL解决方案相比，本文提出的算法展示了更快的收敛速度以及更好的准确性。
此外，本文算法的重要特点是它使得在普通桌面PC上学习拥有数百万个数据点的MKL问题成为可能。这一创新突破了MKL在大规模数据集上的应用限制，推动了MKL算法在实际应用中的广泛应用和效能。
在引言部分，作者首先简要介绍了核方法在非线性表示学习中的重要性，并指出了在特定任务中寻找最佳核函数的困难。文章中也提到了多核学习算法能够自动学习决策函数及基础核函数的权重，并且理论上存在无穷多种结合核函数的方法。然而，大多数MKL方法通常只关注在一组有限的基础核函数上寻找最优组合。
本文作者进一步解释了MKL的可扩展性问题，并指出传统MKL算法在核计算方面的低效率，导致其无法适用于大规模数据集。为了解决这一问题，作者提出的三重随机梯度下降算法，通过引入数据点、随机特征和核函数的三个独立随机过程来优化学习过程。算法的收敛速率与双随机梯度下降算法相当，但在实践中，通过快速收敛和高准确性证明了其优越性。
在理论分析和实验验证中，三重随机梯度下降算法不仅在计算上更加高效，而且在实际应用中也表现出了更好的性能。这一点对于大规模数据集的处理尤为重要，因为能够使得原本需要在大型计算集群上执行的任务，转而在普通的桌面PC上就可以高效完成。这种可扩展性的提升，极大地拓宽了MKL算法的应用范围，并为解决实际问题提供了新的视角和工具。
