分类
数据质量至关重要:量化图像质量对机器学习性能的影响
精确的环境感知在高度自动化驾驶系统中至关重要,该系统依赖于目标检测和分割等机器学习任务。传感器数据压缩常用于数据处理,而虚拟化则用于硬件在环验证。这两种方法都会改变传感器数据并降低模型性能,因此需要一种系统的方法来量化图像有效性。本文提出了一种四步框架来评估图像修改对机器学习任务的影响。首先,准备包含修改图像的数据集,确保一对一匹配的图像对,以便测量由压缩和虚拟化引起的偏差。其次,通过对比压缩和虚拟化对原始基于相机的传感器数据的影响来量化图像偏差。第三,分析最先进的目标检测模型的性能,以确定更改后的输入数据如何影响感知任务,包括边界框的准确性和可靠性。最后,进行相关性分析以识别图像质量和模型性能之间的关系。结果表明,LPIPS度量在所有评估的机器学习任务中实现了图像偏差与机器学习性能之间最高的相关性。
随机逆极限测度的存在性与相结构
类似于Kolmogorov定理用于描述随机过程存在的理论,我们研究了描述随机测度存在的定理,这些随机测度作为逆测度系统的极限。具体来说,给定一个在细化分割上的随机(有界/符号/正/概率)直方图的一致逆系统,我们探讨了对应随机逆极限(空间上的一种Radon概率测度)存在性和唯一性的条件。根据拓扑结构(模糊/紧/弱/全变差)以及Kingman的完全随机性概念,极限随机测度处于四种相之一,其浓度程度(支撑/支配/离散性)各不相同。结果被应用于著名的Dirichlet和Polya树族的随机概率测度,以及一个新的高斯族的符号逆极限测度。在这三个族中,四种相的例子均出现,并且我们描述了定义参数对应的条件。
$\ell_p$-压缩映射的查询高效不动点
我们证明了如果映射 $f:[0,1]^d\rightarrow [0,1]^d$ 是关于某个 $p\in [1,\infty)\cup\{\infty\}$ 的 $\ell_p$-度量下的 $\lambda$-压缩映射,则可以以 $\mathcal{O}(d^2(\log\frac{1}{\epsilon} + \log\frac{1}{1-\lambda}))$ 次对 $f$ 的查询找到其 $\epsilon$-近似不动点。这一结果推广了Chen、Li和Yannakakis在STOC'24中针对 $\ell_\infty$-情形的结果到所有的 $\ell_p$-度量。此前,对于 $p\in [1,\infty) \setminus \{2\}$ 的所有查询上界要么是关于 $d$、$\log\frac{1}{\epsilon}$ 或 $\log\frac{1}{1-\lambda}$ 的指数函数。Chen、Li和Yannakakis还展示了如何确保在 $\ell_\infty$-情形下对 $f$ 的所有查询都位于一个有限精度的离散网格上。我们为 $\ell_1$-情形提供了类似的舍入方法,从而将定义适当的 $\ell_1$-情形问题归约至 $\textsf{FP}^{dt}$。为了证明这些结果,我们引入了 $\ell_p$-半空间的概念,并将经典中心点定理从离散几何推广到任意 $p \in [1, \infty) \cup \{\infty\}$ 和任意质量分布(或点集):存在一个中心点 $c$,使得由 $c$ 和法向量定义的每个 $\ell_p$-半空间至少包含总质量(或点集)的 $\frac{1}{d+1}$ 分量。
施莱弗条件下的时变约束分布式带宽凸优化网络累积约束违反减少问题
本文研究了带有时间变化不等式约束的分布式带宽凸优化问题,目标是最小化网络遗憾和累积约束违反。为了计算网络累积约束违反,现有的求解该问题的分布式带宽在线算法直接使用截断约束函数代替其原始约束函数。然而,使用截断操作使施莱弗条件(即在所有迭代中存在一个点严格满足不等式约束)无法实现减少的网络累积约束违反。为了解决这一挑战,我们提出了一种新的分布式带宽原对偶算法。如果局部损失函数是凸的,我们证明所提出的算法建立了次线性的网络遗憾和累积约束违反界限。当施莱弗条件成立时,网络累积约束违反界限得以减少。此外,如果局部损失函数是强凸的,对于强凸参数未知的情况,网络遗憾界限得以减少;对于强凸参数已知的情况,网络遗憾和累积约束违反界限进一步减少。据我们所知,这是首次在施莱弗条件下建立具有时间变化约束的(分布式)带宽凸优化问题的累积约束违反界限的研究。最后,提供了一个数值例子来验证理论结果。
再访Shapley值:可处理的查询答案责任度量
Shapley值源于合作博弈论,已被用于定义量化数据库事实对获得特定查询答案贡献的责任度量。对于非数值型查询,这通过考虑一个合作博弈实现,其中玩家为数据库中的事实,财富函数为每个数据库子集分配1或0,具体取决于查询答案在该子集中是否成立。尽管概念简单,但这种方法存在显著缺陷:计算此类Shapley值的问题在数据复杂性下是#P-难的,即使对于简单的连接查询也是如此。这促使我们重新审视什么构成合理责任度量,并引入一组新的责任度量——最小支持加权和(WSMS),这些度量满足直观属性。有趣的是,虽然WSMS的定义简单且显然与Shapley值公式没有明显相似之处,但我们证明每个WSMS度量都可以等价地看作是经过适当定义的合作博弈的Shapley值。此外,对于包括所有连接查询并集的大类查询,WSMS度量具有可处理的数据复杂性。我们进一步探索了WSMS计算的组合复杂性,并针对各种连接查询子类建立了(不可)处理性结果。
海森堡群上Wasserstein空间的等距变换与等距嵌入
本文旨在研究海森堡群$\mathbb{H}^n$上的$p$-Wasserstein空间$\mathcal{W}_p(\mathbb{H}^n)$(对所有$p>1$及$n\geq 1$)的等距变换与等距嵌入。首先,我们建立了欧几里得空间$\mathbb{R}^{2n}$与海森堡群$\mathbb{H}^n$之间的最优传输映射联系。然后利用这一联系,理解了$\mathbb{R}$和$\mathbb{R}_+$在$\mathcal{W}_p(\mathbb{H}^n)$中的等距嵌入(当$p>1$时)。具体而言,我们刻画了Wasserstein空间中的完备测地线和测地射线。基于这些结果,我们确定了$\mathcal{W}_p(\mathbb{H}^n)$的度量秩:即对于$p>1$,$\mathbb{R}^k$可以等距嵌入到$\mathcal{W}_p(\mathbb{H}^n)$中当且仅当$k\leq n$。由此得出结论,$\mathcal{W}_p(\mathbb{R}^k)$和$\mathcal{W}_p(\mathbb{H}^k)$可以等距嵌入到$\mathcal{W}_p(\mathbb{H}^n)$中当且仅当$k\leq n$。在论文的第二部分,我们研究了$p>1$时$\mathcal{W}_p(\mathbb{H}^n)$的等距变换群。我们发现这些空间都是等距刚性的,即对于$\mathcal{W}_p(\mathbb{H}^n)$上的任一等距变换$\Phi$,都存在一个$\psi:\mathbb{H}^n\to\mathbb{H}^n$使得$\Phi=\psi_{\#}$。
CPPO:加速基于群体相对策略优化推理模型训练的方法
本文引入了Completion Pruning Policy Optimization(CPPO,完成剪枝策略优化),以加速基于Group Relative Policy Optimization(GRPO,群体相对策略优化)的推理模型训练。尽管GRPO有效,但由于需要为每个问题采样多个完成项,其训练成本较高。我们的实验和理论分析表明,完成项的数量影响模型准确性,同时以乘法方式增加训练时间,并非所有完成项对策略训练的贡献相等——它们的贡献取决于相对优势。为了解决这些问题,我们提出了CPPO,该方法修剪绝对优势较低的完成项,显著减少了用于梯度计算和更新所需的数量。此外,我们引入了一种动态完成分配策略,通过加入更多问题来最大化GPU利用率,进一步提高训练效率。实验结果表明,与原始GRPO相比,CPPO在GSM8K上的加速达到了$8.32\times$,在Math上的加速达到了$3.51\times$,同时保持甚至提升了准确性。我们的代码已发布在https://github.com/lzhxmu/CPPO。
多轴快速排序最优概率分析
考虑一种使用 $K\in\mathbb{N}$ 个轴元素的多轴快速排序算法,通过将未排序列表划分为 $K+1$ 个有序子列表以递归处理这些子列表。在划分阶段,存在多种策略。我们关注的是在标准随机模型下(即列表为由不同元素组成的均匀排列)使期望关键比较次数最小的策略。我们推导出当 $K\in\mathbb{N}$ 时关键比较次数的期望和方差的渐近展开式,并证明所有 $K\in\mathbb{N}$ 的极限定律,其中收敛适用于所有(指数)矩。对于 $K\leq 4$,我们还限定了 Wasserstein 和 Kolmogorov--Smirnov 距离下的收敛速率。我们的期望分析基于经典的随机 $m$-元查找树结果。对于其余结果,则利用组合考虑使收缩方法适用。
路径复形的最优滴定定理:基于C-洛伦兹多项式的分析及其在采样与对数凹序列中的应用
设 $X$ 是一个 $d$-部 $d$-维单纯复形,其部分为 $T_1,\dots,T_d$,且 $\mu$ 是 $X$ 的面上的分布。非正式地说,如果对于任意 $i<j<k$ 和 $F \in T_i, G \in T_j, K \in T_k$,我们有 $\mathbb{P}_\mu[F,K | G] = \mathbb{P}_\mu[F|G] \cdot \mathbb{P}_\mu[K|G]$,则称 $(X,\mu)$ 为路径复形。我们通过引入 $\mathcal{C}$-洛伦兹多项式工具,证明了若 $X$ 所有余维为 2 的链的谱扩张均不超过 $1/2$,则 $X$ 是 $1/2$-局部谱扩张。进一步地,我们证明了一类拓扑链谱扩张可以导出快速混合结果及对数凹性陈述。我们利用这一工具证明了在外部场约束下可分配格中最大旗的快速采样结果,并重新证明了典型模格中最大旗的快速采样问题。此外,我们还用它重新证明了Heron-Rota-Welsh猜想,并证明了Chan和Pak提出的推广Stanley对数凹性定理的猜想。最后,我们用它证明了Lubotzky-Samuels-Vishne、Kaufman-Oppenheim 和 O'Donnell-Pratt 等构造的“稀疏复形”的近似最优滴定定理。
大型语言模型中大规模激活的精炼分析
受低精度训练和量化相关性的部分推动,大型语言模型(LLMs)中的大规模激活最近成为研究热点。然而,现有的分析范围有限,不同架构之间的可推广性尚不明确。本文通过分析广泛范围内的LLMs(包括基于GLU和非基于GLU的架构)填补了部分空白。我们的研究结果挑战了一些先前的假设,最重要的是:(1)并非所有大规模激活都是有害的,即抑制它们并不会导致困惑度爆炸或下游任务性能崩溃;(2)一些提出的缓解策略(如注意力KV偏置)在特定情况下对模型具有特定性且无效。因此,我们进一步研究了新颖的混合缓解策略;特别是将目标方差重缩放(TVR)与注意力KV偏置或动态tanh(DyT)结合使用,在我们调查的情境下成功平衡了大规模激活的缓解与下游模型性能的保持。我们的代码可在https://github.com/bluorion-com/refine_massive_activations获取。
VoteFlow:在自监督场景流中强制局部刚性
场景流估计旨在从两次相邻的激光雷达扫描中恢复每个点的运动。然而,在自动驾驶等真实世界应用中,点很少独立移动,特别是属于同一物体的邻近点通常共享相同的运动。在自监督场景流估计中引入这种局部刚体运动约束一直是一个关键挑战,这通常通过后处理或附加正则化来解决。尽管这些方法能够提高预测流的刚性,但在模型结构中缺乏对局部刚性的归纳偏置,导致学习效率低下且性能较差。相比之下,我们在神经网络设计中通过一个轻量级附加模块强制局部刚性,实现端到端学习。我们设计了一个离散化的投票空间以容纳所有可能的平移,并通过可微分投票识别由邻近点共享的平移。此外,为确保计算效率,我们基于体素而不是点进行操作,并为每个体素学习代表性的特征用于投票。我们将投票模块插入流行模型设计中,并在Argoverse 2和Waymo数据集上评估其优势。我们仅以边际计算开销超越基线工作。代码可在https://github.com/tudelft-iv/VoteFlow获取。
针对二次和多维背包问题的量子搜索方法
求解组合优化问题是量子算法在现实场景中的一个有前景的应用领域。在这项工作中,我们将先前提出的针对0-1背包问题的“量子树生成器”(QTG)扩展到了0-1二次背包问题(QKP)和多维背包问题(MDKP)。QTG为给定实例构建了所有可行解的叠加态,因此可以作为幅度放大中的一个有潜力的状态准备过程来产生高质量的解。之前,基于QTG的搜索已在0-1背包问题上进行了测试,展示了在具备数百个逻辑且完全连接的量子比特的量子计算机上实现实际量子优势的潜力。在这里,我们评估了该算法在QKP和MDKP上的性能,并将其与经典求解器Gurobi进行比较。为了促进大规模评估,我们采用了先进的基准技术,能够预测最多包含2000个变量的QKP实例以及最多包含1500个变量和100个约束的MDKP实例的运行时间。我们的结果显示,基于QTG的搜索可以在QKP中以竞争的运行时间产生高质量的解。然而,其在MDKP上的表现下降,凸显了量子算法在处理高度受限的优化问题时面临的挑战。
LiteBIRD科学目标与预期:限制各向同性的宇宙双折射
宇宙双折射(CB)是在光子传播过程中线性偏振平面发生旋转的现象。这种效应是标准电磁学对称性破缺扩展的示踪剂,可以探测到作为暗物质或暗能量的新宇宙场的存在。近年来,人们习惯于利用宇宙微波背景(CMB)偏振数据来探测这一现象。基于Planck和WMAP数据的最新分析表明,各向同性的CB角度存在大约$0.3^\circ$的检测迹象,其显著性水平为$2.4$到$3.6\sigma$。在本文中,我们探讨LiteBIRD在限制这种效应方面的能力,考虑了更相关的系统效应的影响,即前景辐射和仪器偏振角。我们构建了五个半独立的管道,并针对四组复杂性逐渐增加的模拟数据集进行了测试。结果显示,所有管道在统计涨落范围内都能返回预期的CB角度值。我们发现,随着模拟复杂性的增加,CB估计的不确定性也随之增大。然而,对于考虑仪器偏振角的管道,这种趋势不那么明显。对于最复杂的案例,我们发现LiteBIRD能够以$5$到$13 \, \sigma$的统计显著性检测到$0.3^\circ$的CB角度,具体取决于所使用的管道,其中后者对应的总误差预算约为$0.02^\circ$。
强相互作用夸克-胶子等离子体中重夸克输运系数的研究:弹性散射与辐射散射的影响
我们在有效动力学准粒子模型(DQPM)中扩展了对重夸克输运系数的研究,该模型基于格点QCD数据再现强相互作用夸克-胶子等离子体(sQGP)中的非微扰QCD现象。除了弹性$2\to2$部分子散射外,我们还加入了具有大质量胶子辐射的非弹性$2\to3$过程。弹性与非弹性反应均在DQPM基础上使用有效的传播子和顶点,考虑了所有可能的通道及其干涉项,并在领头阶进行了计算。基于所得的矩阵元,我们计算了与粲夸克相关的多个可观测量。首先,我们计算了粲夸克与介质部分子的总截面,作为温度和碰撞能量的函数。其次,我们得到了粲夸克的拖曳$\mathcal{A}$系数和$\hat{q}$系数,作为温度和动量的函数,并将结果与利用Zakharov模型(考虑动量依赖的强耦合)得到的结果进行比较,强调了强耦合选择对输运系数确定的重要性。第三,我们计算了粲夸克的空间扩散系数,并与其他方法得到的结果进行了对比。最后,通过比较粲夸克、底夸克和无穷重夸克的结果,探讨了扩散系数的质量依赖性。研究发现,非弹性过程在大横向动量下对输运系数的确定起重要作用,但在小横向动量下则被强烈抑制。
滑动磨损过程中表面形貌演化的分析模型
在滑动摩擦表面的磨损过程中,存在一个磨合期,在达到稳定磨损状态之前,表面形貌随时间变化。在稳定磨损状态下,用于描述表面形貌的统计参数几乎保持不变。一些实验研究表明,以不同表面加工精度开始摩擦测试会导致稳态磨损阶段具有相同的最终表面形貌。本文提出了一种分析模型来描述滑动磨损过程中表面形貌的演化。首先,采用Greenwood和Williamson的方法描述名义上平坦的粗糙表面之间的接触。接触的凸峰可能会发生塑性变形或与对偶表面粘附。通过塑性判据和粘附判据,可以得到表面凸峰标准差演化过程的微分方程。该方程具有解析解,且与文献中的实验结果吻合良好。结果表明,最终的表面形貌是划伤磨损与粘附磨损之间竞争的结果。随后,该模型被用于描述从抛光到咬合的不同磨损过程。
打破外部星系中弯曲与径向流之间的简并性
对星系视线方向发射体速度分量的观测对于重建其二维速度场具有重要价值,尽管这需要某些假设条件。一种常见的假设是,在星系外部区域可以忽略径向流的影响,而其几何形状可以通过弯曲来变形。另一种镜像方法则假设星系盘是平坦的,但允许存在径向流。这种方法能够重建包含横向和径向速度场的二维速度图。通过对玩具盘状模型中的速度场研究发现,弯曲的存在表现为通过假设星系盘为平坦时获得的两个速度分量之间的一种偶极相关性。这表明,分析角速度各向异性提供了一种有效工具,用于打破弯曲与径向流之间的简并性。我们已将这些发现应用于THINGS样本和M33星系的速度场分析。许多这些星系表现出这种偶极相关性,表明存在弯曲。然而,我们发现仅靠弯曲无法解释速度场的所有变化,这表明内在扰动普遍存在。此外,我们观察到视线速度弥散的空间分布可能与两个速度分量都相关,从而提供了非平凡速度场的独立证据。这些发现提供了一种稳健的方法来重建星系的速度场,使我们能够区分弯曲和复杂速度结构的存在,并评估它们的相对幅度。
针对量子纠缠交换的“在d个选择中服务最长队列”策略
量子纠缠生成开关(EGS)是一种量子网络中心节点,通过共享有限数量的枢纽资源为一组连接的节点提供纠缠态。当纠缠请求到达时,它们会加入到与请求来源节点对应的专用队列中。我们提出了一种负载均衡策略,其中EGS通过随机从所有可用请求队列中采样d个队列并选择其中最长的一个进行服务。该策略是之前为经典系统(如数据中心)引入的“d个选择的力量”范式的实例。然而,与之前的模型不同,我们将队列放置在节点上而不是直接放置在EGS上,这具有一些实际优势。此外,我们在负载均衡方案中引入了一个可调的退避机制,以减少网络中的经典通信负载。为了研究该策略,我们考虑了一个均匀的星型网络拓扑结构,其中EGS位于中心,并将其建模为一个请求按照泊松过程到达且服务时间呈指数分布的排队系统。我们通过对描述平均场极限动态的一组微分方程进行推导并给出相应唯一平衡状态的表达式,对该系统的渐近行为进行了分析。与经典系统随机负载均衡的类似结果一致,我们观察到当采样过程中d的数量从1增加到2时,请求的平均处理时间显著减少,但选择数量更多时收益递减。我们还观察到,我们的平均场模型可以很好地用于研究甚至中等规模的系统。
WOW: 面向动态科学工作流的工作负载感知数据移动与任务调度
科学工作流在独立节点集群上处理大规模数据集,这需要复杂的基础设施组件堆栈,特别是资源管理器(RM)用于任务到节点的分配、分布式文件系统(DFS)用于任务间的数据交换以及工作流引擎用于控制任务依赖关系。为了使这些组件能够解耦开发和安装,当前架构在工作流执行期间将中间数据文件独立于未来的负载进行放置。在数据密集型应用中,这种分离会导致次优调度,因为任务常常被分配到缺乏输入数据的节点上,从而引发网络流量和瓶颈问题。本文提出了一种名为WOW的新调度方法,该方法通过引导数据移动和任务调度来减少网络拥塞和整体运行时间。为此,WOW创建了中间文件的推测副本,以准备后续计划任务的执行。WOW支持通过动态构建执行计划获得灵活性的现代工作流系统。我们基于Kubernetes资源管理器为流行的Nextflow工作流引擎原型实现了WOW。在对16个合成和真实工作流的实验中,WOW在所有情况下都减少了完成时间,对于工作流模式最多提高了94.5%,对于真实工作流最多提高了53.2%,同时临时存储空间的增加相对适中。此外,它还对CPU分配产生了有利影响,并且随着集群规模的增加表现出良好的可扩展性。
跳扩散随机波动率Bachelier模型中At-The-Money隐含波动率短期行为的研究
本文利用Malliavin微积分技术,得到了跳扩散模型中At-The-Money隐含波动率(ATM-IV)水平和斜率在短期的行为表达式。其中,扩散部分假设为随机波动率的Bachelier模型,跳跃部分由带漂移的纯跳跃Lévy过程建模,使得股票价格成为鞅。关于水平方面,我们证明了所有纯跳跃Lévy过程的ATM-IV水平短期行为相同;关于斜率方面,我们给出了跳跃分布满足斜率存在的条件。此外,我们还提供了多个随机波动率和Lévy过程的数值例子,这些例子验证了论文中的理论结果。
QCPINN:求解偏微分方程的量子-经典物理信息神经网络
物理信息神经网络(PINNs)通过在神经架构中嵌入物理定律,成为求解偏微分方程(PDEs)的一种有前景的方法。然而,这些经典方法通常需要大量参数才能解决复杂问题或达到合理的精度。我们研究了量子增强架构是否可以在显著减少模型复杂度的同时实现相当的性能。我们提出了一种结合量子和经典组件的量子-经典物理信息神经网络(QCPINN),能够在较少的可训练参数下保持相当的准确性和训练收敛性来求解PDEs。我们的方法系统性地评估了两种量子电路范式(如连续变量(CV)和离散变量(DV))的四种电路拓扑结构(如交替、级联、交叉网格和分层),以及两种嵌入方案(如振幅和角度)在五个基准PDEs(如亥姆霍兹、驱动腔、波、克莱因-戈登和对流扩散方程)上的表现。结果表明,QCPINNs在不同PDEs中所需的可训练参数约为传统PINNs的10%,并且对于对流扩散方程,相对$L_2$误差进一步减少了40%。基于离散变量(DV)的电路结合角度嵌入和级联配置在所有问题类型中均表现出增强的收敛稳定性。我们的研究确立了参数效率作为物理信息机器学习中可量化的量子优势。通过显著降低模型复杂度同时保持解决方案质量,QCPINNs代表了一种潜在的方向,可以克服传统方法在科学计算应用中需要大参数空间的计算瓶颈。
共 13511 条搜索结果
共 13511 条