分类
基于公开数据生成真实元订单
本文介绍了一种新颖的算法,可以从公开交易数据中生成真实的元订单,解决了价格影响研究领域长期存在的难题,该领域传统上依赖专有数据集。我们的方法成功恢复了所有已确立的元订单影响特征事实,例如平方根定律、执行期间的凹形曲线以及执行后的衰减现象。此算法不仅克服了对专有数据的依赖(这是研究可重复性的主要障碍),还能够创建更大且更稳健的数据集,从而提高实证研究的质量。我们的研究结果强烈表明,平均实际短期价格影响并非源于信息揭示(如Kyle框架所述),而是具有机械起源,这可以解释平方根定律的普遍性。
加速GPU上小张量分解的稀疏MTTKRP运算
稀疏矩阵化张量Khatri-Rao积(spMTTKRP)是稀疏张量分解中的瓶颈内核。在张量分解过程中,spMTTKRP沿输入张量的所有模式迭代执行。在这项工作中,我们提出了一种针对GPU的模式特定张量布局,该布局使用多个张量副本,每个副本都针对特定模式进行了优化。所提出的张量布局提高了外部内存访问的数据局部性,并消除了在GPU线程块和GPU全局内存之间通信的中间值。我们还提出了一种张量分区方案,基于输入张量的稀疏性和维度,最优地分配了流式多处理器上的总计算量。我们的方法在总执行时间上实现了比最先进的GPU基线分别快2.4倍、7.9倍和8.9倍的几何平均加速。
图的非割子连续统的超空间
给定一个连续统 $X$,令 $C(X)$ 表示 $X$ 的所有子连续统构成的超空间。我们考虑超空间 $NC^{*}(X)=\{A\in C(X):X\setminus A \text{ 是连通的}\}$。本文证明了仅当局部连通的连续统 $X$ 是弧或简单闭曲线时,$NC^{*}(X)$ 是紧的。此外,我们还刻画了使得 $NC^{*}(G)$ 连通的有限图 $G$。
传感器网络中的分布式贝叶斯估计:边缘密度的一致性
本文旨在为传感器网络设计并分析分布式贝叶斯估计算法。我们解决的挑战包括:(i) 在连续变量的概率分布函数空间中推导出一个分布式且可证明正确的算法;(ii) 利用这些结果,获得仅针对单个代理观测到的变量子集的新分布式估计器。这与合作定位和联邦学习等应用相关,其中任何代理收集的数据仅依赖于感兴趣的变量子集。我们提出了在集中式、分布式和边缘分布式设置下使用来自代理非线性似然数据的贝叶斯密度估计算法。在设定分布式估计目标后,我们证明了每个代理处的最优概率密度函数集合几乎必然收敛。然后,我们对一种存储感知算法进行了相同的证明,该算法仅在每个代理的相关变量上估计密度。最后,我们给出了这些算法的高斯版本,并利用变分推理在映射问题中实现它,以处理与LiDAR传感相关的非线性似然模型。
六角格点上的哑铃费米子与自旋模型
我们将Kitaev在六角格点上精确求解自旋模型表述为更高维对偶性的一个特例,该对偶性存在于交错Majorana费米子与泡利自旋之间。通过这种方法,具有双线性最近邻耦合以及外磁场的一般自旋模型均可得到解析求解。每个模型都会因离散规范场通量的不同选择而产生无限多个单粒子费米子Schrödinger方程。
关联平坦联络与高亏格黎曼曲面上的多重对数
本文研究了两类最近提出的构造方法,它们将经典的亏格零多重对数推广到高亏格黎曼曲面。在任意亏格的穿孔黎曼曲面上定义的取值于自由生成李代数的平坦联络产生了一组同伦不变的迭代积分,这些积分与李代数生成元字母表上的所有可能单词相关。每个与单词相关的迭代积分即为高亏格多重对数。在同一黎曼曲面上取值于相同李代数的不同平坦联络可以通过李代数的自同构与规范变换的复合相互关联,从而产生密切相关的多重对数族。本文提供了两种方法,明确关联Enriquez在e-Print 1112.0864中引入的亚纯多值联络与D'Hoker、Hidding和Schlotterer在e-Print 2306.08644中引入的非亚纯单值且模不变联络。
利普希茨插值序列
设 $ X $ 是一个具有基点 $ 0 $ 的度量空间,令 $ \mathrm{Lip}_0(X) $ 表示所有满足 $ f(0)=0 $ 的利普希茨函数 $ f:X\longrightarrow \mathbb{R} $ 构成的巴拿赫空间。给定 $ X^2 $ 中的一组点 $ \left((x_i,y_i)\right)_{i\in I} $,其中对所有 $ i\in I $ 都有 $ x_i\neq y_i $,我们研究如下插值问题:对于每个有界集 $ \left(\alpha_i\right)_{i\in I} $ 在 $ \mathbb{R} $ 中,方程组 $$ \frac{f(x_i)-f(y_i)}{d(x_i,y_i)}=\alpha_i\qquad (i\in I) $$ 何时能由某个函数 $ f\in\mathrm{Lip}_0(X) $ 实现?我们的方法涉及在 $ \mathrm{Lip}_0(X) $ 中为 $ \left((x_i,y_i)\right)_{i\in I} $ 定义的贝尔廷集合的概念,该概念在所谓的运输问题中已被证明是有用的。
成就位置博弈的统一约定
我们引入了成就位置博弈这一概念,这是一种涵盖制作者-制作者和制作者-破坏者约定的位置博弈惯例。我们考虑在同一顶点集上的两个超图,一个红色超图和一个蓝色超图。两名玩家,左玩家和右玩家,轮流选择之前未被选中的顶点。当某位玩家首先填满与其颜色对应的边时(左玩家为蓝色边,右玩家为红色边),该玩家获胜(也可能出现平局)。我们研究了此类博弈的一般性质。特别地,我们证明了许多对制作者-制作者博弈成立的原则可以推广到成就位置博弈中。此外,我们研究了在所有蓝色边大小最多为 $p$ 且所有红色边大小最多为 $q$ 的情况下,决定左玩家作为先手是否有必胜策略的算法复杂性问题。当 $p,q \leq 2$ 时,该问题属于P类;但当 $p \geq 3$ 且 $q=2$ 时,问题是NP难的;当 $p=2$ 且 $q \geq 3$ 时,问题是coNP完全的;当 $p,q \geq 3$ 时,问题是PSPACE完全的。上述最后的结果的一个推论是,在制作者-制作者约定下,决定在一个等级为4的超图上经过一轮非最优玩之后,第一个玩家是否有必胜策略的问题也是PSPACE完全的。
借助树正则化将句法引入Transformer语言模型
虽然人类语言理解的构成性解释基于层级化的树状过程,但像Transformer这样的神经网络模型缺乏对这种树结构的直接归纳偏置。引入句法归纳偏置可能在Transformer语言模型(LMs)中解锁更稳健且数据高效的训练,但现有方法大多通过极大地限制模型来实现这一点,要么降低其表达能力,要么增加推理复杂度。本文提出了一种新的方法,即通过结构化正则化轻量地向给定的Transformer电路注入句法归纳偏置。我们引入了TreeReg,这是一种辅助损失函数,它将银标准解析中的括号决策转化为对向量隐藏状态的一组可微的正交性约束。TreeReg能够无缝集成到标准LM目标中,无需进行架构上的改动。在WikiText-103等自然语言语料库上预训练的LMs在分布外数据上的困惑度降低了多达10%,句法泛化的性能提高了多达9.5个百分点,并且只需要不到一半的数据量即可超越标准LMs。即使对于预训练的大规模语言模型(LLMs),TreeReg依然有效:使用TreeReg继续预训练Sheared Llama模型可以提升句法泛化能力,而在MultiNLI数据集上结合TreeReg进行微调可以将对抗性自然语言推理基准上的性能下降幅度减少41.2个百分点。我们公开了所有代码,以指导未来的研究。
SNRAware:基于信噪比单位训练和g因子图增强的深度学习MRI去噪方法改进
开发并评估一种新的利用MRI重建过程中定量噪声分布信息的深度学习MR去噪方法,以提高去噪性能和泛化能力。本回顾性研究在来自96,605例心脏回波门控电影序列(共计2,885,236张图像)的大规模数据集上,采用两种主干架构训练了14种不同的Transformer和卷积模型。该方法称为SNRAware,通过模拟大规模高质量且多样化的合成数据集,并向模型提供噪声分布的定量信息,利用MRI重建过程中的知识提升去噪性能。在分布内测试中,对3,000个样本的保留数据集进行测试,使用PSNR和SSIM衡量性能,并对比无噪声增强的消融实验。分布外测试则在1.5T采集的心脏实时电影、首过心脏灌注以及神经和脊柱MRI上进行,用于检验模型在不同成像序列、动态变化对比度、不同解剖结构和磁场强度下的泛化能力。分布内测试中表现最佳的模型在分布外样本上表现出色,分别使实时电影和灌注成像的CNR提高了6.5倍和2.9倍。此外,仅使用100%心脏电影数据训练的模型在1.5T采集的T1 MPRAGE神经三维扫描和T2 TSE脊柱MRI上也具有良好的泛化能力。
问题的数学
我报告了方程 \( i(A,B) + i(A,\neg B) + i(\neg A,B) + i(\neg A,\neg B) = 0 \) 存在一个非平凡解,其中 \( i(A,B) = \log \frac{P(A\text{ and }B)}{P(A)P(B)} \),\( P(A) \) 是命题 \( A \) 的概率。该方程规定了两个逻辑命题之间的信息平衡条件,仅在独立性和此新解时满足。该解是一种新的逻辑命题间基本信息关系,我们记为 \( A \sim B \)。这种 \( \sim \) 关系不能通过实数概率表达,但可以通过将每个命题表示为一个问题和一个答案的组合大大简化,例如,将“所有人类都是凡人”写作(所有人类都是凡人吗?是)。我们将研究问题的数学,并探讨 \( \sim \) 关系在代数中的作用。我们会发现,像命题一样,问题也可以作用于概率分布:给出命题 \( X \),设定 \( P(X) = 1 \);提出命题 \( X \) 的问题,则设定 \( P(X) = 1/2 \)。给出命题会向概率分布添加信息,而提出问题则会从概率分布中移除信息。引入问题到概率论中使得信息的减法表示成为可能。我们将考察如何从几何角度关联问题。令人惊讶的是,最简单的问题空间方向结构与最简单的量子系统——两态系统——具有相同的结构。我们将发现,两态量子系统的本质数学结构可以从问题的数学推导出来,包括非交换性、互补性、波函数坍缩、希尔伯特空间表示和玻恩规则,以及量子纠缠和非局域性。
基于区间双正交小波的二维椭圆界面问题Galerkin格式
本文介绍了一种求解二维椭圆界面问题的Wavelet-Galerkin方法,其形式为$-\nabla\cdot(a\nabla u)=f$在$\Omega\backslash \Gamma$中,其中$\Gamma$是在$\Omega$内的光滑界面。变量标量系数$a>0$和源项$f$可能在$\Gamma$处出现不连续性。通过利用由双线性有限元导出的双正交小波基,该基作为$H^1_0(\Omega)$的Riesz基,我们设计了一种策略,使其在$L_2(\Omega)$-范数下的收敛率接近最优:$O(h^2|\log(h)|^2)$,而在$H^1(\Omega)$-范数下为$O(h|\log(h)|)$(相对于逼近阶次)。为了处理$\Gamma$的几何形状以及解$u$的奇异性(其梯度在$\Gamma$处不连续),在界面上引入了额外的小波元素。双正交小波基的对偶部分在证明这些收敛率方面起着关键作用。我们发展了小波的加权Bessel性质,推导了分数Sobolev空间中的各种不等式,并采用有限元论证建立了理论收敛结果。为了实现更高的精度并有效处理高对比度系数$a$,我们的方法类似于无网格方法,依赖于在整个域内及靠近界面处增加小波元素的数量,无需像有限元方法那样重新网格化。与其他求解椭圆界面问题的方法不同,使用$H^1_0(\Omega)$的Wavelet Riesz基确保了系数矩阵的条件数保持较小且一致有界,无论矩阵大小如何。
核对撞中B$^+$介子产生的核修正搜索:在$\sqrt{s_\mathrm{NN}}$ = 8.16 TeV质子-铅对撞中的研究
本研究利用不同电荷粒子多重性的质子-铅对撞事件之间的二进制碰撞尺度截面比值,探讨了核介质效应对B$^+$介子产生的影响。利用CMS实验于2016年收集的数据,该数据对应的核子-核子质心能量为$\sqrt{s_\mathrm{NN}}$ = 8.16 TeV,累积亮度为175 nb$^{-1}$。比值中的尺度因子通过基于同一事件中测得的Z $\to$ $\mu^+\mu^-$截面的新方法确定。对于所有事件多重性,B$^+$的归一化比值均接近于1,对重味介子的核修正给出了严格的限制。
三味框架下快速中微子 flavour 转换的渐近态
核塌缩超新星(CCSNe)和双中子星并合(BNSMs)中μ和τ中微子的显著差异已有越来越多的证据支持,这是由于这些过程中出现了μ子。近期的理论研究表明,所有种类的中微子和反中微子不可避免地会经历一些包括快速中微子 flavour 转换(FFC)在内的flavour混合不稳定性,FFC是中微子自相互作用驱动的一种集体中微子振荡形式之一。这表明在中微子动力学的数值建模中需要进行量子动力学处理,然而这是一个巨大的计算挑战。本文提出了一种近似方法,在三味框架下预测FFC的渐近态,而无需求解量子动力学方程,其中μ和τ中微子分布不必彼此相同。该近似方法基于Bhatnagar-Gross-Krook(BGK)松弛时间公式,能够捕捉三种不同味相干态之间的混合竞争的本质特征。我们提出的方案计算成本低廉且易于在任何经典的中微子传输方案中实现。
量子频率计算:所有计算的二次运行时间优势
计算科学领域的一个长期挑战是如何减少解决计算问题所需的运行时间。由于量子力学特性,量子计算因其在某些问题上相比经典算法能够提供渐近更快的解决方案而吸引了广泛关注。到目前为止,尚不清楚允许计算机的其他部分采用完全量子而非半经典的方式,是否会随着资源利用(如功耗或冷却需求)的变化带来额外的运行时间加速。在这项工作中,我们证明了当与门实现相关的控制机制处于最优的量子态时,相对于最优的经典或半经典的控制方案,任何算法都可以实现与功耗相关的二次运行时间加速。此外,我们还表明,只需要计算机架构的一小部分采用最优的量子控制态即可实现这一优势,从而大大简化了未来系统的设计。我们将这种新设备称为量子频率计算机,因为量子加速源于门频率的提高。在当前最先进的设计中,门频率通常受到组件之间耦合强度的限制。值得注意的是,我们的方法实现了加速而不必增加耦合强度。
正则路径查询的鲁棒性:迈向复杂性分类
对于查询和输入集或包数据库的鲁棒性问题,其目标是计算从数据库中删除使查询为假的最小事实数量。本文研究了如何计算图数据库上的正则路径查询(RPQ)的鲁棒性。我们的目标是刻画可以从语言 $L$ 构造的存在量词化的RPQ的鲁棒性可计算的语言类 $L$。我们证明了对于由所谓的局部语言定义的所有RPQ,以这种方式计算鲁棒性是易处理的(即使在联合复杂度下)。相比之下,我们展示了对于以下语言类别的RPQ,在数据复杂度下的硬度(通过减少语言以消除冗余单词后):包含含有重复字母单词的所有有限语言,以及包含特定反例的语言(我们称之为四条腿语言)。后者特别包括所有非星自由语言。我们的结果还表明,对于具有所谓中性字母的所有非局部语言,也存在硬度。最后,我们指出了实现完全二分法的一些剩余障碍。
SLAM3R:基于单目RGB视频的实时密集场景重建
本文介绍了一种新颖且有效的系统SLAM3R,用于通过RGB视频进行实时、高质量的密集三维重建。SLAM3R通过前馈神经网络无缝集成局部三维重建和全局坐标注册,提供端到端解决方案。给定输入视频后,系统首先利用滑动窗口机制将其转换为重叠片段。与传统的基于姿态优化的方法不同,SLAM3R直接从每个窗口的RGB图像回归出三维点云图,并逐步对齐和变形这些局部点云图以创建全局一致的场景重建——整个过程无需显式求解任何相机参数。在多个数据集上的实验结果一致表明,SLAM3R在实现最先进的重建精度和完整性的同时,保持了每秒20帧以上的实时性能。代码可在https://github.com/PKU-VCL-3DV/SLAM3R获取。
从Amplitubes得到的波函数系数
给定一个图,其连接子图(管状结构)可以通过两种方式定义:一种是考虑边的子集,另一种是考虑顶点的子集。我们分别称其为二元管和一元管。两者都伴随着自然的兼容性条件,该条件基于简单的邻接约束。兼容的管集合称为管化结构。通过考虑二元管集合,并对所有最大二元管化求和,可以得到与计算宇宙学相关关联函数的平直空间波函数系数表达式。另一方面,考虑一元管集合,并对所有最大一元管化求和,可以得到最近被称为amplitubes的表达式,这些表达式类似于$\text{tr}(\phi^3)$理论的散射振幅。本文研究了这两种管化结构的定义,提出了一种新的公式,用于单个图的平直空间波函数系数,即通过对amplitubes的乘积进行求和。受波函数系数重写形式的启发,我们引入了一种新的管化结构定义,该定义结合了二元管和一元管,我们称之为切割管化结构。我们解释了每个切割管化结构如何诱导出基础图的一个装饰化的方向并满足无环条件,并展示了给定图的所有无环装饰化方向集合如何计数出现在运动学流中的基函数数量。
通过行为支持正则化缓解RLHF中的奖励过优化问题
根据人类反馈进行强化学习(RLHF)是一种有效的方法,用于使大型语言模型(LLMs)与人类价值观保持一致。然而,奖励过优化仍然是一个开放的挑战,导致LLMs在奖励模型下的性能与真实的人类目标之间存在差异。奖励过优化的主要贡献因素是在奖励模型评估分布外(OOD)响应时产生的外推误差。然而,当前的方法仍然无法防止在强化学习(RL)过程中OOD响应生成频率的增加,并且对处理来自OOD响应的外推误差效果不佳。在这项工作中,我们提出了行为支持策略优化(BSPO)方法来缓解奖励过优化问题。具体而言,我们将行为策略定义为奖励训练数据集的下一个标记分布,以建模奖励模型的分布内(ID)区域。在此基础上,我们引入了行为支持的贝尔曼算子来正则化价值函数,惩罚所有的OOD值而不影响ID值。因此,BSPO减少了RL过程中OOD响应的生成,从而避免了由奖励模型外推误差引起的过高估计。从理论上证明了BSPO保证了支持策略的单调改进,直到收敛到最优的行为支持策略。广泛的实验结果表明,BSPO在防止由于OOD评估而导致的奖励过优化以及寻找最优ID策略方面优于基线方法。
基于Transformer的语言模型在社交媒体中索马里语假新闻和有害信息检测的应用
社交媒体账户的普及使得任何人都能创建并分享内容,公众对社交媒体作为新闻和信息来源的依赖日益增加,这带来了诸如虚假信息、假新闻、有害内容等一系列重大挑战。尽管人工内容审核在一定程度上可能有用,并被这些平台用于标记发布的内容,但人工智能模型的应用提供了一种更加可持续、可扩展且有效的缓解这些有害内容的方法。然而,像索马里语这样低资源语言在人工智能自动化方面面临诸多限制,包括稀缺的标注训练数据集以及缺乏针对其独特语言特征定制的语言模型。本文介绍了我们正在进行的研究工作的一部分,旨在弥合索马里语在这些方面的部分差距。具体而言,我们构建了两个由人工注释的社交媒体来源的索马里语数据集,分别用于下游假新闻分类和毒性分类任务,并开发了一个基于Transformer的单语索马里语语言模型(命名为SomBERTa),据我们所知这是首个此类模型。随后,我们将SomBERTa微调并在有害内容、假新闻及新闻主题分类数据集上进行评估。与相关多语言模型(如AfriBERTa、AfroXLMR等)的对比评估分析表明,SomBERTa在假新闻和毒性内容分类任务中始终优于这些对比模型,同时在所有任务中的平均准确率(87.99%)达到最佳。本研究通过提供一个基础语言模型和可复制的框架,为其他低资源语言贡献了索马里自然语言处理领域的发展,促进了数字和人工智能的包容性以及语言多样性。
共 13511 条搜索结果
共 13511 条