分类
大型语言模型安全性中的表征调整方法
大型语言模型(LLMs)已成为强大的工具,但其固有的安全风险——从有害内容生成到更广泛的社会危害——构成了重大挑战。近期的对抗攻击、微调漏洞以及LLMs在高风险环境中的日益部署进一步放大了这些风险。现有的增强安全性的技术,如基于人类反馈的微调或对抗训练,仍然存在局限性,因为它们仅针对特定威胁,并且往往无法推广到未见过的攻击,或者需要人工系统级防御。本文介绍了一种名为RepBend的新方法,该方法从根本上破坏了LLMs中潜在有害行为的基础表征,提供了一种可扩展的解决方案以增强(潜在的)安全性。RepBend将激活引导的思想——即推理过程中通过简单的向量算术来引导模型行为——引入基于损失的微调中。通过广泛的评估,RepBend实现了最先进的性能,在不同的越狱基准测试中,其攻击成功率降低了高达95%,同时对模型的可用性和通用能力几乎没有影响。
全数字8.6 nJ/帧65 nm Tsetlin机图像分类加速器
我们提出了一种基于Tsetlin机(TM)原理的全数字可编程机器学习加速器芯片,用于图像分类。TM是一种新兴的基于命题逻辑的机器学习算法,利用称为子模式识别表达式的子句进行操作。该加速器实现了具有卷积功能的聚合TM版本,并对28×28像素的二值化图像进行10类别分类。在高度并行架构中使用了包含128个子句的配置。通过在寄存器中保存所有子句权重和Tsetlin自动机(TA)动作信号,实现了快速子句评估。该芯片采用65 nm低漏电CMOS技术制造,占面积为2.7 mm²。在27.8 MHz的时钟频率下,加速器每秒可完成60.3k次分类,每次分类消耗8.6 nJ能量,展示了TM的能量效率,这也是开发此芯片的主要动机。单张图像分类的延迟为25.4 μs,包括系统时序开销。该加速器在MNIST、Fashion-MNIST和Kuzushiji-MNIST数据集上的测试准确率分别为97.42%、84.54%和82.55%,与TM软件模型一致。
关于Rankin-Selberg卷积的欧拉系统方法中的障碍问题
要将欧拉系统方法应用于$p$-进Galois表示$T$,需要存在$\sigma \in G_{\mathbb{Q}(\mu_{p^{\infty}})}$,使得$V/(\sigma-1)V$在系数环上为秩一自由模:我们称这样的$\sigma$为$V$的欧拉适配元。给定一个非CM的经典新形式$f$(权$k \geq 2$,特征$\chi$)、经典新形式$g$(权$1$,特征$\psi$),以及足够大的数域上的素理想$\mathfrak{p}$(剩余特征为$p$),我们考虑$V=V_{f,g,\mathfrak{p}}$的情况,它是$f$和$g$对应的$\mathfrak{p}$-进表示的张量积。D. Loeffler提出了如下问题:若$\chi\psi \neq 1$,则是否存在有限多个$\mathfrak{p}$之外的所有$\mathfrak{p}$,使得$V_{f,g,\mathfrak{p}}$具有欧拉适配元?当$f,g$的 conductor 互质时,他给出了肯定的回答。我们给出若干较弱的充分条件,以使该问题的答案为肯定。作为应用,我们去除了arXiv:1503.02888中证明的Bloch-Kato猜想版本的一些技术假设。此外,我们通过构造反例族并给出额外的不属于该族的反例,表明该问题的一般答案是否定的。
线性方程组求解问题中量子算法与受量子启发的经典算法之间的指数分离
自HHL提出的经典线性系统求解量子算法以及Kerenidis和Prakash随后提出的量子推荐系统算法以来,实现重要机器学习任务的可证明的量子指数加速一直是研究的核心目标。这些算法最初被认为是实现量子指数加速的强大候选者,但排除类似经典改进的下界一直未能出现。在Tang的一项突破性工作中,这种经典下界进展缓慢的原因得到了明确解释。具体而言,她给出了量子推荐系统算法的经典对应版本,将量子优势降低为单纯的多项式复杂度。她的方法非常通用,并被称为受量子启发的经典算法。自那时起,几乎所有最初声称的量子机器学习指数加速都被新的受量子启发的经典算法降级为多项式复杂度。从当前的研究状况来看,我们尚不清楚是否可以期望对于任何自然的机器学习任务实现量子指数加速。在这项工作中,我们展示了在输入矩阵条件良好且具有稀疏行和列的基本线性系统求解问题上,量子算法与受量子启发的经典算法之间首次可证明的指数分离。
再论对流的解析与数值线性分析
我们针对大于温度尺度高度的区域重新进行了对流的线性分析,采用了解析和数值两种方法。在排除所有耗散的情况下,对流的典型时间尺度由温度尺度高度上的自由落体时间决定。我们定量给出了Boussinesq近似和Wentzel-Kramers-Brillouin(WKB)近似的适用条件。我们重新评估了关键的临界Rayleigh数——这一指标用于表征对流,并表明当温度尺度高度与区域高度相当或更小时,WKB近似倾向于低估临界Rayleigh数。我们清楚地解释了为什么热传导和粘性都需要用来稳定负熵梯度介质。
借助主动学习和高通量筛选加速高性能非线性光学材料的发现
非线性光学(NLO)晶体因其在全固态激光器中的广泛应用,在医学、通信等诸多领域有着重要需求。然而,由于性能要求之间的矛盾,设计具有强倍频效应(SHG)的无机晶体对实验学家和计算科学家而言都极具挑战性。本研究采用数据驱动的方法加速高效NLO材料的探索,通过OPTIMADE联盟内的数据库构建候选材料池,并利用主动学习策略采集最优数据,同时迭代优化机器学习模型。最终,我们公开了一个包含约2,200个基于密度泛函微扰理论计算的SHG张量的数据集。此外,我们评估了机器学习模型在SHG预测中的性能,并引入多保真校正学习方案以提升数据准确性。这项研究标志着数据驱动的NLO材料发现迈出了重要一步,展示了如何通过自动化方式筛选新材料。
医学口语命名实体识别
口语命名实体识别(NER)旨在从语音中提取命名实体并将其分类为人物、地点、组织等类型。在本工作中,我们提出了VietMed-NER——首个医学领域的口语NER数据集。据我们所知,我们的越南实际应用场景数据集是世界上针对实体类型数量而言最大的口语NER数据集,包含18种不同的实体类型。此外,我们展示了使用各种最先进的预训练模型(编码器-仅模型和序列到序列模型)的基准结果,并进行了定量和定性的错误分析。研究发现,预训练的多语言模型在参考文本和自动语音识别(ASR)输出上的表现普遍优于单语言模型,编码器在NER任务中的表现也优于序列到序列模型。通过翻译转录文本,该数据集还可用于越南语以外的其他语言在医学领域的文本NER任务。所有代码、数据和模型均公开可用:https://github.com/leduckhai/MultiMed/tree/master/VietMed-NER。
关于$SU(N)$、$Sp(N)$和$G_2$的Mathieu猜想的补充说明
本文强化了作者在2023年取得的结果。新的结果将O. Mathieu于1997年为所有紧致连通李群提出的关于$SU(N)$的Mathieu猜想归结为仅涉及$\mathbb{R}^n\times (S^1)^m$上函数的猜想,其中$n,m$是非负整数,而非涉及$\mathbb{R}^n\times (S^1\setminus\{1\})^m$上的函数。证明依赖于作者(2024年)的一项近期工作以及特定的$KAK$分解。最后,基于这些结果,我们还可以改进后文中关于$Sp(N)$和$G_2$群的结果,因为它们依赖于2023年论文中的构造。
固定数量矩阵乘法关联的多项式集
考虑计算形如$p(X)$的矩阵多项式问题,其中$X$为大矩阵,并且尽量减少矩阵-矩阵乘法的数量。具体而言,令$\Pi_{2^{m}}^*$表示可以通过$m$次矩阵-矩阵乘法(但允许任意数量的矩阵加法和缩放操作)计算的多项式集合。我们通过表格参数化来刻画该集合。通过对表格表示进行等价变换,我们建立了新的方法来构造$\Pi_{2^{m}}^*$中的元素并确定该集合的一般性质。这些变换允许我们消去变量,并证明其维数被$m^2$所界。数值模拟表明该界可能是尖锐的。因此,我们找到了一种参数化方法,据我们所知,这是首个最小参数化方法。此外,我们利用代数几何中的计算工具研究了使得所有该次数的多项式属于$\Pi_{2^{m}}^*$或其闭包的最大次数$d$。在许多情况下,计算设置是构造性的,即也可以用于确定给定多项式的特定评估方案。
关于Riemann叶状结构间水平能量泛函的临界映射
本文研究了定义在两个Riemann叶状结构之间的光滑映射\( f \)的水平能量\( E_{\HH}(f) \)的临界点,这些临界点被称为水平调和映射。特别地,如果映射是叶状的,则它们成为横截调和映射。通过利用应力-能量张量,我们为来自欧几里得空间、Heisenberg群的商空间\( K_{m} \)以及满足适当曲率pinching条件的Riemann叶状结构上的横截调和映射建立了单调性公式。最后,在无穷远处满足某些渐近条件下,我们给出了水平调和映射或横截调和映射的Jin型定理。
线性反射群的Zariski闭包
我们给出了Vinberg意义下线性反射群为环境投影一般线性群中Zariski稠密的充要条件。作为应用,我们证明了每个秩$N \geq 3$的不可约直角Coxeter群在$n \geq N$时都本质上可以Zariski稠密地嵌入$\mathrm{SL}_n(\mathbb{Z})$中。这使得我们可以解决$\mathrm{SL}_n(\mathbb{Z})$对于所有$n \geq 3$的Zariski稠密曲面子群的存在性问题。其他应用还包括对于所有$n \geq 6$,$\mathrm{SL}_n(\mathbb{Z})$中的例子,即一端无限且有限生成但非有限表示的Zariski稠密子群。
随机顺序模型下的广义指派问题与背包问题
我们研究了随机顺序模型下不同的在线优化问题。存在一组已知容量的有限容器以及一组以随机顺序到达的物品。当一个物品到达时,其大小及其对每个容器的价值会被揭示,并且必须立即且不可撤销地决定将该物品分配到哪个容器中,或者不分配该物品。在这种情况下,如果算法所分配的所有物品的总价值至少为最优分配(事先知道所有物品)总价值的$\alpha$倍,则称该算法具有$\alpha$竞争比。我们给出了一种竞争比为$\alpha=(1-\ln(2))/2\approx 1/6.52$的算法,优于之前广义指派问题的最佳算法($\alpha\approx 1/6.99$)和整数背包问题的最佳算法($\alpha\approx 1/6.65$)。接着,我们研究了单一容器的分数背包问题,允许物品部分装入的情况。对于这种情况,我们得到了一种竞争比为$\alpha=1/e\approx 1/2.71$的算法,优于之前最佳算法($\alpha=1/4.39$)。此外,我们还证明了对于这种模型中的确定性算法,这个竞争比是最优的。
室女座 overdensity 和 Hercules-Aquila 云中的化学成分:来自类似 GSE 碎片的不止一次合并事件的线索
利用 LAMOST DR8 增强版目录中 126 万颗 K 巨星的元素丰度,我们分析了室女座 overdensity(VOD)和 Hercules-Aquila 云(HAC)的化学丰度。我们发现这两个 overdensity 中存在两种不同的化学群体,这与主流假设相矛盾,即这两个 overdensity 都是由单一合并事件(即盖亚香肠 ENCELADUS,GSE)的物质组成的。这两种群体表现出不同的化学趋势:一种具有低金属丰度和高 α 元素丰度,另一种则具有高金属丰度和低 α 元素丰度,分别与最近在本地恒星晕中发现的 Nereus 和室女座径向合并(VRM)组分相关联。这些 overdensity 中的 Nereus 组件在 [Fe/H]-[Mn/Fe] 平面上显示出独特的下降趋势,这种趋势仅在小麦哲伦云矮星系中观察到,为 Nereus 原始星系的特性提供了线索。我们还发现,通常被认为属于 GSE 的具有高各向异性参数的速度椭球实际上是两种成分的混合体。两个 overdensity 在运动学空间中均很好地混合在一起,证实了最近模拟研究的主张,即合并对的碎片在运动学上无法区分。我们发现这些 overdensity 中 VRM 星的速度椭球具有较大的倾角,这可能是模拟合并事件中合并时间的一个指示。
双重一阶方法在凸包价格高效计算中的应用
凸包(Convex Hull, CH)定价是美国电力市场采用的一种定价规则,并在欧洲引起关注。该规则旨在处理具有非凸性的市场,例如启动成本和最小开机停机时间等。在这样的市场中,市场运营商通过向发电机组支付补偿以弥补其机会损失成本,而凸包价格能够使总“机会损失成本”(包括实际损失和未实现的利润机会)最小化。这些价格也可以通过对原始混合整数规划问题的部分Lagrangian对偶进行求解得到,其中功率平衡约束被对偶化。计算凸包价格归结为最小化一组仅依赖于单个发电机组的非光滑凸目标函数之和,每个目标函数的次梯度可以通过独立求解较小规模的混合整数规划问题获得。本文中,我们评估了一系列一阶方法来解决上述双重凸包定价问题。我们测试了几种双重方法,其中大部分以前未曾用于凸包定价,包括束水平法的近似变体、具有三种不同步长策略的次梯度方法、两种最近提出的无参数方法以及结合平滑的加速梯度方法。我们在两个具有代表性的大规模现实实例集上比较了这些方法,并补充了与Dantzig-Wolfe列生成主方法的对比结果,后者已被证明在计算凸包价格方面效率较高。我们的数值实验表明,束水平法的近似变体和两种次梯度方法在所有双重方法中表现最佳,并且相对于Dantzig-Wolfe主方法具有竞争力。
面向文本到图像扩散模型对齐的人类反馈数据的自动化过滤方法
使用人类反馈微调文本到图像扩散模型是一种有效的方法,可使模型行为与人类意图保持一致。然而,由于人类反馈数据集规模庞大且存在噪声,该对齐过程往往收敛缓慢。在本文中,我们提出了一种名为FiFA的新颖自动化数据过滤算法,旨在利用具有直接偏好优化(DPO)的人类反馈数据集增强扩散模型的微调。具体而言,我们的方法通过求解一个优化问题来选择数据,以最大化三个组成部分:偏好裕度、文本质量和文本多样性。偏好裕度的概念用于识别那些在解决反馈数据集噪声性质方面高度信息丰富的样本,它是利用代理奖励模型计算得出的。此外,我们结合了大型语言模型评估的文本质量,以防止有害内容,并通过k近邻熵估计器考虑文本多样性以提高泛化能力。最后,我们将所有这些组件整合到一个优化过程中,通过为每个数据对分配重要性分数并选择最重要的数据对来近似解决方案。结果表明,我们的方法能够高效地自动过滤数据,无需人工干预,且可以应用于任何大规模数据集。实验结果显示,FiFA显著提高了训练稳定性,性能更优,被人类优选的比例高出17%,同时仅使用不到完整数据的0.5%以及完整人类反馈数据集所用GPU小时数的1%。
多玩家非线性约束动态博弈中近似反馈Stackelberg均衡的计算
解决具有非线性动态和耦合约束的反馈Stackelberg博弈问题(在实际中常见)具有重大挑战性。本文提出了一种高效方法,用于计算多玩家广义和动态博弈中近似的局部反馈Stackelberg均衡,其中状态和动作空间为连续。不同于主要针对无约束问题设计的现有(近似)动态规划解法,我们的方法通过将反馈Stackelberg动态博弈重新表述为一系列嵌套优化问题,推导出Karush-Kuhn-Tucker(KKT)条件,并建立局部反馈Stackelberg均衡的二阶充分条件。我们提出了一种基于牛顿风格的原对偶内点法来求解约束线性二次(LQ)反馈Stackelberg博弈,该方法具有可证明的收敛性保证。进一步地,我们将该方法扩展到更一般的非线性博弈中,通过迭代地利用LQ博弈逼近,确保其KKT条件与原始非线性博弈的局部一致。我们证明了该算法在约束非线性博弈中的指数收敛性。在具有非线性动态以及(非凸)耦合成本和约束的反馈Stackelberg博弈中,实验结果表明该算法能够处理不可行的初始条件并实现指数收敛至近似的局部反馈Stackelberg均衡。
多尺度探索SMACS J0723.3--7327星团的星团内光及过去的动力学历史
本文展示了利用JWST/NIRCam在六个滤波器(F090W至F444W)中的深度成像对SMACS J0723.3-7327(以下简称SMACS J0723)星团的星团内光(ICL)进行分析的结果。图像经过处理以适应低表面亮度(LSB)科学需求,并在短波段通道中额外校正了仪器散射,然后通过基于小波的分解方法进行分析。提取并建模了ICL、最亮的星系团星系(BCG)以及卫星星系,并为每个组成部分制作了二维分布图。在400 kpc半径范围内,计算的所有滤波器中的ICL和ICL+BCG比例显示出与波长无关的平坦趋势,分别平均为28%和34%。BCG与下一个最亮成员(M$_{12}$、M$_{13}$和M$_{14}$)之间的流量比也显示了最小的波长依赖性。这些结果表明SMACS J0723是一个动力学演化成熟的星团,具有占主导地位的BCG和发育良好的ICL。分析了五个显著的ICL亚结构,它们贡献了总ICL+BCG通量预算的10-12%,略高于模拟预测值。这些亚结构的短动力学时标表明,瞬时ICL注入率约为几千$L_{\odot}\,{\rm yr}^{-1}$,这与活跃的动力学组装一致。这些发现支持这样的场景:SMACS J0723的ICL增长目前主要由涉及BCG和其他明亮卫星的星系合并驱动,而不是由最近星团合并后预处理过的ICL的吸积驱动。然而,将当前的注入率外推到星团的寿命表明,需要其他机制来匹配宇宙时间尺度上其他星团观测到的增长。
局部而非全域识别的结构向量自回归模型
本文分析了结构向量自回归(SVAR)模型中,结构性参数仅在局部而非全域可识别的情形。在这种情况下,存在一组孤立的结构性参数点,在施加的约束下具有相同的观测结果。尽管数据无法告诉我们应选择哪个等效点,但常见的频率学派做法是通过最大似然估计获取一个点,并据此进行脉冲响应分析。对于贝叶斯学者而言,缺乏全域识别会导致后验分布对先验分布的非消失敏感性,且多模态的似然函数给计算带来了挑战,因为后验采样算法可能无法探索所有的模式。本文通过提出新的估计和推断程序克服了这些挑战。我们刻画了一类导致局部而非全域识别的约束条件及其对应的等效参数值数量。我们提出了算法以穷尽计算所有满足简约形式参数的可接受结构性参数,并利用它们从多模态后验分布中采样。此外,我们将这组等效参数点视为“识别集”,并发展了针对脉冲响应集合的贝叶斯和频率学派推断方法。一个经验例子展示了我们的提议。
关于伪Hermitian流形到Kähler流形的$\overline{\partial }_{b}$-调和映射
本文研究了从伪Hermitian流形到Kähler流形的映射,并为这些映射引入了部分能量泛函。首先,我们在一般的伪Hermitian流形上得到了一个叶层化的Lichnerowicz型结果,推广了文献\cite{SSZ2013holomorphic}中关于Sasakian流形的相关结果。接着,我们探讨了部分能量泛函的临界点,称为$\overline{\partial }_{b}$-调和映射和$\partial _{b}$-调和映射。我们分别对$\overline{\partial }_{b}$-调和映射和$\partial _{b}$-调和映射给出了叶层化结果,推广了Petit在文献\cite{Pet2002harmonic}中关于调和映射的叶层化结果。最后,我们将Siu关于调和映射的全纯性结果\cite{Siu1980rigid}推广到了$\overline{\partial }_{b}$-调和映射和$\partial _{b}$-调和映射的情形。
Schrödinger方程中带有二次哈密顿量的Hardy不确定性原理
Hardy不确定性原理是调和分析中的经典结果,表明$L^2(\mathbb{R}^d)$空间中的函数与其傅里叶变换不能同时在无穷远处任意快速衰减。本文将这一原理推广到具有二次哈密顿量的Schrödinger方程的传播子,这些传播子在文献中被称为金属线性算子。这些算子推广了傅里叶变换,并因其在时间-频率分析、量子谐波分析、信号处理以及众多其他领域的广泛应用而受到广泛关注。然而,这些算子涉及的复杂结构需要仔细分析,迄今为止大多数结果仅适用于可以简化为重新缩放的傅里叶变换的特殊传播子。本文的主要贡献有三个方面:(1)我们扩展了Hardy不确定性原理,涵盖了所有具有二次哈密顿量的Schrödinger方程的传播子;(2)我们提供了具体的例子,例如当考虑各向异性谐振子时出现的分数傅里叶变换;(3)我们建议在某些方向上的高斯衰减条件,这些条件与相应的辛投影的结构有关。
共 13511 条搜索结果
共 13511 条