分类
重力场中Maxwell分子的非弹性线性Boltzmann方程的整体吸引子
本文研究了在均匀固定重力场存在下Maxwell分子情形的非弹性线性Boltzmann方程。首先,我们在有限非负Radon测度空间中得到了一个适定性结果。此外,严格证明了在外场引起的非平衡条件下平稳解的存在性。进一步地,我们表明这种平稳解在此类有限非负具有有限一阶矩的Radon测度中是唯一的,并且此类的所有解都以测度的弱拓扑收敛到该平稳解。
令牌动力学:面向视频大语言模型的高效动态视频令牌表示方法
基于令牌的视频表示作为一种使大型语言模型(LLMs)解释视频内容的有前景的方法已经出现。然而,现有的令牌减少方法,如令牌剪枝和令牌合并,常常会破坏重要的时空位置嵌入,无法在计算效率和较少的令牌之间实现充分平衡。因此,这些方法导致了冗长的令牌序列,在需要极端令牌压缩的场景中,如视频大语言模型,其适用性受到限制。本文引入了极端短令牌减少的新任务,旨在用最少数量的令牌表示广泛的视频序列。为了解决这一挑战,我们提出了Token Dynamics,这是一种新的视频表示框架,能够在保持时空一致性的同时动态减少令牌数量。具体而言,我们将视频表示分解为视觉嵌入与网格级运动信息分离,并构建为:1. 通过聚类描述对象级内容的令牌创建简洁的令牌哈希表;2. 捕捉网格间详细时空运动模式的令牌索引键映射;3. 将令牌哈希表向量化量化以从键映射重构令牌序列的令牌哈希函数。此外,我们引入了一种跨动态注意力机制,将运动特征整合到令牌基础中而不增加令牌长度,从而保持紧凑性和时空完整性。实验表明,令牌数量可减少到原始令牌的0.07%,仅造成1.13%的微小性能下降。此外,我们在极端令牌减少中提出了两个新子任务(固定长度和自适应长度压缩)。我们的方法具有显著更低的理论复杂度、更少的令牌和更高的吞吐量,为视频大语言模型提供了一个高效的解决方案。
关于具有等变交换运算的张量积
我们肯定并推广了Blumberg和Hill的一个猜想:单位弱$\mathcal{N}_\infty$-运算在$\infty$-范畴的Boardman-Vogt张量积下是封闭的,并且所得的张量积对应于弱索引系统的联合;特别是,我们得到了一个自然的$G$-对称单态等价\[ \underline{\mathrm{CAlg}}^{\otimes}_{I} \underline{\mathrm{CAlg}}^{\otimes}_{J} \mathcal{C} \simeq \underline{\mathrm{CAlg}}^{\otimes}_{I \vee J} \mathcal{C}. \]我们通过证明$\mathcal{N}_{I\infty}^{\otimes}$是$\otimes$-幂等的,以及若且仅若$\mathcal{O}$-monoid $G$-空间满足$I$-索引的Wirthmüller同构时,$\mathcal{O}^{\otimes}$对于相应的smashing局部化是局部的,从而实现了这一点。最终,我们通过推进$G$-对称$\infty$-范畴中笛卡尔和余笛卡尔$I$-对称单态结构的等变高阶代数完成了这一目标。此外,我们还获得了关于$G$-运算的一些结构性结果,包括$\otimes$提升为一个可表对称单态结构的典范方式,以及计算非约化单位$G$-运算的张量积的一般分解和组装过程。所有这些结果都是在原子轨道$\infty$-范畴的广义框架下证明的。我们也得到了(迭代)Real拓扑周期和循环同调的预期推论,并构造了一个自然的$I$-对称单态结构,用于$\mathcal{N}_{I\infty}$-代数上的右模。
太阳日冕环的异常跨磁场运动
本文展示了几个太阳日冕环中非同寻常的演化模式,这些模式类似于跨磁场漂移运动。这些环状结构由两颗不同的航天器从两个有利位置同时观测到:太阳轨道器上的极紫外成像仪(Extreme Ultraviolet Imager)的高分辨率成像仪(HRI$_{EUV}$),以及太阳动力学观测台上的大气成像组件(Atmospheric Imaging Assembly, AIA)。在所有这些事件中,都观察到了一个反复出现的模式:最初,一条细长的丝状结构脱离并移动数兆米(Mm)远离主环或母环,而在此期间,母环保持在原位不变。几分钟后,移动的丝状结构反向移动并返回到母环的位置。这种“分裂-漂移”型演化的关键特征包括:(i) 在分裂事件前后,环状结构中存在扭折振荡;(ii) 分裂时的瞬时运动速度约为30 km/s,随后伴随约5 km/s的缓慢漂移运动,方向可能是远离或返回母环。来自日震和磁成像仪(Helioseismic and Magnetic Imager, HMI)的共时光球磁场数据表明,在这种“分裂-漂移”演化过程中,日冕环在光球中的某一点会在附近的磁极之间来回移动。尽管这一“分裂-漂移”现象的确切原因尚不清楚,但其特性中表现出的一致性模式表明可能存在更广泛的物理机制。这凸显了通过观测研究和数值模拟进一步深入探究的必要性。
大视图合成模型(LVSM):具有最小三维归纳偏置的视角合成方法
我们提出了大视图合成模型(LVSM),这是一种基于变压器的新方法,可以从稀疏视角输入进行可扩展且通用性强的新视角合成。我们引入了两种架构:(1) 编码器-解码器LVSM,将输入图像标记编码为固定数量的一维潜在标记,作为完全学习的场景表示,并从中解码新视角图像;(2) 解码器仅LVSM,直接将输入图像映射到新视角输出,完全消除了中间场景表示。这两种模型都绕过了先前方法中使用的三维归纳偏置——从三维表示(例如NeRF、3DGS)到网络设计(例如对极投影、平面扫描)——通过完全数据驱动的方法解决了新视角合成问题。虽然编码器-解码器模型由于其独立的潜在表示而提供了更快的推理速度,但解码器仅LVSM在质量、可扩展性和零样本泛化方面表现更优,在PSNR上比之前最先进的方法高出1.5到3.5 dB。在多个数据集上的综合评估表明,两种LVSM变体均达到了最先进的新视角合成质量。值得注意的是,即使在减少计算资源(1-2个GPU)的情况下,我们的模型也超过了所有先前的方法。请访问我们的网站以获取更多详细信息:https://haian-jin.github.io/projects/LVSM/ 。
一张图片就足够了:通过单一图像对视觉文档检索增强生成进行投毒攻击
多模态检索增强生成(M-RAG)最近作为一种方法出现,旨在通过事实知识库(KB)抑制大型多模态模型(LMMs)的幻觉现象。然而,M-RAG也引入了新的攻击向量,对手可以通过向知识库中注入恶意条目来破坏系统。在这项工作中,我们针对M-RAG提出了一个针对视觉文档检索应用的投毒攻击,其中知识库包含文档页面的图像。我们的目标是设计一个单一的图像,能够被各种不同的用户查询检索到,并且一致地影响生成模型产生的输出,从而对M-RAG系统造成一种通用的拒绝服务(DoS)攻击。我们证明,尽管我们的攻击对广泛使用的各种最先进的检索器(嵌入模型)和生成器(LMMs)都有效,但它也可能对鲁棒的嵌入模型无效。我们的攻击不仅揭示了M-RAG管道对投毒攻击的脆弱性,还揭示了一个根本性的弱点,这可能在良性环境中阻碍其性能。
冷暗物质Vlasov-Poisson方程积分的数值限制
Vlasov-Poisson方程组(VP)描述了在集体场势影响下无碰撞粒子分布的演化。VP是冷暗物质(DM)宇宙学密度扰动引力不稳定性研究的基础,其应用范围还扩展到其他领域,如等离子体物理。对于冷暗物质,每个流体单元(或粒子)只对应一个速度,初始条件存在刚性间断。这会导致当采用基于网格的方法求解VP时出现扩散或负分布函数等问题。本文旨在强调这一问题,并聚焦于该现象的技术细节。通过比较不同的有限体积方法和谱方法,我们观察到虽然所有积分方案都能保持系统的不变量(例如能量),但感兴趣的物理可观测量——密度却未被正确再现。因此,我们将不同欧拉积分方案得到的密度与参考N体方法的结果进行对比。我们指出,求解自引力系统VP系统的最适方法是谱方法。
RAG实时评估模型:谁最擅长检测幻觉?
本文调研了用于自动检测 Retrieval-Augmented Generation (RAG) 幻觉的评估模型,并对其在六个 RAG 应用中的性能进行了全面基准测试。我们研究的方法包括:LLM-as-a-Judge、Prometheus、Lynx、Hughes 幻觉评估模型(HHEM)以及可信语言模型(TLM)。这些方法均为无参考(reference-free),无需真实答案/标签即可捕捉错误的大型语言模型(LLM)响应。我们的研究表明,在不同的 RAG 应用中,其中一些方法在检测错误的 RAG 响应时具有高精度和高召回率。
有限资源下测量过程的描述及其对“魏格纳的朋友”情景的影响
量子力学最初是为描述自然界最小能量尺度而发展起来的理论。经过一百年的发展,它现在已经被广泛用于描述包括具有数千个量子比特的量子计算机在内的多种系统。这一巨大进步使得基础问题的争论成为一项技术上的迫切需求。在接下来的内容中,我们引入了一个量子测量过程的模型,该模型一致地考虑了在描述宏观系统(如测量装置)时仅拥有有限资源的影响。利用封闭系统平衡化和典型性等现代工具,我们展示了测量坍缩可以被视为封闭动力学的一种有效描述,而我们并不知道其所有细节。我们的模型随后被用来探讨“魏格纳的朋友”情景,并观察到当魏格纳和他的朋友都承认他们的有限资源视角并相应地描述测量过程时,他们之间达成了共识。
大型语言模型中污染检测方法的全面调查
近年来,大型语言模型(LLMs)的兴起带来了丰富的机遇,同时也伴随着新的挑战,其中污染问题迅速成为关键问题。人工智能(AI)在商业应用和融资方面已达到一定规模,一些问答基准上的百分点提升可能意味着数千万美元的收益,这给模型的完整性带来了巨大压力。与此同时,追踪LLMs所见过的数据变得越来越困难;对于像GPT-4和Claude-3这样闭源的模型,由于不披露任何关于训练集的信息,这几乎是不可能的。因此,污染成为一个主要问题:LLMs的表现可能不再可靠,因为高表现可能部分归因于它们之前对数据的接触。这一局限性危及自然语言处理领域的真实能力提升,然而,目前仍缺乏有效的污染检测方法。本文综述了所有关于LLMs污染检测的最新研究工作,分析其方法论和应用场景,为正确使用污染检测方法提供了指导。我们的工作呼吁自然语言处理研究社区系统地考虑LLMs评估中的污染偏差。
大语言模型自动提示优化技术系统性综述
自大规模语言模型(LLMs)问世以来,提示工程已成为获取各种自然语言处理(NLP)任务所需响应的关键步骤。然而,由于模型、任务及其最佳实践的快速发展,提示工程对终端用户来说仍是一大障碍。为缓解这一问题,近期出现了自动提示优化(APO)技术,这些技术利用各种自动化方法帮助提高LLMs在各类任务上的性能。本文综述了该领域目前的进展和面临的挑战,给出了APO的正式定义和一个包含五个部分的统一框架,并基于其显著特征严格分类了相关工作。我们希望我们的框架能够引导进一步的研究。
OmniScience:专用于科学研究与发现的领域特定大型语言模型
大型语言模型(LLMs)在推动科学发展和解决复杂挑战方面展现出非凡潜力。本文介绍了一种专门用于通用科学推理的OmniScience模型,该模型通过三个关键组成部分构建而成:(1)在精心策划的科学文献语料库上进行领域适应预训练;(2)在专业数据集上进行指令微调,以引导模型完成特定领域的任务;(3)通过基于推理的知识蒸馏进行微调,显著提升其生成上下文相关且逻辑严谨响应的能力。我们通过开发一种高效评估分子作为潜在电解质溶剂或添加剂的电池代理,展示了OmniScience的多功能性。全面评估表明,OmniScience在GPQA Diamond及特定领域的电池基准测试中表现出与最先进的大型推理模型相当的竞争力,同时在参数量相似的情况下优于所有公开的推理和非推理模型。此外,消融实验进一步证明了领域适应预训练和基于推理的知识蒸馏对于实现我们在各基准测试中的性能水平至关重要。
社会科学对于操作具有社会负责属性的基础模型至关重要
随着基础模型的兴起,对其潜在社会影响的担忧日益增加。社会科学在研究变革性技术的社会影响方面有着悠久的历史,涉及对现有权力体系的研究以及这些体系如何被新技术所改变或强化。本文基于先前研究早期技术社会影响的工作,提出了一个概念框架,将基础模型视为社会技术系统,并结合社会科学专业知识,以更好地理解这些模型如何影响权力体系,预测将其应用于各种场景的影响,以及研究旨在减轻社会危害的技术干预措施的有效性。我们提倡在基础模型研究和开发的所有阶段开展人工智能与社会科学之间的跨学科和协作研究范式,以促进具有社会负责属性的研究实践和应用场景,并概述了几种促进此类研究的策略。
基于内容定义分块的文件备份服务分块攻击
文件备份服务等系统常使用基于内容定义分块(CDC)算法,特别是滚动哈希技术,将文件分割为可实现数据去重的块。这些分块算法通常依赖于每个用户的参数,试图避免泄露存储数据的信息。我们提出了一种提取这些分块参数的攻击方法,并讨论了在参数被攻破时协议无关的安全损失(包括当这些参数未设置时的情况,这通常是可选的)。我们的参数提取攻击本身是协议特定的,但其思想可以推广到许多潜在的CDC方案。
省略非边临界有向图的图的定向问题
1974年,Erdős提出了以下问题:给定一个图$G$和一个有向图$\vec{H}$,有多少种方法可以对$G$的边进行定向,使得它不包含$\vec{H}$作为子图?我们将这个值记为$D(G, \vec{H})$。进一步地,我们令$D(n, \vec{H})$表示在所有具有$n$个顶点的图$G$上,$D(G, \vec{H})$的最大值。2006年,Alon和Yuster给出了当$\vec{H}$为竞赛图时的精确答案。2023年,Bucić、Janzer和Sudakov给出了所有有向图$\vec{H}$的渐近解,并在同一论文中给出了当$\vec{H}$为有向循环时的精确解。本文对某些特定的非二分有向图给出了更好的界值。此外,对于一些小的非边临界有向图$\vec{H}$,我们得到了$D(G, \vec{H})$的确切值。最后,对于这些图,我们分类了所有达到界值$D(G, \vec{H}) = D(n, \vec{H})$的图$G$。
QuantumBind-RBFE:基于神经网络势能的相对结合自由能计算
准确预测蛋白质-配体结合亲和力在药物发现中至关重要,尤其是在命中化合物到先导化合物以及先导化合物优化阶段,然而配体力场的局限性仍然影响了预测准确性。在这项工作中,我们验证了利用神经网络势能(NNPs)进行相对结合自由能(RBFE)计算的准确性。我们采用了一种基于TensorNet架构的小分子新型NNP模型AceFF 1.0,该模型能够适用于多样化的药物样化合物,包括所有重要的化学元素并支持带电分子。通过已建立的基准测试,我们显示相比于分子力学中的GAFF2和NNPs中的ANI2-x,结合亲和力预测的整体准确性和相关性有所提高。与OPLS4相比,虽然准确性略低,但相关性相当。此外,我们还表明可以使用2 fs的时间步长运行NNP模拟,至少比之前的NNP模型大两倍,提供了显著的速度提升。结果表明,基于NNPs的自由能计算方法具有进一步发展的潜力,并且当前一代已经显示出其实际应用价值。代码和NNP模型可供研究使用。
注释数据上一致答案的重写
本文研究了在用自然有序正半环注释的数据库上查询的一致答案。在这种情况下,查询的一致答案被定义为查询在不一致数据库的所有修复上取值的半环值的最小值。主要关注的是无自连接的连接查询和键约束,这是标准数据库上一致查询回答研究得最多的案例。我们引入了一种具有有限形式否定的一阶逻辑变体,定义了适当的半环语义,并建立了论文的主要结果:在键约束下,无自连接的连接查询的一致查询答案可以在此逻辑中重写当且仅当查询的攻击图不含循环。这个结果推广了Koutris和Wijsen对于普通数据库的类似结果,但也为许多半环(包括包半环、热带半环和模糊半环)得到了新的结果。此外,对于包半环,我们证明了计算任何攻击图具有强循环的无自连接的连接查询的一致答案不仅NP困难,而且即使近似计算一致答案也难以保证常数相对近似度。
自旋子与磁场在 fractionalized 态下的相互作用
Ba4Nb1-xRu3+xO12(一种4d电子三聚物晶格)被认为具有一个普遍存在的重自旋子费米面,这一费米面既支撑了量子自旋液体(QSL),也支撑了相邻的重费米子奇异金属(HFSM)相,具体取决于Nb含量。迁移的自旋子充当热载流子,使得电荷绝缘的QSL比HFSM具有更好的热导率[1]。我们发现,在高达14特斯拉的磁场下,热量容量意外地增加了多达5000%,这打破了150毫开尔文以下两个相位的热量容量的典型线性温度依赖关系。相比之下,在相同的毫开尔文温度范围内,交流磁化率和电电阻在高达14特斯拉的磁场下几乎没有响应。施加的磁场还通过降低低于4开尔文的温度显著抑制了热导率,最多可达40%。所有这些复杂的热现象表明,低温度下施加磁场极大地改变了自旋子的行为。在毫开尔文温度和强磁场下热量容量(以及熵)的惊人增长呈现了一种高度不寻常的情况,需要新的物理学理论来解释。
超图表示单细胞RNA测序数据以通过随机游走改进聚类
单细胞RNA测序数据分析通常通过共表达网络等网络投影进行,这主要是因为下游任务有丰富的网络分析工具可用。然而,这种方法存在多个局限性:丢失高阶信息、由于将稀疏数据集转换为全连接网络导致的数据表示效率低下,以及由于零膨胀导致的共表达过度估计。为了解决这些局限性,我们建议将单细胞RNA测序表达数据概念化为超图,超图是一类广义图,其中超边可以连接两个以上的顶点。在单细胞RNA测序数据的背景下,超图节点代表细胞,边代表基因。每个超边连接其对应基因活跃表达的所有细胞,并记录该基因在不同细胞中的表达情况。这种超图概念化使我们能够探索多向关系,而不仅仅是共表达网络中的成对交互,且不会丢失信息。我们提出了两种新的聚类方法:(1)双重重要性偏好超图游走(DIPHW)和(2)共表达与记忆集成的双重重要性偏好超图游走(CoMem-DIPHW)。这两种方法在模拟数据和真实单细胞RNA测序数据集上均优于现有方法。当数据模块性较弱时,我们提出的方法带来的改进尤为显著。此外,CoMem-DIPHW结合了基因共表达网络、细胞共表达网络以及从单细胞丰度计数数据中得到的细胞-基因表达超图,用于嵌入计算。此方法同时考虑了来自单细胞水平基因表达的局部信息和来自两个共表达网络中成对相似性的全局信息。
麦哲伦云类星系矮卫星识别计划(ID-MAGE):低质量宿主星系周围卫星星系的搜寻
我们展示了麦哲伦云类星系矮卫星识别计划(ID-MAGE)的结果,该计划旨在识别和表征围绕36个近邻麦哲伦云(LMC)和斯麦矮星系(SMC)质量宿主星系(距离为4-10 Mpc)的未解析卫星星系。我们利用DESI Legacy Survey的存档成像数据,并进行了广泛的矮卫星搜索,范围扩展至150 kpc(约等于宿主星系的引力半径 $ R_{vir} $)。我们确定了 \tot 个候选卫星星系,其中包括 \new 项新发现。通过注入星系的广泛测试表明,该调查在 $ M_V\sim-9.0 $(假设宿主星系的距离)和 $\mu_{0,V}\sim$26 mag arcsec$^{-2}$(假设n=1的Sérsic轮廓)下具有完整性。我们对所有候选者进行了一致的Sérsic轮廓拟合测光,并启动了一个全面的后续观测计划以确认和表征候选者。通过系统的目视检查活动,我们将最有可能的候选者分类为高可能性的卫星星系。平均而言,我们发现在每个LMC质量宿主星系周围有4.0$\pm$1.4个高可能性候选卫星星系,在每个SMC质量宿主星系周围有2.0$\pm$0.6个,这在宇宙学模型预测的范围内。我们利用这个样本建立了LMC/SMC质量星系卫星亮度函数的上下限估计。ID-MAGE几乎将低质量星系周围卫星星系的调查数量增加了三倍,并提供了完整的完整性限制,从而提供了一个独特数据集,用于探索不同环境中低质量宿主星系周围的小尺度结构和矮星系演化。
共 13511 条搜索结果
共 13511 条