你的位置:云开·全站APPkaiyun > 新闻资讯 > 开云kaiyun中国官方网站进而达成说话模子实体层级的对比学习-云开·全站APPkaiyun

开云kaiyun中国官方网站进而达成说话模子实体层级的对比学习-云开·全站APPkaiyun

时间:2026-04-17 06:39 点击:123 次

开云kaiyun中国官方网站进而达成说话模子实体层级的对比学习-云开·全站APPkaiyun

如何让大模子感知常识图谱常识?开云kaiyun中国官方网站

蚂蚁聚首实验室:期骗多词元并行量度给它"上课"。

大说话模子的速即发展冲突了很多天然说话处理任务间的壁垒。通常情况下,大说话模子以量度下一个词元(Token)为教师标的,这与很多天然说话处理任务至极契合。

但关于常识图谱而言,实体算作最基本的数据单位,通常需要多个天然说话词元才气准确描写,这导致常识图谱与天然说话之间存在明显的粒度不匹配。

为了责罚这一问题,蚂蚁团队提倡了一种基于大说话模子的多词元并行量度法子 K-ON,其期骗多词元并行量度机制草率一次生成对通盘实体的评估散伙,进而达成说话模子实体层级的对比学习。

其散伙收录于 AAAI 2025 Oral。论文一作当今在浙江大学攻读博士。

实验散伙标明,本文法子在多个数据集上的常识图谱补全任务中均优于现存法子。

基于多词元并行量度的实体对比学习

词元是说话模子所能处理的最基本元素,通常需要数个词元组成的文本标签才气准确描写和辩认常识图谱中的实体。天然为每个实体创建一个新的词元并在微调过程中学习这些词元的暗意不失为一种替代有规划,但这种形式教师调优老本较高,且可能会对大模子的性能产生负面影响,通用性也受到截止。

本文探讨了如何高效期骗多个词元描写常识图谱中的实体以责罚常识图谱干系问题的法子。领先,径直优化经典的序列量度蚀本可能会导致大模子穷乏对常识图谱实体的意识,从而出现生成常识图谱中不存在的实体的问题;且研究到常识图谱中实体的数目,将通盘实体以文本险峻文的形式输入给大模子昭着亦然不实践的。

以上图为例,假定任务是给定不无缺三元组以量度标的实体 Matt Damon。左图中使用老例一语气单词元量度形式生成散伙需要多个子法子,且无法径直处理多个实体。因此,现存大大批常识图谱干系法子仅将大模子应用于浅易任务上,如考证三元组的正确性或从有限数目的候选实体中领受正确谜底。

比较之下,本文提倡的 K-ON 法子使用 K 个输出层并行量度多个实体不同位置词元的概率,这与当今 DeepSeek 等大模子中使用的多词元量度时候有着一定的相似性,且本文法子进一步借助了实体层级的对比学习在模子输出层上累加常识图谱常识。

K-ON 完成常识图谱补全任务的法子论

如下图所示,K-ON 并行评估常识图谱候选实体分数的过程可分为五步:

( 1 ) 与现存微调大模子的法子相似,K-ON 将常识图谱补全问题以文本请示的形式输入大模子;

( 2 ) 经大模子 Transformer 模块处理后的输出景况被输入至 K-ON 模块中,该模块由多个原大模子输出层 MLP 组成,对应为要量度实体的不同位置的词元;

( 3 ) 接着,K-ON 使用 Conditional Transformer 羼杂不同位置的信息,并研究到词元前后的端正依赖性;

( 4 ) 然后,使用低秩相宜时候(LoRA)将原大模子评分层构造为 K 个新的评分层,从而把上一步的输出散伙出动为对实体 K 个一语气词元的概率量度分散;

( 5 ) 临了便不错从不同位置的概率量度分散中抽取各实体词元对应的概率值,进而一次评估通盘候选实体的分数。

在获得候选实体分数后,便可使用常识图谱暗意学习规模中最为常用的对比学习蚀本使大模子掌执常识图谱中实体的分散:

此处 pe、 pej 离别代表正样本和负样本的分数,均由 K-ON 模块并行生成。除了实体层级的对比学习外,本文还进一步研究使用词元序列对皆使多词元并行量度的散伙与正本大模子单步一语气量度的散伙不时近。为达成这一标的,本文领先引入常用的单步量度蚀本以在教师语料上微调原输出层参数:

这里的下标 k 指代组成实体的词元的序号。

接着便可令 K-ON 模块中一次评估的 K 个词元的概率分散与老例一语气单词元量度得到的 K 个概率分散对皆:

此处上标 k-on、llm 离别指代 K-ON 和老例一语气量度所得到的分数。

临了,教师 K-ON 完成常识图谱补全任务的基本经过可追忆如下:

实验散伙:服从更高、老本更低、成果更好

下表展示 K-ON 在常识图谱补全任务上的实验散伙,除传统法子外,本文还与雷同基于大模子的法子以及多模态法子进行了比较。不丢丑出,K-ON 在所稀有据集及倡导上均取得了优于现存法子的散伙,且与一些使用罕见图像数据的法子比较,仍具有一定上风。

下图中进一步分析了 K-ON 中跟着 K 值的增多,模子各方面性能的变化,这里 K 的取值径直决定了单个实体最多不错由几许词元抒发。如图所示,当 K 取值过小时,由于抒发智商不及,K-ON 取得的实验散伙很差,但增多至 8 以后带来的性能栽种已不明显,而模子可教师参数目却稳步飞腾。

值得防卫的是,推理所用单步时分及总教师时分受 K 值影响不大,这诠释了 K-ON 多词元并行量度的高效性。

不仅如斯,本文还对 K-ON 所达成的实体层级的对比学习进行了分析,如下图所示。不错看出,在真的分歧教师服从形成影响的前提下,K-ON 可松驰达成波及上千个负样本实体的对比学习,但负样本数目并不是越多越好,将其设为 128 个足下便可取得最优散伙。

本文提倡了一种多词元并行量度法子,通过实体层级的对比学习使大模子草率感知常识图谱常识。充分的实验散伙标明,本文法子在常识图谱干系任务上具有权贵性能上风,何况较老例大模子有规划具有更高的教师与推理服从。

论文地址:

https://arxiv.org/pdf/2502.06257

蚂蚁有 18 篇时候论文被收录

当地时分 2 月 25 日,AAAI 2025 将在好意思国宾夕法尼亚州费城举办,会议为期 11 天,于 3 月 4 日收尾。AAAI 由海外东谈主工智能促进协会把持,为东谈主工智能规模的顶级海外学术会议之一,每年举办一届。AAAI 2025 共有 12957 篇灵验投稿,托付 3032 篇,考中率为 23.4%。

蚂蚁有 18 篇时候 Paper 收录,其中 3 篇 Oral,15 篇 Poster,磋议规模波及增深广模子隐秘保护、提高推理速率与推贤达商、栽种大模子教师服从、镌汰模子幻觉等。

—  完  —

投稿请职责日发邮件到:

ai@qbitai.com

标题注明【投稿】,告诉咱们:

你是谁,从哪来,投稿实质‍

附上论文 / 步田主页贯穿,以及筹划形式哦

咱们会(尽量)实时回报你

一键暄和 � � 点亮星标

科技前沿认知逐日见

一键三连「点赞」「转发」「留心心」

接待在批驳区留住你的思法!开云kaiyun中国官方网站

新闻资讯

XINWENZIXUN

云开·全站APPkaiyun“‘大先生’的故事和讲话让我很受饱读动-云开·全站APPkaiyun

中青报·中青网记者 贾子凡云开·全站APPkaiyun “我第一次上这样灵活真义真义的‘大想政课’。当年都是坐在教室里边听诚实讲边记条记,今天通过景色剧、跳舞、诗歌齐唱,把先辈的故事奏凯演到咫尺,嗅觉非常震荡。”清华大学附庸小学六年齿学生张修舒说。 11月12日,来自北京市大中小学的1300余名学生,在清华大学新清华学堂同上“强国回应有我”2026年都门高校更生援助主题“大想政课”。党的二十届五中全会的《决定》残酷,用党的优良传统和中华优秀传统文化修养党性,在践诺中考验党性。这堂“大想政课”恰

开云(中国)开云kaiyun·官方网站那么券商便弗成粗浅判定为周期顶部-云开·全站APPkaiyun

开云(中国)开云kaiyun·官方网站 客不雅来讲,券商向来被视作市集牛市风向标。在牛熊快速切换的市集环境中,券商实质适用周期股估值逻辑;倘若A股能走出雷同好意思股的永远慢牛行情,国内券商板块则有望完成“周期属性向成长/红利属性切换”,对应的估值订价体系也会随之重构。 两种估值逻辑,对应实足不同的板块研判视角。站在传统牛熊循环的框架下,不少市集不雅点已预判市集或将迎来革新,以此推导,券商板块刻下位置当然属于周期高位;但如若本轮指数自4000点回落仅为短期本领性休整,后续数年大盘指数仍能保管每年

开云kaiyun官方网站公私之辨:政府的手伸向了何处?要分解这件事的严重性-云开·全站APPkaiyun

近期开云kaiyun官方网站,好意思国政府正在作念一件好意思国历史上从未有过的事:径直入股私营公司。 这不单是是浅薄的投资,而是对老本成见妥协放市集根基的动摇。在昔日一年半里,好意思国政府通过多个部门,以 “投资” 为名,在多家私营企业赢得了股权。从商务部的动力投资,到国防部对矿业公司的持股,再到对英特尔近 90 亿好意思元的无数注资,名单越来越长。 这背后,是政府脚色从 “评判员” 向 “指导员” 的悄然滚动。 公私之辨:政府的手伸向了何处? 要分解这件事的严重性,得先厘清 “公” 与 “私

开云kaiyun官方网站受本钱商场交投活跃等要素影响-云开·全站APPkaiyun

开云kaiyun官方网站 雷递网 乐天 7月20日 浙江核新同花顺网罗信息股份有限公司(证券代码: 300033 证券简称:同花顺)日前发布2026年上半年的事迹预报,同花顺预测2026年上半年净利为8.78亿元到9.79亿元,较上年同时的5亿增长75%到95%。 同花顺预测2026年上半年扣除很是常性损益后的净利为8.48亿到9.45亿,较上年同时的4.84亿增长75%到95%。 同花顺称,2026 年上半年,受本钱商场交投活跃等要素影响,金融信息做事需求快速增长。论说期内,公司握续鼓励东说

开云kaiyun他提供了一个判断城市蛊卦力的新坐标-云开·全站APPkaiyun

玛氏高管AJ在广州河汉买房安家,把家东说念主带来长住,这个看似个东说念主的聘请,骨子上折射出粤港澳大湾区产业竞争力模子的一次深层变革——从“老本引进来”到“东说念主才留住来”,从“制造基地”到“生计主视力”。 AJ的故事值得深想,他提供了一个判断城市蛊卦力的新坐标。五年前因外派而来,五年后主动留住,滚动点不是薪酬包的厚度,而是一杯邻居递来的滚热单枞茶。他在河汉小区里通过茶台意志广州,在永庆坊的麻石路上找到“松接续”的空间,在楼下公园里看男儿和邻居孩子一齐打滚——这些细节勉强出的,是一座城市提供

回到顶部
关注公众号
联系我们
QQ:20993392588
邮箱:8098c723@outlook.com
地址:新闻资讯国际企业科技园574号

Powered by 云开·全站APPkaiyun RSS地图 HTML地图


云开·全站APPkaiyun-开云kaiyun中国官方网站进而达成说话模子实体层级的对比学习-云开·全站APPkaiyun