谢赛宁团队新作正在引起热议！

一直以来，手脚文生图基石的 CLIP 模子主要基于英文数据梭巡，但本质上，行家互联网仍有向上 50%的非英文数据。

为了将 CLIP 模子进一步膨胀，商酌东说念主员需要责罚两大"拦路虎"：

短少处理非英语数据的筛选法式；

现存多说话 CLIP 的英语性能比纯英语版块差（即所谓的"多说话吊问"）。

而谢赛宁团队恰是在这两方面赢得突破。他们暴虐了首个基于行派别据从新梭巡的 CLIP ——MetaCLIP 2，通过膨胀元数据、优化筛选和晋升模子容量，斩获了以下效果：

搭建了能处理300 多种说话的 CLIP 数据整理过程。

冲破了"多说话吊问"，不仅莫得影响英语任务的进展，况且反倒还晋升了。

论文一作 Yung-Sung Chuang（MIT 博士生、现 Meta 实习生）本旨暗示：

是时刻告别说话过滤器了！

刚被小扎从 OpenAI 挖走的 Lucas Beyer 也出来对这一不雅点暗示认可，顺带还感谢了论文中的援用：

很欢娱看到咱们暴虐并长久倡导的" NoFilter "理念能在 MetaCLIP 2 中得到诈欺。

这便是正确的说念路！

这也引来了谢赛宁本东说念主的回复：

早在 MetaCLIP 中，团队的野心亦然 NoFilter（与其搞复杂过滤，不如深信原始数据的价值）。

我也以为 NoFilter 才是正说念。

底下详备来看 MetaCLIP 2 所取舍的法式。

基于 MetaCLIP，进一步优化结构和过程

综合而言，为了让 CLIP 模子能从行派别据中学习，MetaCLIP 2 取舍了三大重要改换：

构建行家元数据

实行行家筛选算法

构建行家模子的梭巡框架

初始之前，论文先回来了原始 MetaCLIP所取舍的念念路。

汗漫说，其筛选逻辑主要分三步：

从英语 WordNet、维基百科索求 50 万个 "视觉观念"，构成元数据列表 M；

用这些观念匹配图像 - 文本对的刻画笔墨（一一梭巡文本里的内容，看能否匹配到 M 里的词条）；

设定一个阈值 t，通过 "均衡机制"（完了头部 / 尾部观念的比例）筛选数据，确保"猫""狗"这类常见观念和"深海生物""小众建筑"这类罕有观念离别合理。

趁便一提，OpenAI CLIP 将 t 竖立为 20k，而 MetaCLIP 为了适配十亿级英语数据，把 t 调高到 170k ，让均衡战略更符合大规模数据。

而 MetaCLIP 2，恰是在英文 MetaCLIP 的基础上，进一步优化了架构和过程。

这第一步格外汗漫，无非是将之前的元数据膨胀到 300 多种说话。

具体而言，它当今包含了多说话的 WordNet 和列国维基百科的词汇，有点像给每种说话都编了一套 "视觉观念辞书"。

然后用算法给每种说话"量身筛数据"。

先是识别笔墨是哪种说话，再用对应说话的"字典"去匹配图像 - 笔墨对。

同期给每种说话建立单独的筛选法式（比如完了"常见观念"和"罕有观念"的比例），确保每种说话的数据离别合理，不会出现某类内容过多的情况。

下图为 MetaCLIP 2 筛选行家多说话图像 - 文本对的伪代码（用 Python/NumPy 格调编写）：

临了再调度梭巡战略，幸免"捉衿肘见"。

一方面，鉴于行派别据变多了，是以团队按比例加多了梭巡时"见过的样本量"（比如扩大 2.3 倍），保证英语样本量不减少。

另一方面，团队发现模子大小很重要——小少许的模子（如 ViT-L/14）还会受"多说话吊问"，但大少许的 ViT-H/14 能冲破吊问，让英语和非英语技艺沿途晋升。

p.s. 大说话模子中的"多说话吊问"是指，当模子在多说话数据上进行梭巡时，出现某些特定说话（尤其是本来进展较好的说话，如英语 ）性能下跌的快活。

取舍以上数据筛选法式，MetaCLIP 2 与 NoFilter 理念酿成了深度协同——筛选逻辑的本体从"说话过滤"（如平直放弃非英语数据）转向"观念均衡"，从"放弃数据"（如用单一法式放弃数据）转向"优化离别"。

多说话任务创下新 SOTA，还冲破了"多说话吊问"

为了考证法式的灵验性，团队基于全网公开数据（英语占 44%，非英语占 56%）进行了实验。

梭巡确立上，团队基本沿用 OpenAI CLIP/MetaCLIP 的参数，仅调度样本量（如 ViT-H/14 用 290 亿样本）和模子容量。

实验终结走漏，MetaCLIP 2 在多项测试中进展亮眼：

最初，它冲破了大说话模子规模存在的"多说话吊问"，解释学了非英语数据后，英语技艺不仅莫得下跌，以致反而变强了。

举例，它在 ImageNet 识别浅薄物品上准确率达到 81.3%，向上纯英语 CLIP 的 80.5%。

其次，它在多说话测试中（如用 280 种说话给图片分类、跨 36 种说话搜图），收获远超之前的 mSigLIP、SigLIP 2 等模子。

也曾上头这张图，它在 Babel-ImageNet 多说话图像分类任务里，赢得了 50.2% 的准确率；在 XM3600 图像到文本检索任务中，检索匹配的准确率达到 64.3%。

更有好奇的是，MetaCLIP 2 不仅更懂"文化种种性"，况且镶嵌质料也更优。

一方面，它在文化种种性任务（如地舆定位）上进展更优，如在 Dollar Street、GLDv2 等数据集上，行派别据梭巡的模子准确率权贵高于纯英语或纯非英语模子。

另一方面，它在对都性（图像 - 文本关系性）和均匀性（视觉镶嵌离别）上的得分相同更优。

划重心，现时关统共据和代码均已开源了 ~

论文：

https://arxiv.org/abs/2507.22062

代码地址：

https://github.com/facebookresearch/MetaCLIP

参考联贯：

[ 1 ] https://x.com/YungSungChuang/status/1950575753449681350

[ 2 ] https://x.com/giffmana/status/1950657494709125447

[ 3 ] https://x.com/sainingxie/status/1950689320722952550

一键三连「点赞」「转发」「防御心」

接待在议论区留住你的宗旨！

—  完  —

� � 但愿了解 AI 家具最新趋势？

量子位智库「AI 100」2025 上半年

「旗舰家具榜」和「改换家具榜」

给出最新参考� �

� � 点亮星标 � �

科技前沿进展逐日见开yun体育网