智东西8月30日音问，阿里通义千问于昨日开源新一代视觉谈话模子Qwen2-VL。其中，Qwen2-VL-72B在大部分缠绵上都达到了最优，刷新了开源多模态模子的最佳发扬，以致开赴点了GPT-4o和Claude 3.5 Sonnet等闭源模子。
据官方博客著作先容，Qwen2-VL基于Qwen2打造，比拟第一代Qwen-VL，Qwen2-VL具有以下特色：
1、能读懂不同分辨率和不同长宽比的图片：Qwen2-VL在多个视觉连络基准测试中取得了大家开赴点的发扬，其中包括但不限于历练数学推理才气的MathVista、历练文档图像连络才气的DocVQA、历练确实寰宇空间连络才气的RealWorldQA、历练多谈话连络才气的MTVQA。
2、能连络20分钟以上的长视频：Qwen2-VL可连络长视频，并将其用于基于视频的问答、对话和实质创作等应用中。
3、大约操作手机和机器东说念主的视觉智能体：借助复杂推理和方案的才气，Qwen2-VL可集成顺利机、机器东说念主等成立，凭据视觉环境和笔墨指示进行自动操作。
4、多谈话支持：除英语和华文外，Qwen2-VL咫尺还支持连络图像中的多谈话文本，包括大巨额欧洲谈话、日语、韩语、阿拉伯语、越南语等。
通义千问团队以Apache 2.0公约开源了Qwen2-VL-2B和Qwen2-VL-7B，并发布了Qwen2-VL-72B的API。开源代码已集成到Hugging Face Transformers、vLLM和其他第三方框架中。
GitHub时势地址：https://github.com/QwenLM/Qwen2-VL
一、比好意思GPT-4o！多个缠绵刷新最佳发扬，3种限度模子开源
通义千问团队从6个方面来评估Qwen2-VL诀别在72B、7B、2B三种限度上的视觉才气，包括复杂的大学水平问题经管、数学才气、文档和表格的连络、多谈话文本图像的连络、通用场景问答、视频连络、视觉智能代理（Visual AI Agent）才气。
举座来看，Qwen2-VL-72B在大部分缠绵上都达到了最优，以致开赴点了GPT-4o和Claude 3.5 Sonnet等闭源模子。
具体而言，该模子在文档连络方面上风昭彰，仅在复杂的大学水平问题经管方面和GPT-4o还有差距。同期，Qwen2-VL 72B也刷新了开源多模态模子的最佳发扬。
▲Qwen2-VL-72B模子才气分数比较（图源：通义千问团队官方博客著作）
在7B限度上，Qwen2-VL一样支持单图、多图、视频的输入，在更经济的限度上也末端了有竞争力的性能发扬。
比如，Qwen2-VL-7B在DocVQA历练的文档连络才气，以及MTVQA历练的多谈话文本图片连络才气都处于SOTA水平。在AI规模，SOTA模子经常是指在特定任务或数据集上性能发扬最优的模子。
▲Qwen2-VL-7B模子才气分数比较（图源：通义千问团队官方博客著作）
除此除外，通义千问团队还提供了一个更小的2B限度的模子，以此支持迁移端的丰富应用。Qwen2-VL-2B具备无缺图像视频多谈话的连络才气，止境在视频文档和通用场景问答方面，相较同限度模子上风昭彰。
▲Qwen2-VL-2B模子才气分数比较（图源：通义千问团队官方博客著作）
二、手写字体、公式代码、网页截屏、视频影像……多场景识别连络不在话下
在官方博客著作列举的多个模子才气案例中，Qwen2-VL障翳了广大的应用场景：能识别手写笔墨、图中笔墨，能转写数学公式、多种谈话笔墨，能解数学几何题、LeetCode编程题，能读懂不同分辨率和不同长宽比的图片，能用特定要领输出谜底，还能对视频实质进行归来息争读。
1、准确识别图中笔墨，闲适转写数学公式
关于下图列举出来的手写笔墨、交融在图像中的笔墨，Qwen2-VL都能准确地识别出对应的语种和笔墨实质（图平诀别触及到葡萄牙语、华文）。关于下图右下角，Qwen2-VL不单能识别出具体的数字，还能识别出各个数字对应的盒子的颜料。
▲Qwen2-VL大约准确识别图中的笔墨（图源：通义千问团队官方博客著作）
关于下图左半边中触及到的复杂数学公式，Qwen2-VL不错闲适地用Markdown要领转写出来。关于下图右半边中触及到的华文、日语、韩语、西班牙语、葡萄牙语、爱尔兰语、英语、德语、波兰语、希腊语、越南语、蒙古语、俄语、印地语、斯瓦希里语，Qwen2-VL也能一字不落地转录出来。
▲Qwen2-VL大约准确转录图中的复杂公式和多语种（图源：通义千问团队官方博客著作）
2、连络施行寰宇信息，准确输出问题谜底
关于数学平面几何题目、LeetCode平台的编程题目、1792×14400尺寸的时期文档截图，Qwen2-VL也能识别连络并恢复用户的发问。
▲Qwen2-VL大约经管的各式问题（图源：通义千问团队官方博客著作）
Qwen2-VL还能基于天气预告软件的截屏、网页搜索成果的截屏、Linux官方档案库的截屏等等合手取用户需要的信息，用特定要领（如表格、段落编号形势、JSON要领的数组）输出。
▲Qwen2-VL恢复支持多种要领（图源：通义千问团队官方博客著作）
3、归来视频重心，解读视频实质
此外，除了静态图像，Qwen2-VL还能进行视频实质分析。它大约归来视频重心、即时恢复联系问题，并防守连贯对话，匡助用户从视频中赢得有价值的信息。
比如下图中，用户上传了一段2分57秒的视频，并让Qwen2-VL描摹这段视频，描摹的实质相配提神且准确。然后用户发问了视频中东说念主物穿戴的衣服的颜料，Qwen2-VL也给到了适宜视频实质的恢复。
▲Qwen2-VL大约识别视频，并围绕该视频恢复相应问题（图源：通义千问团队官方博客著作）
三、及时数据检索+及时环境交互，或将碰撞出更多可能性
据官方博客著作先容，Qwen2-VL在行为视觉代理方面展现出后劲，能初步应用视觉才气末端一些自动化器具的调用和交互。
视觉代理（Visual Agent）经常指的是一种AI系统，它大约处理和连络视觉信息（如图像或视频），并在此基础上进行方案或扩张任务。
Qwen2-VL支持函数调用，使其大约应用外部器具进行及时数据检索，比如航班状态、天气预告、包裹跟踪。
▲Qwen2-VL凭据用户提供的航班信息调用“weather_hour24”器具查询天气情景（图源：通义千问团队官方博客著作）
通义千问团队还初步作念了一些浮浅的探索，让模子大约更像东说念主一样和环境交互。“使得Qwen2-VL不仅行为不雅察者，而是能有代替东说念主作念更多的扩张者的可能。”官方博客著作写说念。
在以下视频中，Qwen2-VL不错顺利代替东说念主类操作手机。
//oss.zhidx.com/uploads/2024/08/66d1849a8bb52_66d1849a87e91_66d1849a87e69_Qwen2-VL-更明晰地看寰宇-Qwen1.mp4
▲Qwen2-VL进行视觉交互并自主操作手机（图源：通义千问团队官方博客著作）
以及以下视频中，Qwen2-VL能凭据识别到的场上信息和教导词描摹进行“24点”游戏的方案，而且取得了顺利。
//oss.zhidx.com/uploads/2024/08/66d183a39e476_66d183a3990d6_66d183a3990b0_Qwen2-VL-更明晰地看寰宇-Qwen2.mp4
▲Qwen2-VL进行视觉交互并完成纸牌游戏（图源：通义千问团队官方博客著作）
结语：谈话才气一经远远不够！模子正在卷向多模态
跟着AI时期的马上发展，谈话模子曾一度成为时期竞争的焦点，但自2023年3月15日OpenAI发布了大约读图的GPT-4后，多模态模子的战饱读亦然越敲越响。模子不再局限于处理单一的文本数据，而是通过整合图像、视频、音频等多种信息源，展现出更为坚决的领略和连络才气。
视觉谈话模子是多模态模子规模内的一个迫切细分场合。这些模子通过王人集规画机视觉与当然谈话处理时期，在图像连络、生成及跨模态交互等规模展现出弥远后劲。它们不错被应用于视觉问答（VQA）、图像分类、主义检测、图像分割等多种任务，明天有望在医疗会诊、机器东说念主时期等规模内末端愈加平凡的应用。
着手：GitHub性爱技巧
