分工才是社会进步的动力，大模型产业链才刚刚开始，可能很多人看了标题会觉得很奇怪，大模型与社会分工有什么关系，产业链和模块化又是什么鬼，我们不是学习大模型技术和应用的么，怎么越来越跑偏了，其实，写这篇文章的目的就是为了解放大家的思想，要明白大模型不是一个事，也不是一个人做的事，它是一个庞大的系统，需要...

  人工智能技术如今正在快速发展和应用，人工智能模型也是如此，拥有100亿个参数的通用模型的性能正在碾压拥有5000万个参数的任务特定模型，在从单一模型解决许多任务方面表现出了卓越的性能，人工智能模型也正在变得多模态，微软公司的Florence2和OpenAI公司的GPT，4V等新的视觉模型正在扩展这些...

  文章链接，https，arxiv.org，pdf，2405.14832github链接，https，nju，3dv.github.io，projects，Direct3D，从文本和图像生成高质量的3D资产一直是一项挑战，主要是由于缺乏能够捕捉复杂几何分布的可扩展3D表示，在这项工作中，介绍了Dire...

  频率是时间序列的一个重要信息，给定一个时间序列，可以通过按照不同频率的聚合，获得不同粒度的时间序列，比如，给定的原始时间序列是以小时为粒度的，那么通过将24个点加和成1个点，就可以形成以天为粒度的时间序列数据，不同的粒度，包含的信息也不同，粒度越细，越能体现时间序列的局部特征，同时噪声也更大；粒度越...

  今天给大家带来知乎好友@ybq一篇关于如何进行领域模型训练的文章，主要内容是对post，pretrain阶段进行分析，后续的Alignment阶段就先不提了，注意好老生常谈的，数据质量，和，数据多样性，即可，原文，https，zhuanlan.zhihu.com，p，711537210Qwen2，h...

  今天，Meta发布了Llama3.1模型，延续了他们从最初的Llama3，预览版，开始就践行的开源理念，即尽早发布和频繁发布，Llama3.1模型有三种规模，8B、70B和长期传闻中的405B参数，对于其规模来说，这些模型是同类中最优秀的开源模型，4050亿参数模型直接与Anthropic的Clau...

  OpenAI的Sora又一次出圈，掩盖其它新的AI产品的锋芒，包括几乎同期发布的Google的Gemini1.5和Meta的V，JEPA，很多AI从业者为此大抱不平，声称，被Sora夺走风头的Gemini被低估了！，特别是Google这次推出的Gemini1.5Pro是一种多模态大模型，涉及文本、视...

  这个话题主要是由，歌手2024，栏目引发的，孙楠与外国歌手的微小分数差异，引发了网友关于13.8%和13.11%谁大谁小的争论，很多网友给出了自己认为13.11&gt，13.8理由，看似合理，实则漏洞百出，这个小学四年级的知识点，一下子就成为了全民热议的话题，很多网友还举例AI给出的结果也是...

  文章链接，https，arxiv.org，pdf，2410.08207项目链接，https，hexiaoxiao，cs.github.io，DICE，总结速览解决的问题，离散扩散模型虽然在图像生成和mask语言建模等任务中取得了成功，但在精确控制内容编辑方面存在局限性，当前方法无法实现对离散数据的灵...

  最近，Meta发表了两篇和推荐系统相关的大模型工作，这类工作不是讲NLP等领域的大模型应用到推荐系统，而是直接使用推荐系统的数据训练大模型，一直以来，阻碍CTR预估等模型朝大模型发展的一个阻碍是，这类模型并不存在像NLP、CV领域模型中的scalinglaw，即模型的效果随着模型尺寸增大、训练数据增...

  作者，RendyDalimunthe编译，岳扬开发一个能够处理真实问题并给出精准回答的聊天机器人，实属不易，尽管大语言模型已取得重大进展，但如何将这些模型与知识库结合起来，提供可靠且上下文信息丰富的答案，仍是一个待解的难题，PhotobyGoogleDeepMind[1]onUnsplash[2]关...

  美团、浙大等于近日推出了MobileVLMV2，其中包含参数量1.7B、3B、以及7B的一系列视觉，语言模型，代码与模型以及适配的端侧推理方案都已开源，论文地址，https，arxiv.org，abs，2402.03766模型地址，https，huggingface.co，mtgv代码地址，http...

  去年，AutoGPT的出现让我们见识到了AI代理强大的自动化能力，并开创了一个全新的AI代理赛道，但在子任务调度、资源分配以及AI之间协作还有不少的难题，因此，罗格斯大学的研究人员开源了AIOS，这是一种以大模型为核心的AI代理操作系统，可有效解可决随着AI代理的增加，资源调用率低的难题，同时能促进...

  随着Gemini、GPT，4o等模型的出现，具备看、听、说的多模态大模型成为了新的主流，由于训练数据复杂、模型架构过于复杂，在生成、识别内容时很容易出现错误描述也称为，幻觉，，例如，当看到一张包含刀、叉和勺子的餐具图片时，模型会错误地描述为牙签，为了解决这个难题，谷歌DeepMind、谷歌云AI研究...

  一、背景之前看过部分Megatron，LM的源码，也详细分析过对应的&gt，SamplePacking中有很多可以讨论的技术点，比如Attention的实现和优化，Sample的组合及负载均衡问题，有点类似调度问题，以及不同方案对效果的影响等，我们这里只是先简单介绍一下相关问题和实验，后续会...