黑龙江直升机坠江砸伤游客 损失谁来赔

多模态能够提升大模型对世界的理解程度，充分拓展大模型的使用场景。

季昕华：在国内，我们服务了五六十家做大模型的公司。三是能否进行模型优化。

不论做训练还是推理，电费大约占总成本的15%左右，优刻得乌兰察布数据中心能够把电费单价从1块钱/度降低到3毛钱/度。季昕华认为主要大模型的训练主要面临资金、算力、工程等方面的挑战。刚才两位都提到了芯片、算力这方面的基础设施，我想强调下数据层面的问题。四是通过压缩模型等手段，来降低推理成本。陈昱：数据的确是一个非常重要的话题，那下面这两个问题其实是和数据相关的。

比起购买，租用会极大降低使用者的成本。这种情况下，我们也看到，在GPT3出现以前，英伟达在2019年就收购了Mellanox。雷峰网(公众号：雷峰网)。

为了满足企业具体的、个性化的需求，腾讯云也推出了MaaS服务和行业大模型精调解决方案。过程中，还要关注数据保护与安全合规、管理好数据与标签等。用大模型有针对性地解决特定领域、行业和企业的需求，模型参数小一些，但更高效果、更有针对性，我们发现这是更成功的落地方式。TI平台支持对这些模型的训练与精调，企业基于专有数据，就可以快速生成更有针对性的专属大模型。

二是基于腾讯云智能的TI平台，打造模型精选商店网原创文章，未经授权禁止转载

网原创文章，未经授权禁止转载网版权文章，未经授权禁止转载网版权文章，未经授权禁止转载比如一篇文章的关键在中间，那么它就无法提取到关键信息。

Moonshot AI 突破这些难点的两个关键词是全局和大规模参数，一方面是要全局地思考上下文，另一方面是用千亿参数来训练，这两点很重要，杨植麟在最后表示。用过大模型产品的朋友应该遇到过这样一个现象：当你和大模型进行多轮对话，聊着聊着它可能就忘了你之前说话的内容，此时回答的内容也比较拉垮。而其团队的核心成员也多出身清华系，有明星团队的光环在身，倍受关注。也就是说 Moonshot AI 已经超越了支持 100K 输⼊⻓度的大模型 Claude 以及支持 32K tokens 处理能力的 GPT4。

第二，探索的东西对世界有用，和用户共创找到落地的场景。他对雷峰网表示，计划明年会推出多模态能力。

第二个条件就是文本长度，因为上下文对应的是计算机的内存。本文作者：李扬霞，微信Dec9102。

长期聚焦网络安全领域，同时关注AIGC、大模型等内容，对以上领域感兴趣的读者欢迎添加作者微信。那么杨植麟在国内做大模型的公司里面究竟是一个什么位置呢？一个硅谷极具影响力的科技媒体The Information列出了其认为有可能成为中国OpenAI的五个候选，里面有MiniMax、智谱AI、光年之外以及澜舟科技，而另一个位置就是杨植麟。卡内基梅隆大学计算机专业的博士生往往要经过六年的学习才能毕业，而杨植麟只用了四年（2015-2019）就从CMU出师。蜜蜂模型是关注局部，忽略了全局，虽然可以输入整个上下文，但模型可能只是采样其中的局部。作者：李扬霞编辑：陈彩娴10月9日，由杨植麟创立的⽉之暗⾯，发布大模型产品——Moonshot AI，以及搭载该模型的智能助⼿Kimi Chat，是全球首个支持20万字输⼊⻓度的大模型。另外还可以分析财报，理解法律条文。

Moonshot AI 的技术路线就是不走捷径，踏实解决算法和工程的双重挑战。其中Claude通过提供⻓⽂本问答服务实现了产品层的突破，并于近期拿下Amazon的40亿美⾦投资。

在杨植麟看来，做好大模型，有两个条件，第一个就是参数量，因为参数量决定了能处理多复杂的计算。蝌蚪模型则是能力不够，可能只有10亿的参数量，并不是千亿级别的，所以能力有限。

杨植麟不仅师从清华教授、IEEE Fellow唐杰。后来他还前往 NLP 研究全球排名第一的 CMU（卡内基梅隆大学）语言技术研究所（LTI），跟随苹果公司 AI 负责人Ruslan Salakhutdinov 和 Google AI 智能首席科学家 William W. Cohen 攻读博士学位。

事实上是大模型在处理大量新内容时会有点力不从心，因此看起来像是出现了分心的现象。鲸鱼模型可以理解为，以滑动窗口的方式，直接主动抛弃了很多上文，虽然号称的范围很长，但是实际上支持的很短，这种鲸鱼模型是很难解决很多任务。在杨植麟看来，目前很多长上下文的模型走的是以下三种捷径：鲸鱼模型、蜜蜂模型、蝌蚪模型。沟通会现场，杨植麟为我们演示了，Kimi Chat 在提取20万字小说关键信息的能力。

在雷峰网(公众号：雷峰网)看来，目前各家大模型还处于你追我赶的争夺赛当中，未来生成式AI的技术竞赛将在长文本处理领域。第三，希望AI是普惠的，提供一个更强大的方式，做个性化的结合。

所以在这里面其实就需要一些更高效的对齐方式，比如怎么去高效地得到好的数据，同时用一个工程化的方式去把它实现出来，这个需要大量的迭代和训练，而传统的鲸鱼、蜜蜂、蝌蚪模型是无法解决这些问题的。长文本处理是生成式AI的重要应用场景之一，因为良好的长文本处理能力可以让AI系统理解书籍、研究报告、法律文件等足够复杂和冗长的信息，这将为知识获取、文档分析、语义理解等方面带来实用价值。

而⽉之暗⾯在成立不久也已经获得来⾃红杉资本、今⽇资本、砺思资本等知名投资机构近20亿元的融资。杨植麟表示，这次创业瞄准的是ToC赛道，并阐述了创业的三个主要原因：第一，探索智能的边界，满足好奇心。

Moonshot AI相信，更⻓的上下⽂⻓度可以为⼤模型应⽤带来全新的篇章，促使⼤模型从 LLM时代进⼊L(Long)LLM时代我们认为不光是要有足够多的参数量，同时要有很长的上下文能力，这是标志的新一代大模型的内存。可以一口气输入几十个文档进行提取。（Kimi Chat内测界面）1、瞄准ToC赛道大模型产品将进入长文本时代，在媒体沟通会上杨植麟指出。目前Moonshot AI在存储、算力、带宽，都做了很多的优化，是一个真正可用可产品化的长文本，杨植麟如是说。

杨植麟说突破长文本能力是登月计划的第一步，也是为之后的多模态能力打基础。同时还能输入链接，直接提取链接内的内容，进行角色扮演。

当问及上下文输入过长可能会导致注意力分散问题，杨植麟对雷峰网表示，当你的输入有 20 万字的时候，要让模型准确的去连到某一个 token 上，这个难度肯定是会变大。2、长文本处理能力惊人为什么在这场如火如荼的AI大战中，大模型的长文本处理能力成为了各家攀比的关键。

据杨植麟介绍，Claude支持8万字左右，GPT4 只支持2万字左右杨植麟不仅师从清华教授、IEEE Fellow唐杰。