最新文章
一文读懂DeepSeek（深度求索）：有限计算资源下的顶尖大模型
DeepSeek（深度求索）引起硅谷“恐慌”，性能超越了美国的顶尖模型，且研发成本更低，使用的芯片性能也较弱。甚至有人猜测DeepSeek（深度求索）模型对美国股市都构成了威胁。中国AI公司证明了用有限的计算资源，足以做出顶尖水平的模型。 这一开源模式有望推动AI从“寡头游戏”转向“全民创新”，重塑...
超详细解读：DeepSeek
📌 研究内容 ⚙️ 解决的核心问题 主要解决了在大规模语言模型领域提升性能、降低成本、优化训练和推理效率以及增强多领域任务处理能力等核心问题 🔨 是否是新问题: 否 🔬 科学假说 论文中虽未明确以传统形式提出科学假说，但在模型研发过程中蕴含了如下关键假设： 无辅助损失负载均衡策略 假设假设采用无辅助...
DeepSeek创新点详解
DeepSeek创新点详解 一、引言 DeepSeek-V3 是国产 AI 公司深度求索推出的新一代混合专家（MoE）大语言模型，凭借 6710 亿总参数和 37B 激活参数的稀疏架构，在性能、效率和成本之间实现了革命性平衡。其创新技术不仅在国际开源社区引发轰动，更以 550 万美元的极低训练成本，...
deepseek无辅助损失的负载均衡策略
无辅助损失的负载均衡策略 是一种用于解决深度学习中专家混合系统（MoE）负载不均衡问题的方法 ，它不依赖额外的辅助损失函数来实现负载均衡，而是通过直接调整专家接收输入的概率来平衡各个专家的负载，以下是具体介绍及举例： 策略原理 动态调整接收概率 ：系统会根据每个专家的历史利用率情况，动态地调整其接收...
DeepSeek开源DeepSeek
大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人...
DeepSeek系列论文解读之——DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture
DeepSeek MoE：通向专家终极专精化的技术革命 写在前面： DeepSeek 是由国内顶尖AI研究机构深度求索（DeepSeek）发布的大模型。涵盖架构创新（MoE设计）、训练范式（混合预训练）、能力增强（数学推理）等研究方向。它的老东家是做私募量化的幻方量化，国内四大量化之一，国内少有的A...
【资料分享】DeepSeek
一、摘要 本文介绍了 DeepSeek-VL2——一款基于混合专家（MoE）架构的视觉语言模型，旨在提高多模态理解的效率与性能。相比其前身 DeepSeek-VL，DeepSeek-VL2 通过引入动态图像切片编码策略和深度SeekMoE语言模型，大幅提升了在视觉理解、视觉问题回答、文档分析、表格处...
【DeepSeek论文精读】4. DeepSeek
0. 论文概况 0.1 简介 2024 年 5 月，DeepSeek 发表论文「 DeepSeek-V2：强大、经济且高效的混合专家语言模型 」（DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language ...
爆火的DeepSeek到底是什么？（一次性讲解清楚）
1. DeepSeek模型概述 1.1 开发背景与目标 DeepSeek模型是由DeepSeek团队开发的开源大规模语言模型系列，旨在探索通用人工智能（AGI）的奥秘，并以长期主义视角回答人工智能领域的关键问题。其开发背景是当前人工智能领域对于更高效、更强大语言模型的需求，以及对开源模型在性能和成本...
一文搞懂DeepSeek
DeepSeek推出了DeepSeek-V3，这是一个强大的 混合专家（Mixture-of-Experts，MoE）语言模型 ，总参数量达到6710亿，每个标记（token）激活的参数量为370亿。 为了实现高效的推理和成本效益高的训练，DeepSeek-V3采用了在DeepSeek-V2中经过充...