最新文章
deepseek无辅助损失的负载均衡策略
无辅助损失的负载均衡策略 是一种用于解决深度学习中专家混合系统（MoE）负载不均衡问题的方法 ，它不依赖额外的辅助损失函数来实现负载均衡，而是通过直接调整专家接收输入的概率来平衡各个专家的负载，以下是具体介绍及举例： 策略原理 动态调整接收概率 ：系统会根据每个专家的历史利用率情况，动态地调整其接收...
DeepSeek开源DeepSeek
大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人...
DeepSeek系列论文解读之——DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture
DeepSeek MoE：通向专家终极专精化的技术革命 写在前面： DeepSeek 是由国内顶尖AI研究机构深度求索（DeepSeek）发布的大模型。涵盖架构创新（MoE设计）、训练范式（混合预训练）、能力增强（数学推理）等研究方向。它的老东家是做私募量化的幻方量化，国内四大量化之一，国内少有的A...
【资料分享】DeepSeek
一、摘要 本文介绍了 DeepSeek-VL2——一款基于混合专家（MoE）架构的视觉语言模型，旨在提高多模态理解的效率与性能。相比其前身 DeepSeek-VL，DeepSeek-VL2 通过引入动态图像切片编码策略和深度SeekMoE语言模型，大幅提升了在视觉理解、视觉问题回答、文档分析、表格处...
【DeepSeek论文精读】4. DeepSeek
0. 论文概况 0.1 简介 2024 年 5 月，DeepSeek 发表论文「 DeepSeek-V2：强大、经济且高效的混合专家语言模型 」（DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language ...
爆火的DeepSeek到底是什么？（一次性讲解清楚）
1. DeepSeek模型概述 1.1 开发背景与目标 DeepSeek模型是由DeepSeek团队开发的开源大规模语言模型系列，旨在探索通用人工智能（AGI）的奥秘，并以长期主义视角回答人工智能领域的关键问题。其开发背景是当前人工智能领域对于更高效、更强大语言模型的需求，以及对开源模型在性能和成本...
一文搞懂DeepSeek
DeepSeek推出了DeepSeek-V3，这是一个强大的 混合专家（Mixture-of-Experts，MoE）语言模型 ，总参数量达到6710亿，每个标记（token）激活的参数量为370亿。 为了实现高效的推理和成本效益高的训练，DeepSeek-V3采用了在DeepSeek-V2中经过充...
深扒DeepSeek技术优势与GPT差异化
一、大模型竞赛格局中的DeepSeek 定位 在生成式AI 领域，OpenAI的GPT系列长期占据技术话语权，但中国科技企业深度求索（DeepSeek）推出的同名大模型，通过差异化技术路径在2023年跻身全球第一梯队。根据SuperCLUE中文大模型评测（2023Q4），DeepSeek在语义理解、...
DeepSeek赋能高校教师与研究生，彻底杀疯了！
转发这个文章到朋友圈，积赞30个（设置全部人可见）“或”发送至满100人的学术交流群内，保留一天，添加文末工作人员微信，领取15天 ChatGPT Plus 会员账号（支持使用DeepSeek R1）国内直连，不需要梯子。 📚 培训导读 📚 热烈欢迎各企事业单位、高校及科研机构加入我们的培训分享盛会...
DeepSeek原理介绍
DeepSeek原理图 DeepSeek是由幻方量化创立的人工智能公司推出的一系列AI模型，包括DeepSeek Coder、DeepSeek LLM、DeepSeek-V2、DeepSeek-V3和DeepSeek-R1等。以下是对DeepSeek原理的通俗介绍：核心架构方面 - 混合专家架构（M...