您的位置首页  都市生活  法制

什么是交叉熵深度学习涉及到的信息论基础概念

  • 来源:互联网
  • |
  • 2022-07-18
  • |
  • 0 条评论
  • |
  • |
  • T小字 T大字

  信息熵和交叉熵是信息论基础概念,在深度学习领域有比较广泛的应用,交叉熵作为二分类,多分类,目标检测,图像识别相关算法的损失函数,那么什么是交叉熵呢?

  一、信息量通俗的讲,信息量是发生概率越小的事件发生了其包含的信息量越大信息量的计算公式是-㏒ep(x) ,p(x)是事件发生的概率二、数学期望试验中每次可能结果的概率乘以其结果的总和,数学期望就是均值。计算公式

  p为事件发生的概率四、交叉熵交叉熵是表示两个概率分布p,q,其中p表示真实分布,q表示非真实分布,交叉熵用来衡量两组随机变量之间的相似度,主要用于衡量模型识别值概率与真实值之间的相似度计算公式如下

免责声明:本站所有信息均搜集自互联网,并不代表本站观点,本站不对其真实合法性负责。如有信息侵犯了您的权益,请告知,本站将立刻处理。联系QQ:1640731186