「算法」深度学习中必须知道的数学知识 - 3. 激活函数 神经元的工作
如果您喜欢这篇文章或者希望及时看到系列文章的下一篇内容，请点击右上方的“关注”。感谢您的支持和鼓励！
该系列历史文章如下，点击链接可查看：
「算法」深度学习中必须知道的数学知识 - 2. 神经元的数学表示
「算法」深度学习中必须知道的数学知识 - 1. 概述
上一节中用数学式表示了神经元的工作。本节我们试着将其在数学上一般化。
简化神经元的图形
为了更接近神经元的形象，上一节中将神经元表示为了下图的样子。
然而，为了画出网络，需要画很多的神经元，在这种情况下上面那样的图就不合适了。因此，我们使用如下所示的简化图，这样很容易就能画出大量的神经元。
为了与生物学的神经元区分开来，我们把经过这样简化、抽象化的神经元称为神经单元（ unit）。
注：很多文献直接称为“神经元”。本书为了与生物学术语“神经元”区分，使用“神经单元”这个称呼。另外，也有文献将“神经单元”称为“人工神经元”，但是由于现在也存在生物上的人工神经元，所以本书中也不使用“人工神经元”这个称呼。
激活函数
将神经元的示意图抽象化之后，对于输出信号，我们也对其生物上的**进行一般化。
根据点火与否，生物学上的神经元的输出 y 分别取值 1 和 0（下图）。
然而，如果除去“生物”这个条件，这个“0 和 1 的**”也应该是可以解除的。这时表示点火与否的下式就需要修正。
这里， u 是单位阶跃函数。我们将该式一般化，如下所示。
这里的函数 a 是建模者定义的函数，称为激活函数（ activation function）。x1、 x2、 x3 是模型允许的任意数值， y 是函数 a 能取到的任意数值。这个式 (2) 就是今后所讲的神经网络的出发点。
注：虽然式 (2) 只考虑了 3 个输入，但这是很容易推广的。另外，式 (1) 使用的单位阶跃函数 u(z) 在数学上也是激活函数的一种。
请注意，式 (2) 的输出 y 的取值并不限于 0 和 1，对此并没有简单的解释。一定要用生物学来比喻的话，可以考虑神经单元的“兴奋度”“反应度”“活性度”。
我们来总结一下神经元和神经单元的不同点，如下表所示。
将神经元点火的式 (1) 一般化为神经单元的激活函数式 (2)，要确认这样做是否有效，就要看实际做出的模型能否很好地解释现实的数据。实际上，式 (2) 表示的模型在很多模式识别问题中取得了很好的效果。
Sigmoid 函数
激活函数的代表性例子是 Sigmoid 函数 σ(z)，其定义如下所示。
关于这个函数，我们会在后面详细讨论。这里先来看看它的图形， Sigmoid 函数 σ(z) 的输出值是大于 0 小于 1 的任意值。此外，该函数连续、光滑，也就是说可导。这两种性质使得 Sigmoid 函数很容易处理。
单位阶跃函数的输出值为 1 或 0，表示点火与否。然而， Sigmoid 函数的输出值大于 0 小于 1，这就有点难以解释了。如果用生物学术语来解释的话，如上文中的表格所示，可以认为输出值表示神经单元的兴奋度等。输出值接近 1 表示兴奋度高，接近 0 则表示兴奋度低。
我们将 Sigmoid 函数作为标准激活函数使用，因为它具有容易计算的漂亮性质。如果用数学上单调递增的可导函数来代替，其原理也是一样的。
偏置
再来看一下激活函数的式 (2)。
这里的 θ 称为阈值，在生物学上是表现神经元特性的值。从直观上讲， θ表示神经元的感受能力，如果 θ 值较大，则神经元不容易兴奋（感觉迟钝），而如果值较小，则神经元容易兴奋（敏感）。
然而，式 (2) 中只有 θ 带有负号，这看起来不漂亮。数学不喜欢不漂亮的东西。另外，负号具有容易导致计算错误的缺点，因此，我们将 - θ 替换为 b。
经过这样处理，式子变漂亮了，也不容易发生计算错误。这个 b 称为偏置（ bias）。
本书将式 (4) 作为标准使用。另外，此时的加权输入 z如下所示。
式 (4) 和式 (5) 是今后所讲的神经网络的出发点，非常重要。
另外，生物上的权重 w1、 w2、 w3 和阈值 θ（ = - b）都不是负数，因为负数在自然现象中实际上是不会出现的。然而，在将神经元一般化的神经单元中，是允许出现负数的。
问题： 下图是一个神经单元。如图所示，输入 x1 的对应权重是 2，输入 x2的对应权重是 3，偏置是 - 1。根据下表给出的输入，求出加权输入 z 和输出 y。注意这里的激活函数是 Sigmoid函数。
解： 结果如下表所示（式 (3) 中的 e 取 e = 2.7 进行计算）。
备注：
改写式(5)。我们将式 (5) 像下面这样整理一下。
这里增加了一个虚拟的输入，可以理解为以常数 1 作为输入值（右图）。于是，加权输入 z 可以看作下面两个向量的内积。
计算机擅长内积的计算，因此按照这种解释，计算就变容易了。
下一章节如下，点击链接可查看：
「算法」深度学习中必须知道的数学知识 - 4. 什么是神经网络
如果您喜欢这篇文章或者希望及时看到系列文章的下一篇内容，请点击右上方的“关注”。感谢您的支持和鼓励！
当前，以芯片为代表的信创产业逐步成为国家科技竞争力的重要标志。在国产CPU产业强势崛起的过程中，你首先想到的会是哪几企业？答案有很多，但“中科系”的提及率绝对很高。作为国家战略科技力量，“中科系”旗下
21世纪经济报道记者倪雨晴 圣何塞报道在硅谷源泉之一的圣何塞，英特尔CEO帕特·基辛格（Pat Gelsinger）正在带领英特尔加速奔跑。当地时间9月19日，2023英特尔on技术创新大会于美国加利
财联社9月19日讯（记者 唐植潇）近日有消息称，OPPO将会重启芯片业务，并且“有部分员工已经回流，加入到了车载业务之中”。记者就此事向OPPO方面进行核实，对方表示“不予置评”。特百惠（我国）数字与
600亿颗芯片！我国巨头正式宣布，美媒：**也没料到制裁这么快
我国芯片市场与美国依赖我国的集成电路市场一直以来都是一个巨大的市场，拥有庞大的需求和巨大的增长潜力。我国的电子消费市场一直在迅速增长，包括智能手机、电视、电脑和各种智能设备等，这些设备都需要高性能的芯
最新手机芯片天梯图：A17、华为麒麟9000S，排在什么位置？
近日，最火的两颗芯片分别是苹果的3nm芯片A17 Pro，虽然很多人吐槽它较上一代提升不明显，但论性能，可以碾压任何安卓芯片，甚至是领先2代的。另外一款芯片，则是华为麒麟9000S，当然，这颗芯片工艺
韩国芯片连续13个月暴跌，尹锡悦指责我国不采购，外媒：自食其果
据韩国媒体称，韩国的半导体出口额已经连续暴跌13个月了，比去年同比下降了28%左右。韩国政府急的焦头烂额。尹锡悦政府竟直接甩锅我国，话里话外都是指责，他认为韩国半导体卖不出竟是我国的原因，我国应该帮助
我国突破芯片瓶颈将影响全球秩序？美国很担心，指出我国关键弱点
我国在芯片半导体领域一直深受美国的**，通过贸易制裁的方式阻止高端芯片进入我国市场。这样的举措一度造成我国芯片领域发展断档，不过随着我国科技企业近几年的突破，目前我国已经在芯片制造方面取得了重大的成果
前几天，华为一声不响的上线了mate60系列，带着麒麟芯片9000s强势回归，吸引了全世界的目光。而华为麒麟芯片**背后，我们不该忘记这位老人—张汝京。我国半导体之父，为回**造芯片，被开除**户籍，
【有车以后 资讯】“未来汽车对传统汽车的颠覆性，使传统零部件体系的50%以上都面临重构。”12月16日，在全球智能汽车产业峰会(GIV2022)上，我国电动汽车百人会理事长陈清泰指出，智能汽车的价值链
投稿点这里汽车有多少个零件?其实这个问题并没有一个十分确切的标准答案...据估计，一般轿车约由1万多个不可拆解的**零部件组装而成。结构极其复杂的特制汽车，如F1赛车等，其**零部件的数量可达到2万个
全球最大的10家汽车零部件供应商 都是世界500强 无我国企业
【卡车之家 原创】美国《财富》**每年发布的世界500强排行榜，是以营业收入数据对全球企业作出排名的榜单。2017年“世界500强”榜单中，汽车制造商和零部件厂商共占据33席（除去大型工程车辆企业），
汽车零部件企业哪家强？除了博世**还有这些名字你一定耳熟能详
文：懂车帝原创 李德喆[懂车帝原创 行业]9月18日，由《我国汽车报》主办，罗兰贝格协办的2019汽车零部件“双百强”企业发布会在江苏南京举行。在两份榜单中，博世、**、电装位列2019全球汽车零部件
行业现状（Reference：产业运行 | 2021年汽车工业经济运行情况）中汽协预测：2022年我国汽车销量达到2700万辆，新能源销量超过550万辆（Reference：乘用车市场信息联席会）以乘
全球十大汽车零部件供应商，核心技术都被他们垄断，自主遗憾缺席
提到电影，我们会想到张艺谋、冯小刚，而很少会想到幕后的制作人；提起流行乐，我们会想到周杰伦、萧敬腾，而很少会想到背后的作词人。台前台后，一幕之别，知名度往往相差甚远。车界又何尝不是如此，知名车企我们都
来源：环球时报 【环球时报记者 倪浩 陶震 环球时报驻德国特约记者 青木】经过3年疫情后，全球最具影响力的通信展今年有望再现往日盛况。2月27日至3月2日，由全球移动通信**协会（GSMA）主办的20
近日华为、苹果争相推出手机卫星通信功能，成为一大亮点，不少手机厂商也将目光投到卫星通信。放眼未来，手机直连卫星的卫星通信服务将是大势所趋，也是6G时代的重要标志。华为以“北斗三号”为依托，率先把“卫星
国内企业在光通信产品的参数测试过程中，通常使用国外的先进测试设备。然而，这些测试仪器之间往往是孤立存在的，需要手动调试仪器并通过旋钮、按钮和人眼观察波形或数据。这不仅*作繁琐易出错，而且测试效率低下。
龙头20cm涨停，7天股价翻倍！一文看懂卫星通信前世今生及产业链
卫星通信概念股华力创通今日再度强势拉升，截至发稿，该股股价20cm涨停，7个交易日累计涨幅近113%，现报23.52元续刷阶段新高，总市值155.9亿元。消息上，有媒体从供应链获悉，Mate 60 P
工信部：目前我国尚不具备实现网络层面的移动通信号码归属地变更的条件
针对网友提出的“电话号码归属地更改”建议，工信部近日给出了官方回复。此前，有网友在人民网留言板向工信部留言称，“现在电话都是实名制，电话号绑定的***及一些主流的软件较多，更换号码后造成一系列问题
