深入解析循环神经网络(RNN)的工作原理与应用场景 网站seo推广都选乐云seo
栏目:广告推广 发布时间:2026-01-17
我们为大家准备了现成的人工智能资料,点击腾讯文档即可获取 介绍 如今,关于机器学习、深度学习和人工神经网络的讨论越来越多。但程序员往往只想使用这些神奇的框架,

我们为大家准备了现成的人工智能资料,点击→→腾讯文档←←即可获取

介绍

如今,关于机器学习、深度学习和人工神经网络的讨论越来越多。但程序员往往只想使用这些神奇的框架,而大多数人并不想知道它们在幕后是如何工作的。但如果我们能掌握这些背后的原理,我们使用它们不是更好吗?今天我们将讨论循环神经网络及其背后的基本数学原理。这些原理允许循环神经网络做其他神经网络做不到的事情。

〄 RNN(循环神经网络)。

本文的目的是提供对循环神经网络的功能和结构的直观理解。

神经网络通常采用一个自变量(或一组自变量)和一个因变量,然后学习 和 之间的映射(我们称之为训练)。一旦训练完成,当给定一个新的自变量时,它就可以预测相应的因变量。

但是如果数据的顺序很重要怎么办?想象一下所有自变量的顺序是否重要?

让我直观地解释一下。

假设每只蚂蚁都是一个自变量,如果一只蚂蚁朝不同的方向前进,对其他蚂蚁来说并不重要,对吗?但如果蚂蚁的顺序很重要怎么办?

这时,如果一只蚂蚁错过或离开群体,就会影响到后面的蚂蚁。

那么,在机器学习领域,数据的什么顺序很重要?

那么 RNN 如何解决整体顺序很重要的数据呢?我们以自然文本数据为例来解释RNN。

假设我正在对电影的用户评论进行情感分析。

从这部电影很好 - 积极,到这部电影很糟糕 - 消极。

我们可以使用简单的词袋模型对它们进行分类,我们可以预测(正面或负面),但是等等。

如果评论说这部电影不好怎么办?

BOW 模型可能会说这是一个积极的信号,但事实并非如此。 RNN 理解它并将其预测为负面信息。

RNN 是如何做到的?各种RNN模型

1.一对多

RNN 接受输入(例如图像)并生成单词序列。

2. 多对一

RNN 接受单词序列作为输入并产生输出。

3. 多对多

接下来我们重点关注第二种模式多对一。 RNN 的输入被视为时间步长。

示例:Input(X) = [“这个”,“电影”,“是”,“好”]

this 的时间戳是 x(0),movie 的时间戳是 x(1),is 的时间戳是 x(2),good 的时间戳是 x(3)。

2网络架构和数学公式

让我们深入了解 RNN 的数学世界。

首先,我们来了解一下 RNN 单元包含什么!我希望并假设你们都知道前馈神经网络,它是 FFNN 的推广,

〄 具有单个隐藏层神经元的前馈神经网络示例。

〄 具有单个隐藏层的前馈神经网络。

在前馈神经网络中,我们有 X(输入)、H(隐藏)和 Y(输出)。我们可以有任意多个隐藏层,但是每个隐藏层的权重W和每个神经元对应的输入权重是不同的。

上面,我们有权重 Wy10 和 Wy11,分别对应两个不同层相对于输出 Y 的权重,而 Wh00、Wh01 等代表不同神经元相对于输入的不同权重。

由于它出现的时间很短,神经网络单元由一组前馈神经网络组成。神经网络具有顺序输入、顺序输出、多时间步长和多个隐藏层的特点。

与 FFNN 不同,这里我们不仅根据输入值计算隐藏层值,还根据前一个时间步值计算隐藏层值。每个时间步的隐藏层权重(W)相同。下图是RNN的全图以及其中涉及到的数学公式。

图中,我们正在计算隐藏层的时间步t的值:

〄 不同的激活函数。

上面我们只计算了Ht,类似地我们可以计算所有其他时间步。

步:

需要注意的事项是:

前馈输入完成后,我们需要计算误差并使用反向传播方法将误差传播回去。我们使用交叉熵作为成本函数。

BPTT(时间反向传播)

如果你知道正常的神经网络是如何工作的,那么剩下的就非常简单了。如果不确定,可以参考本期之前关于人工神经网络的文章。

我们需要计算以下项目,

由于 W 对于所有时间步长都是相同的,因此我们需要返回并更新它。

〄 RNN 中的 BPTT。

请记住,RNN 的反向传播与人工神经网络的反向传播相同,但这里当前的时间步是根据前一个时间步计算的,因此我们必须从头到尾来回遍历。

如果我们应用链式法则,它看起来像这样

〄 反向传播链式法则。

W 在所有时间步长上都是相同的,因此根据链式法则,展开项越来越多。

循环神经网络讲座幻灯片 [1] 中可以看到类似但不同的计算公式的方法。

所以这里和我们一样。

, , 可以使用任何优化算法进行更新,例如梯度下降。

返回实例

现在让我们回到我们的情感分析问题,这里我们有一个 RNN,

我们为每个单词提供一个词向量或一个热编码向量作为输入,并执行前馈和 BPTT。训练完成后,我们可以给出新的文本进行预测。它会学习诸如“不”+积极的词=消极的东西。

RNN 的问题 → 梯度消失/爆炸问题

由于W对于所有时间步都是相同的,在反向传播过程中,当我们返回并调整权重时,信号会变得太弱或太强,导致消失或爆炸的问题。为了避免这种情况,我们使用GRU或LSTM,这将在后续文章中介绍。

⟳学习资料⟲

我们为大家准备了现成的人工智能资料,点击→→腾讯文档←←即可获取


# 链式  # 深入解析循环神经网络(RNN)的工作原理与应用场景  # 广德新营销模式推广批发基地  # 泉州市网站优化公司  # 湖州绍兴网站建设  # 企业网站优化三个策略  # 网站建设 配资  # youtube推广营销方法  # 清远可靠的免费网站优化  # 关于网站建设详细内容  # 南京什么推广网站好  # seo是怎么玩的  # 推广网站都有哪些软件好  # 淘宝上的网站优化靠谱吗  # 榕江网站建设  # 软件营销推广方案怎么写  # 即墨企业营销策划推广  # 沈阳seo优化关键词  # 百度推广移动端营销页  # 淘宝怎么推广宝贝到网站  # 固态seO2的结构  # 相对于  # 都是  # 我们可以  # 很重要  # 这部电影  # 一只  # 让我们  # 多个  # 腾讯  # 可以使用  # 玄武区网站优化  # 就会  # 文档  # 让我  # 很好  # 完成后  # 遍历  # 你知道  # 它是  # 这是一个 


相关文章: 如何利用10000IP打造一个年入几十万的赚钱项目?  广州百度推广项目助力企业数字化营销,沈阳建设企业网站流程  广州百度推广代运营,助力企业数字营销新突破,定陶网站建设培训  推广赚钱的渠道有哪些?只有这样才能实现一劳永逸的躺赚!  可以长期去做的五种网络赚钱方法,赶快行动起来!  怎样才能做好微信营销?26个微信营销技巧和方法请收好!  广告联盟行业中如何通过软件、app推广拉新赚钱?  网站上挂的广告联盟平台上的联盟广告不赚钱怎么办?  广州百度推广返现是骗人的吗?揭开真相与消费警惕,金华营销网站建设外包  广州百度推广开户需要什么资质?详细解析!,网站建设教程及步骤  深入解析广东百度推广宣传助力企业腾飞,本地高端网站建设开发  福建百度推广点击率低的原因分析与优化建议,商城网站建设服务哪家好  广州百度推广入口都收费吗?,黎城网站建设  做网赚想要月入过万所必须要经历的四个阶段!  免费分享一个付费才能学到的推广赚钱项目  引流转化日入1000+的引流思路方法分享!  最简单的男粉引流过千的方法,推广交友产品必看!  惊掉下巴!趣头条严查广告联盟代理商,*广告也敢放!  月入过万的网赚项目app拉新赚钱业务分享!  广东百度推广回传如何助力企业数字化营销升级,云南抖音推广网站是什么  深度解析广东百度推广直客模式的优势与实战经验,高端网站建设c微fzsszai  广州百度推广为何总是频繁来电?,怎么给网店做营销推广  做国内广告联盟赚钱的5个入门要点和注意事项!  网站引流渠道有哪些呢?在这些渠道引流效果非常棒!  怎么申请加入谷歌广告联盟赚钱?  玩转自媒体淘客?教你知乎带货如何批量操作!  日赚200+的项目新玩法思路分享,快来看看!  百度推广助力广东企业数字化营销新腾飞,葫芦岛百度推广营销  提升产品转化率的4个小技巧!  社交app推广引流的6大方式  网站没流量?这4个非常有效的网站外链引流方法一定要掌握!  造成网络营销效果不理想的五大误区!  广州百度推广目标,助力企业精准营销,软文营销的广告推广  app推广初期应该怎么做?  详细分析教大家怎么做APP地推拉新推广!  推广有什么好处?有哪些优劣点?  分享两个不一样联盟赚钱玩法,亲测效果非常棒!  如何用手机赚钱?最容易赚钱的10个手机赚钱项目送给你!  广州百度推广服务商是真是假?,服装网站建设发展状况  社交app推广引流之微信陌生人社交推广引流吸粉!  广州医疗行业如何通过百度推广提升竞争力,洛阳工业品营销推广  广州百度推广助力企业打造优质网页营销平台,华山网站建设文案  网赚小白必看的广告联盟自动化挂机网赚项目玩法分享!  看完这一套完整的app推广攻略,再也不用担心app引流获客了!  广州百度推广定义及其重要意义,天水灯箱网站建设  广州百度推广名片,助力企业数字化营销的必备工具,江门营销推广哪里好  广州百度推广真的有效果吗?,泉州网站推广制作公司有哪些  分析广州百度推广账户不支持无效赔付的原因及解决建议,怎样建设房产分销网站  人人|直播|,拿出手机就能和你心仪的女神随时随地面对面交流聊天!  日付广告联盟哪个好,如何判断哪个更靠谱? 


相关栏目: 【 广告资讯37196 】 【 广告推广143353 】 【 广告优化89630