首頁 > 科技 > 正文

神經網絡背後的數學概念


更新日期:2020-01-10 13:26:54來源:網絡點擊:1531041
虛幻4引擎,虛幻4,虛開增值稅發票,天津mba輔導,天海つばさ,天海翼種子

今天,有了像tensorflow、keras或pytorch這樣的開源機器學習軟件庫,即使結構非常複雜,我們也可以用幾行代碼創建神經網絡。盡管如此,神經網絡背後的數學對我們中的一些人來說仍然是一個謎,擁有神經網絡和深度學習背後的數學知識可以幫助我們理解神經網絡内部發生的事情。它還有助于架構的選擇、深度學習模型的微調、超參數的調整和優化。

感知器


神經網絡背後的數學概念

圖1.感知器的示意圖

由frank rosenblatt在1957年發明的感知器是最簡單的神經網絡,它包含n個輸入,隻有一個神經元和一個輸出,其中n是我們機器學習數據集的特征數。通過神經網絡傳遞數據的過程稱為正向傳播,在感知器中進行的正向傳播分為以下三個步驟。

步驟1:對于每個輸入,将輸入值xᵢ與權重wᵢ 相乘,然後将所有相乘後的值相加。權重-表示神經元之間連接的強度,并決定給定輸入将對神經元輸出産生多大影響。如天天都色视频0果權重w 1的值大于權重w 2,則輸入x 1對輸出的影響将大于w 2。

神經網絡背後的數學概念

輸入和權重的行向量分别為x = [x₁,x 2,…,xₙ]和w = [w₁,w 2,…,wₙ],其點積 由下式給出:


神經網絡背後的數學概念

因此,總和等于向量x和w的點積


神經網絡背後的數學概念

步驟2:将偏差b添加到相乘值的總和中,我們稱之為z。偏差——也稱為偏移量,在大多數情況下,将整個激活函數向左或向右移動以生成所需的輸出值是必要的。


神經網絡背後的數學概念

步驟3:将z的值傳遞給非線性激活函數。激活函數-用于将非線性引入神經元的輸出,沒有激活函數,神經網絡将隻是一個線性函數。此外,它們對神經網絡的天天都色视频1學習速度有顯著的影響。感知器的激活函數是二元階躍函數。我們将使用sigmoid -也稱為邏輯函數作為我們的激活函數。


神經網絡背後的數學概念

其中,σ表示sigmoid激活函數,在經過正向傳播後獲得的輸出稱為預測值 ŷ。

學習算法

該學習算法由反向傳播天天都色视频2和優化兩部分組成。

反向傳播(backpropagation):是backward propagation of errors的縮寫,是指用于計算損失函數相對于權重的梯度的算法。但是,該術語通常用于指整個學習算法。以下兩個步驟說明了在感知器中進行的反向傳播。

第1步:為了知道我們離期望解有多遠的估計,可以使用損失函數。一般采用均方誤差作為回歸問題的損失函數,交叉熵作為分類問題的損失函數。讓我們來看一個回歸問題,其損失函數為均方誤差。


神經網絡背後的數學概念

對整個訓練數據集計算損失函數,其平均值稱為成本函數c。


神經網絡背後的數學概念

第2步:為了找到感知器的最佳權值和偏差,我們需要知道成本函數與權值和偏差的關系。這是在梯度(變化率)的幫助下完成的——一個量是如何相對于另一個量改變的。在我們的例子中,我們需要找到成本函數相對于權重和偏差的梯度。

讓我們使用偏導數計算成本函數c相對于權重wᵢ的梯度。由于日本大片在线3成本函數與權重wᵢ沒有直接關系,因此我們使用鍊式法則。


神經網絡背後的數學概念

現在我們需要找到以下三個梯度


神經網絡背後的數學概念

讓我們從成本函數(c)相對于預測值(ŷ)的梯度開始


神經網絡背後的數學概念

y =[y₁ , y₂ , … yₙ]和ŷ =[ ŷ₁ , ŷ₂ , … ŷₙ]是實際值和預測值的行向量。因此,上述方程式簡化為


神經網絡背後的數學概念

現在讓我們找到預測值相對于z的梯度。


神經網絡背後的數學概念

z相對于權重wᵢ的梯度為


神經網絡背後的數學概念

因此我們得到


神經網絡背後的數學概念

偏差呢?-偏差在理論上被認為是輸入值為1的常數。因此,


神經網絡背後的數學概念

優化:優化是從一些可用替代方案中選擇最佳項,在我們的案例中,優化是選擇感知器的最佳權重和偏差。我們的優化算法是選擇梯度下降法,它改變權值和偏差值,與成本函數的梯度值相對于相應權重或偏差值的負值成正比。學習率(α)是一個超參數,用于控制權重和偏差的變化量。

權重和偏差按如下更新,重複進行反向傳播和梯度下降直到收斂。


神經網絡背後的數學概念

結論

本文中解釋了單個神經元的工作原理,但是這些基本概念适用于經過修改的各種神經網絡。


相關:

文化進萬家 新春百部電影走進福建鄉村  (新春走基層)文化進萬家 新春百部電影走進福建鄉村   中新網甯德1月10日電 (林榕生)“本次活動開啟了助力脫貧攻堅主題放映活動的序幕,以‘聽得到、看得見’的方式,送歡樂下基層,送文日本大片在线4化進群衆,增強農..

假記者為什麼還有市場  1月9日,全國“掃黃打非”辦公室公布了2019年度“掃黃打非”十大案件。  十大案件涉及非法出版、網絡傳播淫穢物品、侵犯未成年人權益、假記者敲詐勒索、侵權盜版等類型,可以說各有看點。但最吸引筆者注意的..

沈陽公安2019年共查獲涉黑團夥資金15.98億元  中新網沈陽1月10日電 (王景巍)沈陽市公安局9日晚間發布消息稱,掃黑除惡專項鬥争開展以來,沈陽市公安機關共打掉涉嫌黑社會性質犯罪組織24個、惡勢力犯罪集團33個、惡勢力犯罪團夥63個,查封、凍結、扣押涉案..

相關熱詞搜索:虛幻4引擎,虛幻4,虛開增值稅發票,天津mba輔導,天海つばさ,天海翼種子

上一篇: 支付寶集五福玩法公布;數十萬家用攝像頭遭破解
下一篇: 從“魔鬼”到“禽獸”,這次又來硬的!