发头条

fatoutiao.com 互联网运营专业指南

Home /
fast.ai 創辦人、ANTLR 之父聯合開課!一次搞懂深度學習最常卡關的「矩陣微積分」

fast.ai 創辦人、ANTLR 之父聯合開課!一次搞懂深度學習最常卡關的「矩陣微積分」

【為什麼我們&#35201 […]

【為什麼我們要挑選這篇文章】搞懂「矩陣微積分」才有辦法精通深度學習,而這也是許多工程師卡關的項目。你該如何清楚了解深度學習中的矩陣微積分呢?

程式語言解析器 ANTLR 之父和 fast.ai 創始人親上火線,開課教你怎麼快速 K.O.!(責任編輯:陳伯安)

「《科技報橘》徵才中!跟我們一起定位台灣產業創新力 >> 詳細職缺訊息 
快將你的履歷自傳寄至  jobs@fusionmedium.com

本文經 AI 新媒體量子位(公眾號 ID:QbitAI)授權轉載,轉載請聯繫出處

作者:量子位/魚羊

想要真正瞭解深度神經網路是如何訓練的,免不了從 矩陣微積分 說起。

雖然網路上已經有不少關於多元微積分和線性代數的在線資料,但它們通常都被視作兩門獨立的課程,資料相對孤立,也相對晦澀。

不過,先別打退堂鼓,來自舊金山大學的 Terence Parr 教授說:矩陣微積分真的沒有那麼難。

這位 ANTLR 之父和 fast.ai 創始人 Jeremy Howard 一起推出了一篇免費教程,旨在幫你快速入門深度學習中的矩陣微積分。簡明,易懂。

DeepMind 研究科學家 Andrew Trask 評價說:

如果你想跳過不相干的內容,一文看盡深度學習中所需的數學知識,那麼就是這份資源沒錯了。

只需一點關於微積分和神經網路的基礎知識,就能單刀直入,開始以下的學習啦。

快速破解深度學習所需的「矩陣微積分」

先來看一眼這篇教程都涵蓋了哪些內容:

  1. 基本概念
  2. 矩陣微積分
  3. 神經元啟動的梯度
  4. 神經網路損失函數的梯度

必備知識:導數、向量、雅可比矩陣都不放過

神經網路中單個運算單元的激活函數,通常使用權重向量 w 與輸入向量 x 的點積來運算。

神經網路由許多這樣的單位組成。它們被組織成稱為層的神經元集合。上一層單元的激活成為下一層單元的輸入,最後一層中一個或多個單元的激活稱為網路輸出。

訓練神經元意味著對權重 w 和偏差 b 的選擇。我們的目標是逐步調整 w 和 b,使總損失函數在所有輸入 x 上都保持較小。

導數規則、向量運算、偏導數……複習完需要掌握的知識,文章開始進入重要規則的推導,這些規則涉及矢量偏導數的計算,是神經網路訓練的基礎。

比如在矩陣微積分這一節中,涵蓋:

  1. 雅可比矩陣(Jacobian)的推廣
  2. 向量 element-wise 二元運算的導數
  3. 涉及標量展開的導數
  4. 向量和降維
  5. 連鎖法則

每一小節中,都有簡潔明瞭的示例,由淺入深,層層遞進。

學到卡關?兩位大神讓你問清楚

如果你在學習的過程中遇到不理解的地方,不要著急,耐心返回上一節閱讀,重新演算一下文中的示例,或許就能理順思路。

如果實在是卡住了無法推進,你還可以在 fast.ai 論壇 的「Theory」分類下提問,向 Parr 和 Howard 本人求解答

而在文章的末尾,作者附上了所有數學符號的對照表。

以及重點概念的詳細補充資訊。

值得注意的是,Parr 和 Howard 也強調了,與其他學術方法不同, 他們強烈建議先學會如何訓練和使用神經網路,然後再深入瞭解背後的基礎數學 。因為有了實踐經驗,數學會變得剛容易理解。

傳送門

網頁版

PDF

fast.ai 論壇

(本文經 AI 新媒體 量子位 授權轉載,並同意 TechOrange 編寫導讀與修訂標題,原文標題為 〈一文读懂深度学习中的矩阵微积分,fast.ai 创始人&ANTLR 之父出品 | 免费资源 〉,首圖來源:Pxhere, CC Licensed。)

你可能感興趣

在家從零自學沒問題!22 歲數據工程師大推 3 本必看的機器學習入門書

衝上 GitHub 熱門第四名!Python 機器學習最強教學資源,新手工程師快存起來

最新「數據科學」自學清單:六個月無師自通,菜鳥新手趕快存起來


人類陷入空前數據絕境

量子運算數秒瓦解所有加密技術!企業毫無抵擋之力

搶先報名 12/6《2019 未來科技展》量子加密場次

找到資安機制一線希望

发表评论

电子邮件地址不会被公开。 必填项已用*标注

youtube abone hilesi