總結(jié)深度學習技巧

　　總結(jié)是把一定階段內(nèi)的有關(guān)情況分析研究，做出有指導性的經(jīng)驗方法以及結(jié)論的書面材料，它可以促使我們思考，為此要我們寫一份總結(jié)。那么如何把總結(jié)寫出新花樣呢？以下是小編幫大家整理的總結(jié)深度學習技巧，歡迎大家借鑒與參考，希望對大家有所幫助。

總結(jié)深度學習技巧1

　　正如我們所看到的，深層網(wǎng)絡需要大量的數(shù)據(jù)。遺憾的是，對于許多新的應用程序來說，這些數(shù)據(jù)可能很難得到并且開銷很大。如果我們希望模型表現(xiàn)良好，可能需要數(shù)萬或數(shù)十萬個新的訓練樣例來進行訓練。如果數(shù)據(jù)集不易獲取，則必須全部手動收集并標記。

　　這就是遷移學習的起點。通過遷移學習，我們不需要太多的數(shù)據(jù)！這個想法是從一個在數(shù)百萬圖像上訓練過的網(wǎng)絡開始的`，比如在ImageNet上預訓練的ResNet。然后，我們將“重新調(diào)整ResNet模型，只重新訓練最后幾層。

　　我們將ResNet從數(shù)百萬圖像中學到的信息（圖像特征）進行微調(diào)，以便將其應用于不同的任務。因為跨域的圖像的特征信息經(jīng)常是非常相似的所以這個方法是可行的，但是這些特征的分析根據(jù)應用而不同。

　　一個基本的遷移學習示例

總結(jié)深度學習技巧2

　　在很多情況下，都要處理不平衡的數(shù)據(jù)，特別是實際應用程序中。一個簡單而實際的例子如下：訓練您的深度網(wǎng)絡以預測視頻流中是否有人持有致命武器。但是在你的訓練數(shù)據(jù)中，你只有50個拿著武器的人的視頻和1000個沒有武器的人的視頻！如果你只是用這些數(shù)據(jù)來訓練你的網(wǎng)絡，那么你的模型肯定會非常偏向于預測沒有人有武器！

　　你可以做用以下的方法來解決它：

　　·在損失函數(shù)中使用類權(quán)重。本質(zhì)上就是，讓實例不足的類在損失函數(shù)中獲得較高的權(quán)重，因此任何對該類的錯分都將導致?lián)p失函數(shù)中非常高的.錯誤。

　　·過度采樣：重復一些實例較少的訓練樣例，有助于平衡分配。如果可用的數(shù)據(jù)很小，這個方法最好。

　　·欠采樣：一些類的訓練實例過多，可以簡單地跳過一些實例。如果可用數(shù)據(jù)非常大，這個方法最好。

　　·為少數(shù)類增加數(shù)據(jù)。可以為少數(shù)類創(chuàng)建更多的訓練實例！例如，在前面檢測致命武器的例子中，你可以改變屬于具有致命武器的類別的視頻的顏色和光照等。

總結(jié)深度學習技巧3

　　多年來，已經(jīng)開發(fā)了許多梯度下降優(yōu)化算法，各有其優(yōu)缺點。一些最流行的包括：·隨機梯度下降（SGD）+動量方法· Adam · RMSprop · Adadelta RMSprop，Adadelta和Adam被認為是自適應優(yōu)化算法，因為它們會自動更新學習速率。使用SGD時，您必須手動選擇學習率和動量參數(shù)，通常會隨著時間的推移而降低學習率。在實踐中，自適應優(yōu)化器傾向于比SGD更快地收斂，然而，他們的最終表現(xiàn)通常稍差。SGD通常會達到更好的最小值，從而獲得更好的最終準確性，但這可能需要比某些優(yōu)化程序長得多的時間。它也更依賴于強大的'初始化和學習速率衰減時間表，這在實踐中可能非常困難。因此，如果你需要一些快速的結(jié)果，或者只是想測試一個新的技術(shù)，選擇自適應優(yōu)化器。我發(fā)現(xiàn)Adam很容易使用，因為它對你選擇完美的學習率并不是很敏感。如果您想獲得絕對最佳的最終表現(xiàn)，請使用SGD + Momentum，并使用學習率，衰減和動量值來最大化表現(xiàn)。兩全其美的方法有木有！它最近的研究顯示，你可以做到兩全其美：高速訓練頂尖的性能通過切換從Adam到SGD！這個想法是，訓練的早期階段實際上是SGD對參數(shù)調(diào)整和初始化非常敏感的時候。因此，我們可以通過使用Adam來啟動我們的訓練，這將使您節(jié)省相當長的時間，而不必擔心初始化和參數(shù)調(diào)整。那么，一旦Adam運轉(zhuǎn)起來，我們可以切換到SGD +動量優(yōu)化，以達到最佳性能！

　　Adam vs SGD表現(xiàn)。由于魯棒性和自適應學習速度，Adam在一開始表現(xiàn)更好，而SGD最終達到更好的全局最小值。

【總結(jié)深度學習技巧】相關(guān)文章：

粵語學習技巧08-04

各省中考狀元學習技巧總結(jié)03-10

學習數(shù)學的小技巧08-08

學習粵語的發(fā)音技巧08-04

科目二的學習技巧07-30

中考英語學習技巧01-31

中考物理的學習技巧08-13

中考數(shù)學的學習技巧08-13

跟Google學習面試技巧08-01