This repository has been archived by the owner on Mar 29, 2020. It is now read-only.
lipschitz
Обоснование липшицевости градиента
Елена Александровна просит показать, что мы применяем градиентный спуск не просто так. В статье о градиентном спуске на machinelearning.ru приведена теорема о сходимости (теорема 1): если градиент подчиняется условию Липшица, то метод непременно будет сходиться к минимуму. Нужно показать для наших моделей, что для градиента функции ошибки (функции стоимости) есть константа Липшица.
- Лемма: непрерывно дифференцируемая функция удовлетворяет условию Липшица - PDF - Google Drive. См. стр. 22-24
- градиентный спуск для перцептрона - PDF
- Multiclass Perceptron Learning. Berkeley AI. YouTube
Функция стоимости:
Компоненты градиента:
Это усреднённое значение. Вклад одного тренировочного экземпляра
Докажем липшицевость этой функции. Её производная непрерыва и ограниченна во всём пространстве параметров.
...