1. Вектор частных производных функции по её параметрам.

2. Она количественно выражает ошибку модели и задаёт цель оптимизации.

3. Размер изменения параметров на каждом шаге оптимизации.

4. Точка, где значение функции не больше значений в её окрестности.

5. Полный использует всю обучающую выборку на шаге; мини-пакетный — её часть.