По следам вводной лекции ОдО 2021

Новая грамотность
1

Натолкнул на эти мысли пример Анатолия Игоревича о студенте, который посмотрел презентации других студентов, "все там понял" и после прохождения курсов посмотрел эти презентации ещё раз и понял все по-другому.
Искусственные нейронные сети получают знания путем выполнения некоторых алгоритмов оптимизации.
Эти алгоритмы проходят по некоторому набору данных несколько раз до того момента, пока нейронная сеть не будет сносно работать (точно распознавать котиков на фото или из звуков строить слова). Каждый из этих "раз" называется эпохой. Таких эпох бывает и десятки и сотни и даже больше, причем одна эпоха выполняется в сети компьютеров или на нескольких устройствах.

Также стоит понимать, что после каждой эпохи сеть будет не такой, какой была раньше (значения параметров изменились).

Многие алгоритмы оптимизации имеют такой параметр, который называется величина шага оптимизации - который бывает фиксированным на всем процессе обучения, а иногда и перенастраивается в зависимости от количества пройденных эпох либо значения оптимизатора (насколько хорошо обучилась сеть). Если сеть подошла к хорошему результату - то значение параметра снижается, если же сеть застряла на плохом результате (попала в плато) - то ей можно дать толчок (в виде случайного изменения шага), либо увеличить шаг, чтобы она попыталась выйти из точки застревания.

Какие аналогии можно провести с обучением человека?

  1. Интеллект обучается посредством чтения набора книг или прохождения курсов или выполнения работ.
  2. Если читаете набор книг и что-то остается в мозгу после чтения, то мозг не является уже прежним, каким был до прочтения книг. Поэтому любую книгу можно читать повторно - и найдете другую информацию или сделаете другие выводы. Эти выводы могут отличаться от выводов первого прочтения.
  3. Если получаете какое-то понимание или инсайт, то стоит немного замедлиться и вчитаться в текст, чтобы заметить детали и достраивать новую картину мира.
  4. Если застреваете на сложном моменте и мышление "начинает" кипеть - можно не мучать себя и почитать другие книги на эту тему либо в той же книге другую главу - возможно после такого "толчка" вернуться к старой теме и заново на нее посмотреть.

#сиОдО

2

Интересные мысли ) только хочется добавить из “классика”

– даже если ты “просто читаешь”, то это результат “мышления письмом” другого человека. При этом “просто читая” ты не думаешь и читаешь “мимо мозга” (проверено многочисленными экспериментами на студентах – всё помнишь за сутки перед экзаменом, затем всё забываешь за следующие сутки). Но если будешь практиковать при чтении мышление письмом, а именно писать свои мысли по поводу прочитанного или хотя бы пересказывать прочитанное обязательно своими словами (не цитировать cut/paste, не подчёркивать предложения и слова в тексте, который читаешь – это бесполезно!), то только тогда можешь быть уверен, что вчитал чужие мысли себе в мозг.

Поэтому сюда

  • Интеллект обучается посредством чтения набора книг или прохождения курсов или выполнения работ.

надо добавить, что нужно мыслить в процессе ) желательно письменно

Вот эта мысль очень интересная - наверное это нужно добавить к поведению рационального фланера, помимо стратегии опционов

Многие алгоритмы оптимизации имеют такой параметр, который называется величина шага оптимизации — который бывает фиксированным на всем процессе обучения, а иногда и перенастраивается в зависимости от количества пройденных эпох либо значения оптимизатора (насколько хорошо обучилась сеть). Если сеть подошла к хорошему результату — то значение параметра снижается, если же сеть застряла на плохом результате (попала в плато) — то ей можно дать толчок (в виде случайного изменения шага), либо увеличить шаг, чтобы она попыталась выйти из точки застревания.

3

После такого поста - мозг тоже не будет прежним) Игорь, спасибо, за готовую технологию чтения - отдельно!)