Артемий Гер

§ 187. Математические способности и видение будущего

26 января 2017

В обучении искусственных нейронных сетях повсеместно используют метод обратного распространение ошибки. Смысл которого заключается в передачи сигнала поправки настройки весов выхода к входу. И у этого метода есть единственный параметр, который не детерминирован математически это learning rate (коэффициент скорости обучения). Его подбирают эмпирически от 0 до 1. Чем значение коэффициента ближе к единице (больше), тем скорее нейросеть поймет наиболее очевидные, и отчетливые закономерности.

Поскольку округление весов на значительные величины происходят очень быстро. Однако теряется точность, когда нужно найти наиболее неочевидные и далёкие закономерности. Чем значение коэффициента меньше, тем больше требуется эпох обучения для достижения результатов сравнимых с первым случаем, однако после его преодоление открывается возможность к более тонким настройкам.

В человеческих нейросетях этот метод не используется, потому что вовремя обучение нету заранее известного ответа на все вопросы. Дальше идут сугубо рассуждения
Люди давно заметили, что одни схватывают материал быстрее других. Это наблюдение увековечено в речи такими словами: легко/быстро обучаемый, успевающий и тд.
Поскольку единой теории работы мозга не существует, а существуете множество разрозненных школ и взглядов. Я тоже решил подуть под свою дудку и как все современники сделать нано-вклад.

Но начнем издалека.

Я провел небольшой эксперимент, который заключается в следующем: допустим людям с ярко выраженной как с хорошей так и с плохой обучаемостью предложить ответить на вопрос, ответ на который точно никто не знает. В качестве такого вопроса было взято следующее: “Каким вы видите будущее через 50 лет”.
Был опрошен ряд людей, как o первого так и со второго лагеря, и была обнаружена интересная закономерность, в первой группе из 6 человек все люди имеют огромную скорость обучения (читай математические способности) и они ответили в следующем ключе: “ По большому счету, непонятно и все очень быстро меняется, - некоторые дали ответ в стиле, - сложно сказать что будет в мире уже завтра. То-есть эта группа солидарна в следующем: сложно спрогнозировать будущее.
Вторая же группа из 9 человек (менее быстро схватывающая) была менее солидарна и высказывала трех-пятиминутное предположения в самых разных областях:
  • война
  • бессмертие для избранных
  • нанороботы в медицине
  • экологический крах
  • опять средневековье
  • поживём - увидим
  • дисплей, встроенный в глаза
  • люди будут убегать в виртуальную реальность
  • тотальная слежка.
Мне этот опыт проиллюстрировал правило разного подхода к решению проблемы, одни стараются не делать громких и зачастую необоснованных предположений, а вторые их делают.
А теперь вернемся к самому началу вспомним про веса и коэффициент обучения . Допускаю что при ответе на вопрос первая группа просто анализировала свою жизнь, и поскольку в ней был, на всем протяжении, очень быстро получаемый опыт, изо грубой настройки весов, скорее всего, этот жизненный конструкт лег в основе ответа на то о что же дальше будет также, а именно быстрое неопределенное изменение, поскольку не знаешь наперед чему ты научишься. Поэтому, после третьего опрошенного математика, я уже подходил к следующему с белой бумажкой, на которой было написано примерно то что я услышу (неопределенность).
Вторая же группа не заморачивалась насчет точности, и не боялась сделать ошибку, просто брала менее весомые жизненные обстоятельства, личный опыт, фильмы, прочее и переносила на будущее. И поскольку весы, на все эти раздражители, настроены на малое изменение было невозможно предугадать что же будет в ответе.
Такое забавное наблюдение между математическими способностями и мироощущением.