Восхитительный текст про то, что студенты престижных университетов не умеют читать книги, ибо их не научили этому в школе: The Elite College Students Who Can’t Read Books - The Atlantic. Первое, что там говорится, так это “тренд отличается от вечных стонов, что дети читают не так хорошо, как их отцы, тут что-то более фундаментальное”. In 1976, about 40 percent of high-school seniors said they had read at least six books for fun in the previous year, compared with 11.5 percent who hadn’t read any. By 2022, those percentages had flipped. И тут оказывается, что средние школы перестали задавать детям читать книжки от корки до корки. Детки читают хорошо порезанные тексты: новости, отрывки книг, словарные статьи, маленькие параграфы. Но не книги. Собранности не хватает даже для прочтения сонета, 14 строк! И ещё их перестали учить читать книги, In a recent EdWeek Research Center survey of about 300 third-to-eighth-grade educators, only 17 percent said they primarily teach whole texts. А что вузы? Они продолжают тренд: Faced with this predicament, many college professors feel they have no choice but to assign less reading and lower their expectations. Victoria Kahn, who has taught literature at UC Berkeley since 1997, used to assign 200 pages each week. Now she assigns less than half of that. Дальше вопрос про плотность информации: что там в книжках (речь главным образом ведь о художественных), что там в обрывках, что там в подсадке на внешнее управление вниманием вместо запасов собственной собранности. В любом случае: чтобы проходить наши курсы, надо иметь собранность. Курс литературы в Беркли с 200 страницами в неделю явно в университете не единственный, и там ещё много других курсов, где похожие по объёму задания. И как-то справлялись. Интересно, что будет, если выдать 200 страниц не книги, а обрывков-отрывков – тот же объём, но не “непрерывную книгу”. Думаю, эффект будет тот же: невозможность одолеть, отсутствие собранности. Так что надо учить читать. И, конечно, учить писать – читать без того, чтобы писать – бесполезно. Не пишешь – не думаешь вообще, а не читаешь – думаешь банально.
Давайте я попробую пересказать содержание некоторых мыслей из текста про “видение и объяснение ситуации в индустрии LLM” (Telegram: Contact @seeallochnaya) в переносе на обучение не сухих, а мокрых нейронных сеток. Мастерство личности зависит от некоторых факторов: 1) количество ресурсов, вбуханных в образование (и как следствие – количество учебных материалов и талант ученика), 2) качество учебных материалов для дообучения, 3) методы для дообучения. Очень грубо финальный результат можно представить как количество порядков (порядок – это x10) вычислений во время обучения, что для студентов банально превращается во время обмозговывания учебных материалов – ибо подкрутить что-то там с мозгом нам затруднительно. Ориентируемся тут на 10тыс. часов, и понимаем, что в данной предметной области можно потратить и 1000 часов, и 100000 часов (50 лет на 40-часовой рабочей неделе). Улучшения с точки зрения алгоритмов дообучения (скажем, не писать конспектов – это бесполезно, но полезно записывать свои мысли, возникающие по ходу обучения) могут позволить эффективно увеличивать порядок вычислений, не меняя его в реальности. То есть можно придумать метод дообучения, который, например, позволяет получить у слабого мозга качество в 10 раз больше, чем у сильного мозга. Мы как будто обучали мозг больше и дольше, и получили такое же качество. Скажем, можно учить делению в римских числах, это проходили в университетах и это было особым искусством избранных. А можно учить делению в арабских числах, и не тратить на это много времени. Можно даже учить делению на калькуляторе! Учить надо, конечно, давая обратную связь в количестве – “жизнь научит”, RLHF, Reinforcement learning from human feedback - Wikipedia. Дальше делается утверждение, что прорывов особых в мозгах до сегодняшнего дня не видели, а также не видели особых прорывов в методах дообучения – разве что учить надо не всякой ахинее, а отбирать качественнейшие данные (учить надо по хорошим курсам, а не по плохим! Не надо учить по ошибочным материалам, это вредно). Ну, и дальше интересный вывод, что чем дольше учить, тем лучше получится. Это мы на людях и видим: школьное образование на десять лет, потом вузовское сравнимой длины (скажем, у медиков вуз, а потом ещё ординатура, и потом надо получать всякие баллы за прохождение курсов, чтобы не лишиться лицензии). Вот и вся гонка интеллектов: кто дольше учит (и, соответственно, кто дольше учится) на более качественных данных – тот и победил. Дальше мы понимаем, что голым мозгом уже не победишь заведомо. Подключаем нейросети других людей (работа в хорошем коллективе, коллективный интеллект), сухие нейросети (AI) – и тут у кого мощней эти внешние вычислители, тот и победил, ибо у голого мозга заведомо думалка будет послабее, чем у датацентра с мокрыми или живыми нейросетями.
Вот тут сидит Tim Rocktäschel, начальник команды open-endedness в DeepMind – x.com. И постит много интересного материала. Скажем, у него пробежала ссылка на интервьюирование нежитью тысяч людей, да ещё и на интересные темы, типа смысла жизни – https://www.xavierjaravel.com/_files/ugd/bacd2d_67114208dd90424fab15ea241707c4e1.pdf. Понятно, что “смысл жизни” вполне программируемая штука поверх генетических biases, но что там напрограммированно современной культурой? В субъективных состояниях побеждает social connectedness, belonging – 0.79 всех ответов. Дальше providing support/care, helping – 0.57 всех ответов. Experiencing joy and happiness – это уже 0.36 и даже experiencing purpose – 0.34. Творчество и самовыражение – только у 0.13 респондентов. Но есть и деятельности, в которых ощущается этот смысл жизни. И тут помним, что правильно интересоваться не “в среднем по больнице”, а всё-таки хоть какими-то когортами. И вот тут есть такие цифры. Полюбуйтесь, какие деятельности дают смысл жизни для разной политической ориентации и для разных возрастов – и сразу видно, что “смысл жизни” для разных людей значит очень и очень разное. Вот они, “воображаемые сообщества” в действии (и там ещё в тексте много подобных иллюстраций, но ещё и помним – говорить о чём-то, планировать что-то, делать что-то оказываются обычно тремя разными существенно несовпадающими сущностями, так что нельзя всё это принимать за чистую монету, это только “говорить”):
