________________________________
Периодически пытался поднимать вопросы формализации теории познания, но что-то обсуждение всё никак не завязывалось, а посему вот отдельный тред.
________________________________
Чем вообще обычно занимается гипотетический разум? Обычно он принимает какие-то решения о каких-то действиях. При этом разум ставит какую-то цель, которая по его прогнозу должна быть близка к резжультату, который ещё только предстоит получить. То есть разум симулирует РЕТРОПРИЧИННОСТЬ, имитируя замыкание причинно-следственных связей в кольцо, в котором цель и результат связываны через этот самый разум.
А раз самопроизвольное течение процессов от причин к следствиям в замкнутой системе идёт в сторону неубывания энтропии, значит протекающая через разум часть обратного процесса должна идти с (как минимум мнимым) НЕВОЗРАСТАНИЕМ энтропии. Иными словами она должна содержать какой-то логический анализ, отсеивающий избыток энтропии, как шумы, и оставляющий какие-то закономерности - а именно этим по существу и является ОБУЧЕНИЕ.
________________________________
Но разум опирается на информацию, которая что из себя представляет? Что-то относительно содержательное, но в остальном очень сильно зависящее от формы - по крайней мере в бытовом понимании.
В не совсем бытовом понимании есть такая штука как Колмогоровская сложность, предлагающая сравнивать объёмы "сути" фрагмента информации по минимальной длине программы, которая способна его сгенерировать. Вот только эта самая генерация упирается в вопрос языка, на котором пишется эта самая программа, и спектра его возможностей. По умолчанию подразумевается некий абстрактный язык, на котором можно описать генерацию двух сравниваемых фрагментов и который при этом не перекошен в сторону оптимизации под один из этих фрагментов, потому как на перекошенном языке описание профильной информации всегда будет короче. То есть фактически "идеальный язык" выступает некоторой абстракцией, потому что для любых двух фрагментов информации можно сделать синтетический язык, где они будут расшифровками первого и второго слов языка, обладающих самой минимальной длиной. Естественно, описывать что-то другое на таком языке будет неудобно.
Есть довольно близкая концепция Шенноновской информации, где "содержательной информацией" считается та, которую получателю сложно спрогнозировать и экстраполировать/интерполировать самому. То есть, если информация является выборкой значений функции, знание функции и способа получения выборки приближает предсказуемость к 100%, независимо от того, линейная там функция, полиномиальная, тригонометрическая или вообще так называемая односторонняя. Получается, что с одной стороны при введении взятой с потолка функции, дающей конкретный наперёд заданный вывод, вся информация сводится к имени функции и описанию выборки, по которым можно получить зашифрованный фрагмент. В то же время, если функция аналитически относительно тривиально, но неизвестна получателю информации, для него информация будет очень "неожиданна", пока он не увидит в ней закономерность.
И вот тут вот мы отходим от абстрактных языков и подходим к вопросам криптографии и сжатия данных, где на всё то же самое смотрят под другим углом. В быту под криптографией обычно понимается "обфускация" данных, но фактически она занимается их "перекодированием", а обфускация возникает уже от деталей механизма перекодирования, подразумевающих подмешивание дополнительной энтропии, усложняющей обнаружение закономерностей. Сжатие же наоборот приближает информацию к "сухой выжимке", которая в бытовом понимании неудобна для восприятия исключительно из-за того, что она не содержит изначально заложенных во фрагмет информации средств упрощения его восприятия. В общем смысле и криптография, и сжатие не предлагают абсолютно универсальных языков, а наоборот предлагают вполне конечные языки, оптимизированные под описание конкретных фрагментов информации. В алгоритмах сжатия это обычно называют "словарём", в котором "слово" для описания чего-то будет тем короче, чем чаще оно употребляется и чем сложнее его полная расшифровка - это отчасти похоже на обратный алгоритм шифрования, удаляющий из сообщения (заранее добавленные туда) излишки энтропии и заменяющий их чем-то коротким, ёмким и значимым.
И вот тут вот всплывает концепция итеративной доработки языка, где слова, допустим, являются просто порядковыми номерами для описаний функций, а сами функции описывают не только конечные отрезки, но и бесконечные последовательности, а сочетания отрезков с последовательностями дают те самые конечные выборки. Естественно первыми словами в таком языке будут описания его простейших строительных элементов, то есть условных букв, но дальше начинается занимательная балансировка между экономией длины-суммы сообщения от понижения номера функции и растратой длины-суммы сообщения от повышения номеров всех остальных функций, которые ради понижения номера этой придётся пододвинуть на единичку. И вот тут вот мы приходим к алгоритмам поиска закономерностей для отсеивания энтропии, то есть к САМООБУЧАЮЩИМСЯ алгоритмам.
________________________________
Таким образом оказывается, что самообучающийся алгоритм составления оптимального языка описания чего-то должен уметь принимать РЕШЕНИЯ о внесении изменений в словарь на основании ожидаемой выгоды от упрощения описаний. При этом на вход алгоритму подаются изначально выглядящие для него беспорядочными данные, которые можно изначально принять за описание так называемой "хаотической системы".
Теория хаоса обычно рассматривает так называемые "динамические системы", где энтропия выступает только одним из компонентов. В общем случае это многосоставные колебательные контуры, где условная "энергия" перекачивается не только между парами образующих осциляторы форм, но и между парами и группами самих осциляторов, что делает поведение системы визуально апериодичным, хотя обеспечивающие это поведение механизмы остаются теми же, что и у осциляторов.
Чтобы принять решение об обновлении словаря, нужно обнаружить закономерность. В динамических системах ситуапция, когда какая-то из подстилающих закономерностей перевешивает запас энтропии в системе и заставляет её "сколлапсировать" в какое-то "вырожденное" состояние называется КАТАСТРОФОЙ, для чего в математике существует своя отдельная теория катастроф.
________________________________
Получается, что при рассмотрении информации с точки зрения динамических систем обучением является поиск "узлов", где эта самая условно замкнутая динамическая система самопроизвольно разделяется на минимум две незамкнутые, в одной из которых происходит самопроизвольное снижение энтропии. И что тут примечательнее всего, происходит оно не обязательно из-за деятельности какого-то разума - а вот мысли какого-то разума обязательно возникают из-за подобных событий, то есть фактически это основа всего мышления.
А как уже упоминалось выше, динамические системы ведут себя так из-за того, что они на сколько-то уровней "перераспределения энергии" выше простых осциляторов - на разное для разных систем. То есть вкратце разум сидит и выжимает из своего восприятия излишки беспорядка, давая им какие-то условные обозначения - а потом повторяет всё то же самое над получившимся "словарём", чтобы вычленить закономерности более высокого уровня для изучаемой динамической системы, которые являются "закономерностями закономерностей" и позволяют упорядочивать группы правил в правила более высокого порядка, которые затем могут быть добавлены в словарь достаточно близко к его началу, чтобы от этого была выгода в виде упрощения описаний.
________________________________
Где-то там уже Гёдель с Гегелем ехидно хихикают, а мы тем временем пришли к тому, что всё вышеописанное теоретически формализуемо, механизируемо и автоматизируемо.
>значит протекающая через разум часть обратного процесса должна идти с (как минимум мнимым) НЕВОЗРАСТАНИЕМ энтропии
Не значит. Для этого надо, чтобы информация в процессе вычисления не терялась. Проще говоря в обычном компьютере, логический элемент И получает на вход два бита, и выдает один, один бит, то есть один бит теряется, т.е. на практике переходит в тепло. Чтобы этого избежать придется строить логику на других принципах с обратимыми вычислениями:
https://en.wikipedia.org/wiki/Reversible_computing
Это же относится и к человеческому мозгу, там вычисления необратимые, и информация переходит в тепло в процессе работы, увеличивая энтропию.
>Но разум опирается на информацию, которая что из себя представляет?
Энтропия - это и есть количество информации. Термодинамическая энтропия аналогична информационной. Т.е. можно, например, энтропию черной дыры радиуса N пересчитать из Джоулей на Кельвин в гигабайты, и получить теоретически максимальное количество информации, которое влезет в данный объем.
ну чтож, возможно получится неплохое обсуждение, посмотрим
тут мешают теплое с мягким
эвакуируюсь из треда
>Хаос — частный случай Порядка? Или Порядок — частный случай Хаоса?
Если ты о второй иллюстрации, то там суть в том, что обычная ветка обычной ёлки - это самопроизвольно возникающее упорядочение, которое напрямую завязано на то, что это ёлка и ветка. А выложенная из ободранной с ветки хвои диаграмма напрямую логически с веткой ёлки не связана и никак из неё не следует, а значит логическую связь между ними нужно искать где-то ещё в каком-то не очевидном на первый взгляд месте.
Вот например возьмём слово "соль". Что оно означает? А если я скажу, что оно зашифровано? Например возьмём шифр с ключом в виде последовательности букв, где каждая буква шифруемого слова сдвигается вперёд по алфавиту на алфавитный номер буквы ключа, а для расшифровки соответственно нужно сдвинуть на столько же обратно. Ключ "ывёъ" даст сдвиги на 29-3-7-28, что означает расшифровку "хлеб". Легко тебе без подсказок догадаться, что под "соль" подразумевалось "хлеб"? Можно притянуть за уши расхожее выражение "хлеб да соль" (потому что я специально так подобрал), но вообще без ключа шифрования тут только пальцем в небо тыкать, пытась угадать.
Порядок - это не сами элементы системы, а схема взаимоотношения между ними. Взаимодействия формируют причинно-следственные связи, а посему каким-то правилам они всегда подчиняются. При желании можно к любой последовательности дорисовать какую-то "условно комплиментарную", чтобы вместе они соответствовали какой-то наперёд заданной форме упорядочения. Принципиальная разница тут в том, сколько нужно дорисовывать и из чего это дорисовываемое следует - где-то можно вычленить закономерность, опираясь только на саму последовательность и связанный с ней "язык/словарь", который и служит дежурным справочником тех самых "комплиментарных последовательностей".
>>262834
>Для этого надо, чтобы информация в процессе вычисления не терялась.
Это для идеализированного случая сферической ретропричинности в вакууме, к которому разум пытается стремиться, для чего и самообучается. На практике между целью и результатом всегда есть расхождение, по которому как раз и определяется, насколько конкретный разум применительно к конкретной задаче недоучен до абсолюта.
>Проще говоря в обычном компьютере, логический элемент И получает на вход два бита, и выдает один, один бит, то есть один бит теряется, т.е. на практике переходит в тепло.
А это как раз один из простейших примеров "коллапса динамической системы", когда от определения двух входных параметров определённым автоматически становится и выходной параметр. Вычленяемая и записываемая в опыт закономерность потому и вычленяется, что она сама может быть выражена меньшим количеством бит, нежели описываемый ей фрагмент, а обозначена для удобства может быть И ЕЩЁ МЕНЬШИМ количеством бит, дабы её можно было вставить в описание "ссылкой на словарь".
Для объяснения сути энтропии на пальцах в школе обычно используют формулировку "чтобы что-то очистить, надо что-то испачкать", которая с одной стороны довольно очевидно описывает основной принцип, а с другой стороны сразу же вызывает у детей вопрос о том, а что тогда будет, если помыть грязную кружку в тазике дистиллированной воды, а потом дистиллировать эту воду ещё раз для отделения от грязи и снова помыть в ней ту же кружку, чтобы сделать её ещё чище. И в общем-то правильно дети спрашивают, потому что "самопроизвольное неубывание энтропии" распространяется только на замкнутые системы, а подведение энергии извне (например на ту же повторную дистилляцию) всё резко меняет.
>Чтобы этого избежать придется строить логику на других принципах с обратимыми вычислениями:
Если этого избежать вообще совсем абсолютно полностью, на выходе всегда будет столько же бит, сколько и на входе, а речь как раз об обратном - о получении "выжимки", которая описывает какие-то последовательности, которые в свою очередь затем можно отсеять из входных данных, дабы они своим влиянием не загораживали другие закономерности - чисто развинчивать условную последовательность данных на "последовательность суперпозиций" по аналогии с разложениями в ряды Тейлора, Фурье и прочие подобные.
>Это же относится и к человеческому мозгу, там вычисления необратимые, и информация переходит в тепло в процессе работы, увеличивая энтропию.
А ещё информация переходит в принятые решения, которые при накоплении достаточного запаса переходят в опыт, на основании которого принимаются новые решения, то есть система разделяется на уносящий избыток энтропии "контур охлаждения" и отдельную структуру для запасения производимой мыслительными процессами пониженной энтропии.
В общем случае любая система с отрицательной обратной связью имеет некоторый потенциал стать основой потенциальной ямы, то есть "точки устойчивого равновесия". А при помещени в потенциальную яму чего-то обладающего соответствующей характеру этой ямы инерцией получается осцилятор, который может хранить какую-то энергию в пределах этой самой потенциальной ямы. При этом в идеальном осциляторе энергия только переходит из одного вида в другой и обратно, не давая системе остановиться в положении равновесия, то есть удерживает систему от перехода в состояние, где эта самая энергия равномерно распределена по всем возможным формам и состояниям. В неидеальном осциляторе энергия постепенно рассеивается за счёт потерь при переходе из одной формы в другую, но только за счёт этого, а не от достижения пиковых значений между переходами.
В ещё более общем случае любую ведущую себя похожим на колебания образом систему можно рассматривать как осцилятор, вычленяя в ней те самые отрицательные обратные связи, инерцию и то, что в случае конкретной системы будет запасённой ей энергией, не дающей ей остановиться в положении устойчивого равновесия. Так вот описанный в ОП-посте мыслительный процесс по существу опирается на колебания энтропии с её переходом между несколькими разными накопитаелями, когда за счёт инерции этого процесса где-то она падает за счёт её повышения в другой части системы - а затем происходит переключение с отсечением низкоэнтропийной части системы по аналогии с импульсным преобразователем постоянного тока, где тоже сперва энергия закачивается в колебательный контур, а затем контур размыкается в момент нужных показателей на его контретных частях и замыкается на внешние элементы (грубо говоря катушка сперва медленно пропускала ток, пока в ней этого тока не набрался целый импульс, а затем этим импульсом зарядила конденсатор, но разряжаться конденсатор будет уже не на торможение тока в катушке, а на внешнюю нагрузку, тогда как в катушке тем временем будет готовиться новый импульс).
>>262835
>Энтропия - это и есть количество информации.
Энтропию удобно описывать количеством информации, но на эту самую информацию распространяются описанные Колмогоровым и Шенноном эффекты, о которых говорися в ОП-посте. На примере "хлеба" и "соли" наглядно показано, что с ростом рассматриваемого объёма данных растёт и количество обнаруживаемых в них закономерностей, которые в свою очередь снижают "видимую сложность" системы. И "наиболее ценной информацией" для разума являются как раз описания механизмов этого самого "снижения сложности", которые затем можно с некоторой степенью достоверности воспроизводить.
>>262840
Так на всякий случай, если это вдруг не было очевидно из OP-поста, уточню, что тут речь про рассмотрение мышления и обучения как технологии с целью эту самую технологию подвергнуть индустриализации.
Технологические цепочки от ресурсов до конечных продуктов бывают довольно длинными и на практике часто много где пересекаются, потому что есть промежуточные продукты, получение которых возможно множеством разных не слишком переусложнённых способов, а есть конечные продукты, о массовом получении которых без доступных промежуточных продуктов можно даже и не заикаться. Так вот индустриализация сосредотачивается на поиске наиболее оптимально масштабируемых методов получения относительно тривиально достижимых промежуточных продуктов, дабы они стали подспорьем для следующей ступени более сложних продуктов, переусложнённость которых масштабированием предшествующего этапа с оптимизацией издержек на этом самом предшествующем этапе и компенсируется.
Когда заходит речь о сверхразумности, обычно рассматривают оперирование заоблачными объёмами информации и безумной длины планы многоходовых комбинаций, что по существу есть банальное количественное наращивание когнитивных возможностей обычного высшего примата, то есть о качественном росте речи не идёт. В то же время нам уже известно про абстрактное мышление и аппроксимации закономерностей для выхода на именно что качественно новую ступень мышления, то есть у нас уже есть представление о том, в каком направлении разум может развиваться качественно. При этом, если считать конечным продуктом работы разума решения, тогда абстракции и аппроксимации будут промежуточными продуктами, одновременно составляющими существенную часть самого разума.
И вот тут как-то сама собой напрашивается мысль, что разум и так уже сам без подсказок потихоньку идёт к самоиндустриализации, но упирается в изъяны своего аппаратного обеспечения. Приходится обучать это самое аппаратное обеспечение созданию целевого образа мышления, который в свою очередь позволит создать среду, в которой станет возможным обучать новое аппаратное обеспечение более сложным и одновременно более оптимизированным образам мышления, для чего среда их развития должна соответствовать целевой логике. И так далее по кругу.
Всё упирается в стихийно сложившуюся заточенность аппаратного обеспечения под распознание образов, отчего приходится работать с информацией на языке образов. Абстракции вводились как "образы более высокого порядка", позволяющие взять множество разных образов и параметризовать их, получив условную функцию, способную при разных параметрах дать не только любой образ из того самого множества, но также и любой "промежуточный" между ними, а ещё с некоторой достоверностью позволит спрогнозировать теоретически возможные образы за пределами покрываемого входной выборкой "поля". Дискретный набор заменяется непрерывной функцией, которая в зависимости от качества дискретизации и частоты "пропущенных экстремумов" может быть как на уровне "пальцем в небо", так и на том уровне, который требуется для практической применимости этой функции.
По мере своей деятельности разум (или как минимум нечто ему предшествующее) копит эти самые функции-абстракции, выступающие для него его собственным "ценным опытом", увязывая их в ассоциативный граф со множеством разных типов рёбер (количество этих типов не только не фиксировано, но ещё и со временем растёт, потому как обнаруживаются новые виды "отношений" между узлами графа ассоциаций). А для того, чтобы процесс запустился, сперва требуется некоторое количество "учебного опыта", который станет для разума "принятыми допущениями", опираясь на которые он будет накапливать последующий опыт. А вместе "принятые допущения" и "ценный опыт" формируют "картину мира", определяющую образ мышления конкретного разума.
По мере накопления "ценного опыта" в некоторых из "принятых допущений" отпадает потребность за счёт появления более глубокого понимания отдельных явлений, которое может выступать более надёжной опорой, нежели упрощённое учебное объяснение. Если учебный материал был хорошо подобран, старые допущения не столько отбрасываются, сколько переоцениваются и переосознаются на новом уровне. Таким образом, если ничто не остановит процесс, рано или поздно разум переоценит и переосознает все допущения, от которых он отталкивался в начале пути, после чего вся его "картина мира" будет целиком состоять из его собственного "ценного опыта". Разумеется это не конец, а только этап, потому как свой собственный опыт после этого продолжит переоцениваться, но только теперь без искажений от изъянов принятых без глубокого понимания допущений.
Итого обозримым горизонтом "индустриализации разума" является переработка энергии в "картину мира" или попросту в "здравый смысл", позволяющий находить ответы на случайные вопросы на основании понимания только общих условно-всеобъемлющих закономерностей (и стоящих над этими закономерностями принципов, которые при переходе на качественно новый уровень понимания сами развернутся в закономерности более высокого уровня, которые тоже будут систематизироваться для обнаружения стоящих уже над ними принципов). И на вопрос о том, каким вопросом стоит задаться, тоже помогает находить ответы, потому как к полученному опыту прилагается опыт получения опыта, а к результату оценки полученного опыта прилагается опыт оценивания того опыта. Что выглядит бессистемно на одном уровне, может иметь довольно тривиальное описание на более высоком уровне, но для этого требуется введение дополнительных параметров для описания закономерностей более высокого уровня, о чём и говорилось в OP-посте, когда рассматривалось "расширение словаря".
И вот теперь мы вплотную подошли к вопросу составления формализованного алгоритма, который упирается в вопрос сути самой формализации. Если что-то уже формализовно, этому чему-то уже сопоставлены какие-то абстракции. А тут всё развитие разума фактически сводится к процессу формализации воспоминаний-впечатлений для выжимания из них ассоциативно увязываемого с чем-то опыта, который затем систематизируется, чтобы его можно было формализовать ещё сильнее. Таким образом активность разума можно рассматривать как самоформализующийся алгоритм (который соответственно ни в один момент не является полностью формализованным). И если вспомнить, что "картина мира" (суммарный накопленный опыт) разума может рассматриваться как пример аксиоматики, выходит, что не противоречащий сам себе разум в терии может расти бесконечно (или как минимум до пределов доступных вычислительных возможностей).
Есть ещё и другой подход, когда разум рассматривается как организм, который питается информацией и от неё растёт, когда из потреблённой информации удаётся усвоить что-то полезное. Вот только на практике "физиология разума" выстраивается сбойная и нестабильная, то есть он пока ещё только пытается стать "информационной формой жизни", что в свою очередь является попросту взглядом с другой стороны на ту же самую изложенную выше идею "разума-промышленности".
И как уже можно было догадаться, одним из способов дальнейшего развития разума является поиск физических систем с большим количеством потенциальных ям для того, чтобы в них можно было в каком-то виде "закачивать информацию", дабы выделять из неё закономерности, которые будут проявляться в виде каких-то метастабильных состояний. Если энтропия введённого фрагмента информации равна нулю, информация по существу представляет из себя константу плюс количество её повторов. Если энтропия введённого фрагмента информации достигает предела для данной длины фрагмента, проявления всех закономерностией оказываются сожраны дисперсией. На практике же "природная информация" практически всегда где-то посередине (кроме совсем уж коротких фрагментов), а значит выделение из неё закономерностей сводится к вопросу способа их выделить.