Хэширование как ассоциация

[siyuv]

Хэширование это метод распределения данных в памяти компьютера таким образом, чтобы осуществлялся "почти" прямой доступ к ним. Заранее известная хэш-функция вычисленная на конкретном элементе дает его адрес в базе данных. Доступ к информации не совсем прямой за счет того, что у некоторых элементов оказывается одинаковое значение хэш-функции и в этом случае дальнейший поиск приходится проводить перебором.

Мне это напоминает работу нашего мозга, когда мы пытаемся что-то вспомнить. По ассоциациям порой выскакивают никак не связанные вещи. Видимо у нас в голове вычисляется какая-то хитрая хэш-функция, которая и дает непредсказуемые коллизии. С этим подходом также хорошо согласуются оценки, по которым наша память заполнена не более чем на 10-15%. Это как раз порог заполненности базы данных, при котором хэширование перестает быть эффективным и лучше использовать другие методы хранения информации.

Comments

Re: работа мозга

[lfer.livejournal.com]

1. а как насчет структурализма? - возьми хорошую книгу по неизвестной тебе дисциплине. Лучше по лингвистике или философии. Застявь себя прочесть ее невзирая на непонятности. Словарями не пользуйся. К концу чтения у тебя возникнет впечатление, что ты начинаешь понимать написанное и более того - адекватно реагируешь на тексты по той-же тематике, но принципиально другие. В мозгу возникает структура разбора неизвестного ранее материала. Ты ее чтением выстраиваешь. Причем опирается эта структура ни на что - она висит в мышлении как в воздухе. Слегка соприкасаясь с ранее полученными знаниями, но именно слегка. Похоже на курумник - каменную реку, в которой каждый камень соприкасается со столькими вокруг, что каждая опора практически не несет нагрузки. Этим можно объяснить катастрофичность даже кратковременной смерти мозга для личности его носителя.

2. с притянутостью ассоциаций за уши не соглашусь. Я потому и написал, что ассоциации удивительным образом всегда кстати - ни разу не исмпытывал недоумения от ассоциаций.

3. Ассоциации индивидуальны по определению. Только словами мы связываем их с коммуникацией. Что имел ввиду абстракционись глубоко фиолетово не только зрителю, но и самому художнику. Более того, абстракционизм и возник как протест против существующей системы записей. Против текста. И не только абстракционизм. Почитай про театр жестокости Арто.

4. концептуально. хэш-функции оперируют хранимой информацией, т.е. характеризуют некий статический процесс. Мне кажется мышление более динамично. Сами функционалы формируются постоянно под процесс конкретного мышления.

5. С другой стороны. Если ты можешь исследовать модель объекта, предположив механизм его работы, никто тееб это не мешает. Итак, есть хэш-функции и данные исследований - что дальше? Есть-ли у тебя методы анализа?

Re: работа мозга

[siyuv.livejournal.com]

1. а как насчет структурализма? -- хороший пример ассоциативного мышления, но в более широком смысле, чем в том, о котором говорю я. Это пример именно мышления, то есть анализа и производства новой информации. Я же всего лишь пытаюсь описать процесс вспоминания, т.е. обращения к базе данных.

2. с притянутостью ассоциаций за уши не соглашусь. Хорошо, но ты не привел контр-аргумента к моему предположению, что мостки с реальностью услужливо достраиваются нашим мозгом.

3. Ассоциации индивидуальны по определению. Конечно, это и был мой основной тезис в предыдущем ответе. Впрочем я признаю, что пример абстрактного искусства не слишком удачен. В первую очередь по тому, что его цель вовсе не заставить что-то вспомнить, а напротив, передать новую информацию, дать пищу для размышлений.

4. концептуально. хэш-функции оперируют хранимой информацией, т.е. характеризуют некий статический процесс. -- конечно, именно этот статический процесс я и пытаюсь описать. Ведь так или иначе, но он присутствует как часть процесса мышления. Мне кажется мышление более динамично. Сами функционалы формируются постоянно под процесс конкретного мышления. -- согласен, но только это выходит за рамки того что должна описывать модель.

5. С другой стороны. Если ты можешь исследовать модель объекта, предположив механизм его работы, никто тееб это не мешает. Итак, есть хэш-функции и данные исследований - что дальше? Есть-ли у тебя методы анализа? -- методов пока нет. Хорошо бы придумать физиологический эксперимент, который смог бы подтвердить или опровергнуть адекватность модели. Это позволило бы делать выводы относительно устройства мозга. Этим занимается наука под названием "cognitive science", к которой я отношусь весьма скептически, несмотря на их успехи в получении финансирования, так что можешь считать этот пост плевком в их сторону - такой наукой можно заниматься и без грантов, просто сидя в ЖЖ. С другой стороны, если наше понимание процесса вспоминания проясниться, то мы сможем писать более эффективные хэш-функции для компьютерных баз данных (что ни говори, а голова пока работает на много лучше, чем компьютерный поиск, кроме как на больших объемах числовой и текстовой информации). Существенный шаг в этом направлении сделал Гугл. Не знаю соответствуют ли их собственные вектора какому-либо процессу у нас в голове, но и тут много возможностей для улучшения. Я не видел пока ни одной системы, которая хэшировала бы картинки или мелодии по-похожести, хотя казалось бы чего проще - посчитай Фурье-коэффициенты, проквантуй, вот и будет тебе новая хэш-функция, годящаяся для складирования образов. Такое впечатление, что программисты до сих пор переписывают пример из Кернигена и Риччи, когда нужно сделать новую базу данных, не давая себе труда подумать над тем, что хэш-функцию нужно подбирать по типу данных.

Re: работа мозга

[(Anonymous)]

1. Я же всего лишь пытаюсь описать процесс вспоминания, т.е. обращения к базе данных.
А я намекаю на мое сомнение в существовании такого обращения. На неадекватность подобной модели в силу убогой несравнимости с объектом.

2.Хорошо, но ты не привел контр-аргумента к моему предположению, что мостки с реальностью услужливо достраиваются нашим мозгом.
Тебе не кажется что добавлять в процесс ассоциации еще и достраивание чего-то мозгом это масло масляное - ассоциация и есть мостик к данным представленным в виде максимально оперативной выдачи с учетом и ситуационного окнтекста. Обрати внимание, что ассоциация зависит не только от того, что пытаешься вспомнить, но и _для_ кого. Никогда не замечал?

4. согласен, но только это выходит за рамки того что должна описывать модель.
смотри намек в 1.

5. Зря ругаешься - в IBM UDB есть такие механизмы. С их работой можешь ознакомится на сайте hermitage.ru

:)

Re: работа мозга

[siyuv.livejournal.com]

А я намекаю на мое сомнение в существовании такого обращения. На неадекватность подобной модели в силу убогой несравнимости с объектом. -- конечно модель грубовата, я и не спорю, но промоделировать на копмпьютере процесс вспоминания без непосредственного обращения к базе данных не представляется возможным. Разумеется наша голова сразу же принимается за интерпретацию данных и мы очень далеки от понимания как именно это происходит (на алгоритмическом уровне), а само обращение к базе данных должно быть реализовано и в голове, хотя мы и не способны его выделить, но у меня нет сомнения, что оно имеет место быть.

Тебе не кажется что добавлять в процесс ассоциации еще и достраивание чего-то мозгом это масло масляное -- не кажется. Я намеренно разделяю эти процессы. Пусть это не вполне адекватно с точки зрения физиологии, но модель она на то и модель, чтобы упрощать. Обрати внимание, что ассоциация зависит не только от того, что пытаешься вспомнить, но и _для_ кого. -- по-моему это прекрасно вписывается в мою модель. Просто контекст участвует в формировании хэш-кода. Например, если ты сидишь перед следователем и тебе очень не выгодно вспоминать какую-то информацию, то образ следователя включается в запрос и препятствует получению информации.

в IBM UDB есть такие механизмы. С их работой можешь ознакомится на сайте hermitage.ru -- сайт там большой, где конкретно смотреть?