Category: технологии

Category was added automatically. Read all entries about "технологии".

конспирология нейронных сетей

В настоящее время изучаю, что такое нейронные сети и текущее состояние поля.

Кстати, никто не видел каких-нибудь введений(видео или текст) именно с точки зрения математика, а не практика-компьютерщика.

Однако, вот что изумляет. Как известно, прорыв состоялся в 2012 году, когда пара аспирантов Хинтона (один из ведущих специалистов в области нейронных сетей последние 30 лет) настроили буквально на коленке сверточную нейроную сеть (идея ЛеКуна, но в одном из видео Хинтон сделал ремарку, что он сейчас недоволен, что все ломанулись именно в сверточные сети, хотя не пояснил почему) и выиграли конкурс по распознаванию картинок, уменьшив ошибку с 25% до 16%. В настоящее время ошибка уменьшились до 3.5%, что лучше, чем распознает человек с базой 4.5%.

Так вот нейронные сети сейчас применяются в каждом утюге, но что интересно, когда начинаешь знакомиться, с деталями, оказывается что все концептуальные идеи были предложены еще в 60-х, а все технические вещи по сути проделаны в 80-х. Но почему-то понадобилось еще 30 лет...

Вот например, идея представления слов (словосочетаний, предложений) языка как векторов и близкие по значению слова должны соответствовать близким расстояниям между векторами, тоже идет из 60-х.

Реально куда не плюнь, люди используют уже накопленную базу идей и разработок 30-50 летней давности. Возникает, вопрос а почему? Ведь получается это гигантский факап. То есть, все что появляется сейчас, могло появится 30(50) лет назад.

Вы скажете - а как же компьютерные мощности и размеченные данные. Так вот - не покупаю я этот аргумент. Сплошь и рядом оказывается, что текущие нейронные сети преспокойно тренируются на базах всего в несколько тысяч или десятков тысяч образцов, причем занимает это несколько дней современной видеокарты. Да, 30 лет назад такого не было на каждом столе. Но простите, а как же военные и государственные компьютеры. Когда говорят, что сегодняшний процессор в смартфоне эквивалентен суперкомпьютеру Крей в 1985-м я делаю вывод что на этом суперкомпьютере или кластере нейронная сетка могла тренироваться еще 30 лет назад. Нужны миллионы изображений? Во-первых, как оказывается вовсе не миллионы, во вторых, а в чем собственно проблемы при военных бюджетах современных стран. Посадить 1000 клерков размечателей и пакет в миллион размеченных фото будет готов через неделю. Вон, Байду вообще всех перехитрила, сначала введя сервис распознавания окружающего через телефон, попросту посадив 400 вьетнамцев, а потом, когда они набрали базу, заменив их нейронной сетью. 400 вьетнамцев может потянуть даже не транснациональная корпорация, а вполне средняя фирма, не говоря уже о правительственных ведомствах.

То что сейчас каждый бомж может тренировать нейронные сети транслируется, что 30 лет назад это спокойно могло делать NSA и Пентагон, и должно было делать. Но почему то не делало. И причины две: или глупость или конспирология.

Ученое сообщество же в истории выглядит великолепно - за абсолютно смешные деньги(по сути зарплаты групп Хинтона и ЛеКуна) они подарили человечеству технологии, которые уже сейчас приносят миллиарды, а в будущем будут возможно приносить триллионы. Честно, маленькое подсообщество из нескольких десятков(сотен) ученых скорее всего окупило все затраты на фундаментальную науку, сделанные в 20-м веке. Это к вопросу, а зачем она нужна, фундаментальная наука. Но на самом деле очень интересный вопрос другой - а что еще, сравнимое с нейронными сетями, пылится на полках научных библиотек? То есть сделано, но не неизвестно. И еще более интересный - сколько не было сделано, из-за "оптимизаторов работы научных бездельников".

Вики-технологии

Вопрос такой - почему не развиваются вики технологии. Не развиваются вот в каком смысле. У вики-проектов сбора информации наблюдается вполне очевидный предел качества, дальше которого ничего не идет, а только ухудшается. Причем чем более известное понятие, тем слабее соответствующая статья. При этом по узкоспециальным вопросам в виках можно нередко найти вполне неплохой и доступный обзор, но как только вопрос более общий и более народный, то там нередко вообще ничего нет толкового.

Я думаю, не я это первым заметил, но ведь проблема очевидна, не так ли. Какие методы по преодолению этого барьера предложены?

Например, я бы предложил конкуренцию статей по одной и той же теме с выделенными редакторами. То есть на одном и том же ресурсе не одна статья по теме, а несколько.

Более того, обсуждение информационного наполнения надо вынести в комментарии к статье и это обсуждение составляет с собственно статьей единое целое, а не рабочий момент. То есть, споры по вопросу гораздо более информативны для внешнего интерессанта, чем победа одной из точек зрения, даже консолидированной. Другими словами, надо не сглаживать, а наоборот заострять углы, то есть противоречия в разных точках зрения на вопрос.

Гарвард он-лайн

Такая тема. Как то давно, несколько лет назад, я видел ссылку вида: MIT выложил часть своих курсов в он-лайн, с лекциями, материалами, упражнениями, видеозаписями, ну и что-то в этом духе. Я еще не гуглил, но думаю, что оно до сих пор где-то лежит, и кроме того наверняка и другие университеты делали похожее. Так вот вопрос: и кто этим пользуется? Казалось бы, ведущий университет мира предлагает заочно приобщиться, так сказать, к источнику знаний. Налетай, торопись!

Однако я не видел ни одной ссылки вида: "а вот это объяснено в курсе MIT", или "прочитайте материалы лекций из такого-то курса". Собственно и я сам подозреваю, что не буду активным пользователем того, чего найду.

А почему так. А все просто: образовательное учереждение, даже самое плохонькое, не говоря уже о грандах, помимо собственно предоставления общения с умными людьми по заданному кругу вопросу, попутно дает искусственную мотивацию вида "пройти и сдать курс". Редким, очень редким людям удается осилить предмет, без допмотивации этого или иного рода. Вот потому Гарвард может транслировать содержание хоть всех своих лекций он-лайн, но умнее от этого остальной мир, если и станет, то очень ненамного.

Update:

http://ocw.mit.edu/index.htm

Термоядерная электростанция на взрывах

В связи с некоторыми последними дискуссиями по поводу космоса и яблонь на Марсе вспоминаются свои старые, еще школьные думы.

Вот одна из них. Термоядерная электростанция на взрывах водородных бомб.

Смысл понятен. Человечество давно (уже как почти 55 лет) овладело термоядерной энергией, однако в форме, которую она не имеет технической возможности контролировать. А именно, получается пучок энергии в несколько миллионов тонн условного топлива, и как его, спрашивается, довести до ума.

Как обуздать мегатонную бомбу? Как абсорбировать энергию от нее. Мегатонная бомба это ведь не ручная граната, а самая страшная вещь, когда-либо придуманная человеком.Collapse )