Zametki na polyah (akor168) wrote,
Zametki na polyah
akor168

Categories:

конспирология нейронных сетей

В настоящее время изучаю, что такое нейронные сети и текущее состояние поля.

Кстати, никто не видел каких-нибудь введений(видео или текст) именно с точки зрения математика, а не практика-компьютерщика.

Однако, вот что изумляет. Как известно, прорыв состоялся в 2012 году, когда пара аспирантов Хинтона (один из ведущих специалистов в области нейронных сетей последние 30 лет) настроили буквально на коленке сверточную нейроную сеть (идея ЛеКуна, но в одном из видео Хинтон сделал ремарку, что он сейчас недоволен, что все ломанулись именно в сверточные сети, хотя не пояснил почему) и выиграли конкурс по распознаванию картинок, уменьшив ошибку с 25% до 16%. В настоящее время ошибка уменьшились до 3.5%, что лучше, чем распознает человек с базой 4.5%.

Так вот нейронные сети сейчас применяются в каждом утюге, но что интересно, когда начинаешь знакомиться, с деталями, оказывается что все концептуальные идеи были предложены еще в 60-х, а все технические вещи по сути проделаны в 80-х. Но почему-то понадобилось еще 30 лет...

Вот например, идея представления слов (словосочетаний, предложений) языка как векторов и близкие по значению слова должны соответствовать близким расстояниям между векторами, тоже идет из 60-х.

Реально куда не плюнь, люди используют уже накопленную базу идей и разработок 30-50 летней давности. Возникает, вопрос а почему? Ведь получается это гигантский факап. То есть, все что появляется сейчас, могло появится 30(50) лет назад.

Вы скажете - а как же компьютерные мощности и размеченные данные. Так вот - не покупаю я этот аргумент. Сплошь и рядом оказывается, что текущие нейронные сети преспокойно тренируются на базах всего в несколько тысяч или десятков тысяч образцов, причем занимает это несколько дней современной видеокарты. Да, 30 лет назад такого не было на каждом столе. Но простите, а как же военные и государственные компьютеры. Когда говорят, что сегодняшний процессор в смартфоне эквивалентен суперкомпьютеру Крей в 1985-м я делаю вывод что на этом суперкомпьютере или кластере нейронная сетка могла тренироваться еще 30 лет назад. Нужны миллионы изображений? Во-первых, как оказывается вовсе не миллионы, во вторых, а в чем собственно проблемы при военных бюджетах современных стран. Посадить 1000 клерков размечателей и пакет в миллион размеченных фото будет готов через неделю. Вон, Байду вообще всех перехитрила, сначала введя сервис распознавания окружающего через телефон, попросту посадив 400 вьетнамцев, а потом, когда они набрали базу, заменив их нейронной сетью. 400 вьетнамцев может потянуть даже не транснациональная корпорация, а вполне средняя фирма, не говоря уже о правительственных ведомствах.

То что сейчас каждый бомж может тренировать нейронные сети транслируется, что 30 лет назад это спокойно могло делать NSA и Пентагон, и должно было делать. Но почему то не делало. И причины две: или глупость или конспирология.

Ученое сообщество же в истории выглядит великолепно - за абсолютно смешные деньги(по сути зарплаты групп Хинтона и ЛеКуна) они подарили человечеству технологии, которые уже сейчас приносят миллиарды, а в будущем будут возможно приносить триллионы. Честно, маленькое подсообщество из нескольких десятков(сотен) ученых скорее всего окупило все затраты на фундаментальную науку, сделанные в 20-м веке. Это к вопросу, а зачем она нужна, фундаментальная наука. Но на самом деле очень интересный вопрос другой - а что еще, сравнимое с нейронными сетями, пылится на полках научных библиотек? То есть сделано, но не неизвестно. И еще более интересный - сколько не было сделано, из-за "оптимизаторов работы научных бездельников".
Subscribe

  • 3-0 vs 42-0

    To put the magnitude of the U.S. defeat in context, losing 3-0 in soccer is the equivalent of losing 42-0 in football. Реально улыбнуло, поскольку…

  • Анекдоты: полная потеря смысла при пересказе

    Знаете, когда обсуждается сложность перевода с одного языка на другой, обычно рассказывается пример с круглым столом где каждый знает языки двух…

  • полезность регулярных проф-заметок

    Терри Тао пишет аж в 2013 году(в комментах) про полезность ведения ЖЖ собственного блога, в котором можно записывать прочитанные результаты,…

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 28 comments

  • 3-0 vs 42-0

    To put the magnitude of the U.S. defeat in context, losing 3-0 in soccer is the equivalent of losing 42-0 in football. Реально улыбнуло, поскольку…

  • Анекдоты: полная потеря смысла при пересказе

    Знаете, когда обсуждается сложность перевода с одного языка на другой, обычно рассказывается пример с круглым столом где каждый знает языки двух…

  • полезность регулярных проф-заметок

    Терри Тао пишет аж в 2013 году(в комментах) про полезность ведения ЖЖ собственного блога, в котором можно записывать прочитанные результаты,…