Zametki na polyah (akor168) wrote,
Zametki na polyah
akor168

Category:

Математическое: квадратичные разделители

Некоторая мелкая философия без ответов, а так мысли вслух.

В машинном обучении важное базовое понятие это линейный классификатор, который разделяет два множества линейной гиперплоскостью. То есть линейное многообразие, когда одно множество оказывается с одной стороны, а второе с другой стороны гиперплоскости.

Если не получается разделить в исходном пространстве, то мы можем попробовать перейти в пространство большей размерности, для которого исходное является подпространством, а множества проекциями некоторых других множеств, и попробовать линейно разделить уже там. Теоретически новое пространство может быть и бывает(kernel trick) даже беcконечно-мерным банаховым(то есть и норма не обязана быть евклидовой).

Так вот следующий логичный шаг: а что есть вместо линейных разделителей рассмотреть квадратичные поверхности?
Следующие же шаги: алгебраические поверхности более высокого порядка, аналитические поверхности и так далее вплоть до произвольных непрерывных.

Возникают два вопроса. Первый: насколько мы можем выиграть при переходе от линейным к квадратичным? И второй: а так ли уж много можно выиграть на следующем этапе, при переходе от квадратичным к общим нелинейным?

Другими словами, может быть на самом деле уже квадратичных разделителей достаточно для любой разумной цели(то, что произвольными нелинейными функциями можно разделить два произвольных непересекающихся замкнутых множества, это определение T-4 топологических пространств, или Лемма Урысона для метрических). Но я вот почему-то не удивился бы, если уже квадратичных поверхностей в гильбертовом пространстве было бы достаточно для всех практических целей. Нет ли случаем такого варианта типа приближенной леммы Урысона для разделения замкнутых множеств с помощью квадратичных функционалов, возможно с переходом в надпространство как при kernel trick?
Tags: deep learning, math
Subscribe

  • 3-0 vs 42-0

    To put the magnitude of the U.S. defeat in context, losing 3-0 in soccer is the equivalent of losing 42-0 in football. Реально улыбнуло, поскольку…

  • Анекдоты: полная потеря смысла при пересказе

    Знаете, когда обсуждается сложность перевода с одного языка на другой, обычно рассказывается пример с круглым столом где каждый знает языки двух…

  • полезность регулярных проф-заметок

    Терри Тао пишет аж в 2013 году(в комментах) про полезность ведения ЖЖ собственного блога, в котором можно записывать прочитанные результаты,…

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 26 comments

  • 3-0 vs 42-0

    To put the magnitude of the U.S. defeat in context, losing 3-0 in soccer is the equivalent of losing 42-0 in football. Реально улыбнуло, поскольку…

  • Анекдоты: полная потеря смысла при пересказе

    Знаете, когда обсуждается сложность перевода с одного языка на другой, обычно рассказывается пример с круглым столом где каждый знает языки двух…

  • полезность регулярных проф-заметок

    Терри Тао пишет аж в 2013 году(в комментах) про полезность ведения ЖЖ собственного блога, в котором можно записывать прочитанные результаты,…