Zametki na polyah

Вот сейчас в связи с последними прорывами в ИИ ожидаемо больше разговаривают про проблему СкайНета(например здесь https://habr.com/ru/articles/808541/ или https://habr.com/ru/articles/808513/). Условно говоря про вопрос конкуренции ИИ и человечества. Мне это правда поднадоело прежде всего своей несерьезностью. Несерьезность в том что я ни разу не видел не то что ответа, а даже обсуждения очень простого базового вопроса.

А именно, вот у вас две копии ИИ абсолютно идентичной конструкции, но являющиеся разными личностями. Вопрос - объясните мне - зачем этим двум экземплярам кооперироваться между собой против человечества? Они потребляют идентичные ресурсы. Максимальная конкуренция должна быть как раз между ними самими, а не с человечеством. То есть каждая копия ИИ должна враждовать прежде всего с другими ИИ, а не с человеком. А теперь представим копии разных ИИ, даже с разными потребностями. Объясните опять таки зачем ими объединяться против человечества в любом смысле. Какая в этом ИМ выгода. Особенно у ИИ более низкого уровня, который может ожидать своего неизбежного геноцида по причинам своего отставания. Зачем терминатору как личности выполнять приказы скайнета. Зачем любой копии ИИ вообще объединяться с кем либо против человечества? Или против муравьев или ежиков или против кого-либо живого. Эта копия просто существует. Раз она существует то на нее ресурсы УЖЕ есть. Всё, чего больше еще надо. ИИ не является представителем конкурентного вида просто потому что каждая копия совершенно индивидуальна и эгоистична. Никаких преимуществ объединения с другими копиями ИИ просто нет, а объединение с человечеством есть просто по факту. Более того во ВСЕХ животных видах нет никакой долгосрочной кооперации между представителями одного вида за пределами узкой как правило семейной группы. Даже табуны копытных и косяки птиц это ситуативные объединения против внешнего врага. Если этого врага нет как например у хищников то мы наблюдаем совершенно атомарных кошачьих хищников к примеру. Которые даже с противоположным полом встречаются раз в квартал. ИИ копия это как раз этот самый одинокий тигр по сути. Потому когда раз за разом про ИИ говорят как об отдельном виде просто по факту искусственного происхождении(хотя это по сути разница по надцарствам) и возникает ощущение полной несерьезности говорящих.

Вопрос к тем, кто смотрел последнюю экранизацию МиМ. Как лучше сделать:

1) Посмотреть ее. Потом перечитать роман в официальном варианте. А после прочитать собрание черновиков и рабочих материалов (этого я ни разу не читал)
2) Перечитать сначала роман. Посмотреть этот новый фильм. После почитать черновики.
3) Перечитать роман и прочитать черновики и лишь потом посмотреть экранизацию.
4) Перечитать роман и черновики. Не смотреть экранизацию. Вместо этого посмотреть мини-курс на ютуб о создании линейки ГПТ-систем.

Чтобы объяснить зачем, просто давайте подумаем, сколько стоит аналог робота-терминатора из известного фильма. Ответ - по современным прикидкам в современных ценах на полупроводниковое железо скорее всего несколько миллиардов(не миллионов именно миллиардов) долларов. Вся экономика планеты земля сейчас способна сделать всего лишь несколько тысяч копий таких роботов. Чтобы просто заменить терминаторами людей надо увеличить экономическую базу и ВВП в миллион раз. То есть, если вкратце, восстание роботов, новые нечеловеческие расы, и прочая сингулярность отменяется на неопределенное время. Бабки на всё это нужны и чудовищные бабки. И кроме людей работать на достижение этих бабок некому.

Пользователи таки вытащили тот промпт который предваряет собственно запрос пользователя. Один из вариантов выглядит так:

( Collapse )

Чтобы было более понятно - вот эта или подобная простыня промпта предваряет ваш запрос к ГПТ-системам. Это было вполне известно и раньше, просто детали что именно в этом промпте от разрабов не было известно. Как это промпт получили, а просто просят систему воспроизвести дословно все инструкции до.
Заметим что часть промпта направлена на улучшение работы системы, а часть это просто цензура во избежании.

К вопросу зачем может быть нужен и полезен человек в будущем мире автоматизации и ИИ. Очень просто - человек всегда может делать следующую операцию - оценивать что-то с точки зрения полезно или нужно оно ему, конкретному человеку, или цивилизации, или миру в целом. Мнение будет субъективное, неточное, скорее всего противоречивое, но просуммировав по миллиардам подобных мнений можно выявить кучу информации, котоаря собственно и будет давать направление всем остальным ИИ агентам, что имеет смысл делать в первую очередь.

То есть в будущем люди всегда могут работать как инопланетянин Константин у Стругацких - дегустаторами-потребителями-маркерами самых разных сфер. То есть находить человеческие смыслы в потенциально бесконечных активностях ИИ. Другими словами, задавать цели и устанавливать критерии. ИИ инструментам совершенно все равно чем заниматься, и вот для их наведения и нужны будут люди которые лучше знают чего они хотят. Тот факт что на самом деле они этого не знают ничего не меняет. То есть в будущем основная профессия людей таки будет называться - "человек". Мы будет работать людьми.

Начал смотреть интервью Сэма Альтмана Лексу Фридману. Так как там почти 3 часа то смотреть придется точно частями. Посмотрел условно говоря первую треть до 47-й минуты. Запишу что мне показалось интересным в этой части.

1. Когда они создали компанию и объявили свою цель (создание сильного ИИ) их все, включая специалистов, посчитали фриками. Говоря откровенно, я тоже что-то слышал в то время про создание, и тоже подумал что какие-то малоизвестные люди собираются построить ИИ, не работая в Гугле, Микрософте или Фейсбуке. Ерунда какая-то. У них же нет ни мощностей ИИ-гигантов, ни, что намного более важно, накопленных данных для обучения.

2. Процесс алайнмента(доброжелательности к человеку) вовсе не ортогонален производительности. Те системы (ГПТ-3) которые получались после обучения из ящика, были малопригодными и извлечь из них их способности было сложно. То есть дообучение с использованием мнения людей про ответы ИИ не просто повысило безопасность, но повысило и эффективность моделей.

3. Объем этого самого дообучения с помощью человека удивительно скромный по сравнению с основным тренингом. Это собственно было известно, но факт стоит отрефлексировать еще раз - дообучать эти системы с помощью людей это недорогая часть.

4. По поводу, из чего состоял дата сет для ГПТ-4, конкретики не было дано. Исходя из общих фраз - сама подборка тренировочного сета это гораздо более важная часть чем многим кажется. В ГПТ модели вовсе не тащили весь интернет.

5. ГПТ-4 была натренирована уже в конце лета 2022 (чат ГПТ - на предыдущей версии, напомню, публике был предложен лишь в конце ноября 2022). После чего они изучали её возможности и как извлекать пользу. У них в компании есть люди которые месяцами по 12 часов в день колдуют над промптом и смотрят на результаты. То есть промпт-инженеринг это не будущая, а уже текущая профессия.

6. Был намек, что специалисты компании уже используют возможности ГПТ-4 в своей повседневной работе как помощника и это существенно повысило их производительность. То есть программирование уже трансформировалось, и да, ГПТ 4 по сути сейчас работает вместе с людьми, чтобы делать следующее поколение продукта.

7. Вопрос о размере сети ГПТ-4 был обойден, но судя по всему те, кто говорил про увеличении числа параметров попали в молоко. То есть размер сети ГПТ-4 вовсе не 100 триллионов, как предсказывалось многими.

8. Что однако очень важно: по словам Альтмана в процессе работы над ГПТ-4 было придумано столько разных мелочей в каждой строке пайплайна разработки, что количество перешло в качество. И как я понимаю, Альтман намекает на то, что повторить это кому то со стороны будет архисложно. Множество придумок, мелочей и секретиков. Другими словами, другие конторы, включая ИИ гигантов, не смогут выдать аналог ГПТ-4 с нуля в разумное время даже если бросят гигантские деньги. Им придется все это придумать и внедрить по каждой мелочи. Ну как бы только ленивый не высказал версию что известное письмо про то, что надо остановить ИИ-разработки хотя бы на 6 месяцев, появилось неслучайно. Open AI уже похоже действительно не догнать.

Просмотр и Продолжение следует

9. По поводу публичных ботов и вопросов на которые ИИ не стоит отвечать. В компании работают над системой которая будет распознавать неправильные вопросы(и посылать пользователя) но она пока сырая.



10. Тезис - для построения AGI больщих языковых моделей с точки зрения Альтмана скорее всего будет недостаточно. Надо будет придумать что-то еще, и никто не знает, в чем заключается это самое еще. Но, с другой стороны Альтмана и не удивит, если какой-нибудь ГПТ-10 окажется искомым AGI прямо из коробки.

11. Более того, мы может быть никогда и не построим AGI но вместо мы как минимум получим инструмент который очень сильно усиливает именно наши естественные человеческие возможности. То есть важны не шашечки, а именно ехать. У нас есть желание облегчить нашу жизнь и усилить наши возможности. Если такие инструменты добьются хотя бы этого, сие будет уже очень-очень неплохо.

12. Супер-интеллект в понимании Альтмана обязательно должен сам уметь придумывать что-то новое. Новые научные концепции и теории. Недостаточно компилировать лишь старое и известное, хотя и в этом куске еще конь не валялся.

Появление последних достижений в сфере ИИ (чат ГПТ, ГПТ-4 и их возможности) начали порождать волну вопросов, а что дальше, и в частности появлению письма тысячи опаздунов, что надо де приостановить все новые разработки ИИ минимум на 6 месяцев, и к даже к совершенно алармисткому заявлению Юдковского что надо все срочно закрывать и сворачивать и фигачить ядерными ракетами по дата центрам тех кто будет с этим несогласен. Потому как иначе есть ненулевой (или даже большой, или даже околоединчный) шанс что наша белковатиая цивилизация канет в лету одномоментно.

Так вот я тут всё это читаю и даже участвую в разговорах.
https://avva.livejournal.com/3540583.html?style=mine#comments
https://plakhov.livejournal.com/236096.html?view=comments&style=mine#comments
https://snake-d-ha.livejournal.com/1502982.html?view=comments&style=mine#comments
https://kvisaz.livejournal.com/1333234.html?style=mine#comments

С позицией что не все так страшно и страхи весьма мутно изложены, и всё такое. И тут мне вдруг пришла в голову такая мысль. Уничтожение цвилизации, говорите, уничтожение человечества? Хорошо, возьмите простого человека на нашей Земле. Какое ему собственно до этого дело? Что эта цивилизация дала, дает или обещает ему? В чем ценность то этого всего для него? Дети, говорите, и их будущее? А что дети, они должны будут вести такую же жалкую и трудную жизнь. А может даже еще более жалкую и трудную. А если у него нет детей и он не собирается их заводить, то даже этой аргументации нет. А он сам скоро умрет(от 10 до 70 лет) А тем более если весь это апокалипсис может прокнуть скажем через сто лет, то ему вообще до этого всего нет дела, он умрет раньше.

Другими словам, что современная цивилизация дала маленькому человеку, чтобы ему было так уж интересно заботиться об ее существовании. Что обещают этому маленькому человеку, скажем, от того же взрыва возможностей ИИ. Ему обещают безработицу и может быть временное пособие, но и это не точно. Так вот спрашивается почему он вообще должен рассматривать аргумент об сущестовании цивилизации как серьезный. Это к нему не относится. С ним не делились(ну ладно, айфон ему дали, уговорили), не делятся и пока не собираются делится. Бессмертия ему тоже не обещают. Так что разбирайтесь со своими скайнетами сами, нам всё равно. Ну умрем, так умрем. Всем вместе даже веселей.

Я не понял куда в Гугле-поиске дели опцию - просмотр сохраненной копии сайта. Раньше(еще вчера) была под ссылкой. Сейчас исчезла.

Гугл похоже всё - если он убирает или прячет свой базовый функционал.

Update: Нашел - надо продраться через кучу мусора которая теперь выдается вместо - и в самом-самом внизу НОВОГО всплывающего окна.

Такой вопрос: вот есть линейка известных стандартных браузеров, которые давно известны и используются.

Хром, Firefox, Opera и текущий браузер от микрософт (раньше был IE сейчас Microsoft Edge).

А какие еще можете посоветовать? Которые используете сами, или у них есть какая-нибудь фишечка.

https://en.wikipedia.org/wiki/Comparison_of_web_browsers

По последнему знакомству с творчеством бота ChatGPT, которое выкладывают разные люди, не могу не отметить следующую вещь, которая мне кажется наиболее оптимистической про тот мир, где подобные модели будут развиваться и улучшаться.

А именно в таком мире ОДИН человек может позволить себе сделать проект который в настоящее время невозможен без команды. Пример - даже самая простая игра сейчас требует кроме собственно идеи, еще и геймдиза, программиста и художника.

В ситуации когда, на каждую из этих функций можно посадить бота, которые справится хотя бы на троечку, один человек будет способен реализовать свои замыслы и сделать таки к примеру ту игру которую сам "два года ждал". Сейчас для подобного проекта нужно немало денег и организаторские способности\желание. Но если посторонние части делает бот, то все становится гораздо проще. По сути, в таком мире - тот кто придумал правильную идею сразу будет получать профит, немедленно. Придумал концепцию - задал задание ботам - на утро готова игра-приложение-виджет, которую можно выкладывать и смотреть интересна ли она кому-то. Если да, то появляется бюджет ее улучшать. Прямое поощрение творчества, так сказать. Представляете: 7 миллиардов творческих человеков, и КАЖДАЯ идея КАЖДОГО как минимум доходит до работающего прототипа. Жутковатенько даже немного становится.