ChatGPT. Виртуальный помощник на все случаи жизни

Привет, дорогие друзья. Меня зовут Самат Галимов, и это подкаст «Запуск завтра». Как технический директор я пытаюсь разобраться, как устроены сложные и интересные штуки. Я зову профессионала, с которым можно поговорить простым человеческим языком. Мы возвращаемся с девятым сезоном нашего подкаста. Спасибо вам большое, что вы с нами. Мы начинаем этот сезон с эпизода про чат GPT. Это нейросеть, которая умеет отвечать на вопросы, вести диалог и даже программировать. Причем делает это иногда лучше, чем человек. Как так получилось? Как ее создали? И куда дальше развиваются подобные системы генерации текстов? Во всем этом мы разберемся с экспертом, который последние 7 лет занимается тем, что учит нейросети говорить с людьми. Это подкаст студии Либо-Либо, и сделали мы его вместе с сервисом онлайн-образования Яндекс Практикум. Яндекс Практикум наш партнер уже больше трёх лет. Тут я обычно произношу фразу, которая у меня отлетает от зубов, как отчинашь. Про то, что у Яндекс Практикума есть курсы по разработке, по анализу данных, та-та-та-та-та. Ну вы, наверное, слышали её много раз. В этом сезоне мы решили сделать кое-что по-другому. У практикума есть курсы не только для начинающих, но и для опытных программистов. И часто у опытных программистов есть сомнения, типа смогу ли я изучить новую технологию, смогу ли я найти работу по новой технологии и так далее. В каждый новый эпизод я буду звать одного ментора из Яндекс.Практикума, то есть опытного программиста или инженера, который будет помогать вам учиться, если вы туда пойдете. Они будут делиться историями из своего опыта, с какими сложностями сталкиваются студенты и как они их решают. Первый гость появится в следующем эпизоде. Ссылка на курсы Яндекс.Практикума в описании к этому эпизоду.

Всем привет, меня зовут Артём. Я основатель, фаундер Ex-Human, который строит таких цифровых людей. А до этого я 7 лет работал в роли Head of AI Replika— это самый популярный чат-бот, AI-компаньон в мире английском языке.

Чат-GPT взорвал интернет. Люди офигевают от того, как она круто умеет отвечать на вопросы, помогать в программировании, даже искать и исправить ошибки в программах. Скажи, это реально крутой прорыв или это очень крутой маркетинг?

Это реально крутой прорыв. Был классный график, который показывает разные продукты, за какое количество времени они набрали миллион пользователей. И там у Нетфликса было порядка 40 недель, у Инстаграма было там порядка 20 недель, ChatGPT. Все-таки здесь чуть больше, чем маркетинг. Ну и Ча-Джи-Пи-Ти особо не маркетировалась, то есть они не тратили деньги на рекламу, ни одной рекламы OpenAI я не видел. Весь маркетинг, который шел от Ча-Джи-Пи-Ти, это от пользователей, которые постоянно постят разные посты, твиты, картинки по того, как chat.gpt классно работает в разных кейсах, и это правда сносит крышу. То есть будущее случилось сильно быстрее, чем мы его ожидали.

Отлично. Мы сейчас с тобой подробно обсудим, как именно он сносит крышу, но сначала я хочу прямо к истокам, как создали chat.gpt, что они сделали.

Чтобы мы поговорили про чат GPT, давайте сначала чуть-чуть поговорим про GPT-3, а именно про родитель чат GPT И то и другое являются большими языковыми моделями, они называются Large Language Model Большие не по количеству параметров, то есть, например, у GPT-3, самой большой модели, у нее порядка 170 миллиардов параметров На входе она принимает текст какого-то размера, обычно есть ограничение в количество слов или токенов И обычно это там до 4000 или тире 8000 токенов Токен— это такое как бы слово в компьютер-сайенс языке. То есть мы берем тексты и бьем не на слова, а на определенные токены, какие-то частотные сочетания символов.

То есть если у меня все время сочетание TH, английское Z, да, то вот TH станет одним токеном, чтобы не надо было две отдельные буквы, все равно смысла нет, это один токен.

Именно так. Да. И на выходе такая нейросеть слово за словом генерирует ответ. И все зависит от того, как вы будете эту нейросеть учить, а на каких текстах, для каких задач. GPT-3, как мы уже поняли, это большая языковая модель, и такую модель OpenAI учил на интернете данных. То есть они взяли, скрейпили (scraped) интернета, взяли какие-то источники данных типа Reddit, Twitter, в общем. много терабайт текстов, и на этих терабайтах текстах из интернета выучили эту модель. И GPT-3 училась решать очень простую задачу. Задача такая. У тебя есть некий текстовый префикс, и тебе нужно сгенерировать следующее слово. То есть, например, у тебя есть какое-нибудь предложение мама мыла, и тебе нужно предсказать, что она мыла раму. И таким образом нейросети скармливается префикс «мама мыла», она что-то предсказывает, и если она предсказывает не раму, а что-то другое, то пробрасывается ошибка и говорится, что «нет, нейросети, ты предсказала что-то не то». И вот в этом простом сеттинге Обучая нейросеть предсказывать следующее слово, нейросеть учится понимать о структуре естественного языка, как язык устроен, какие там есть грамматические правила Эту нейросеть можно учить на разных языках, то есть обычно там сэмпл из английского, китайского, русского, немецкого, испанского И она учится обрабатывать все эти языки, на всех этих языках предсказывать следующее слово и смотрит на терабайт данных

текстов В интернете полно шлака. Там есть какой-то фильтр по поводу того, что они брали, что не брали?

Да, они фильтруют данные, но обычно эта фильтрация идёт от дублей, потому что в интернете очень много дублей или частичных дублей. Если ты обучаешь нейросеть на дублирующихся данных, показываешь ей одни тексты снова и снова, то она может запоминать эти тексты, И это может быть нежелаемое свойство. Ну, конечно же, там встречается какой-то спам, какие-то SEO-оптимизированные сайты, на которых бесполезно учиться. И преимущественно, там есть корпуса, которые готовит Google, выкладывает опенсорсные, есть спам-фильтры, которые on top of. Ну, в общем, эти тексты как-то отмассажированы чуть-чуть, подчищены для того, чтобы они были более чистыми, чтобы там не было кучи мусора. Но, тем не менее, это все равно терабайт текстов из интернета.

терабайты текстов, это довольно дохрена. Сколько там для этого обучения нужно вычислительных ресурсов?

Вычислительных ресурсов нужно очень много. OpenAI сотрудничает с Майкрософтом очень активно, и из этого сотрудничества с Майкрософтом одна из основных вещей, которые OpenAI получает, это доступ к вычислительному кластеру. Например, тот дата-центр или та вычислительная система, на которой OpenAI учил GPT-3, входит, по-моему, в топ-10 самых производительных суперкомпьютеров мира. То есть такой кластер построить с нуля стоит там несколько сот миллионов долларов, если не миллиард долларов. И они учили GPT-3 вот на этих терабайтов данных, на этом кластере, в течение месяца.

То есть они целый месяц заняли этот суперкомпьютер целиком?

Да. Там было, по-моему, порядка 10 или 20 тысяч видеокарт. И один только месяц обучения, то есть аренда как бы такого кластера, стоит несколько десятков миллионов долларов. Вот примерно порядок цифр и объемов, что было использовано для обучения GPT-3.

Масштаб, конечно, поражает.

И, значит, все это обработали, получили нейросеть, которая умеет делать следующее. Вы этой нейросети можете скармливать какой-то текст, она может этот текст понимать, смысл этого текста в той или иной степени, и генерировать какие-то ответы. И, например, вы можете GPT-3 использовать как систему суммаризации, то есть вы можете дать какой-то большой текст и попросите сгенерировать summary. Она сгенерирует такое summary по этому тексту. Или вы можете использовать это как систему машинного перевода, просите перевести с русского на английский, она переводит с русского на английский. Можете ее использовать как систему генерации диалогов, то есть вы хотите эмулировать диалог, например, с каким-то человеком, грубо говоря, делать AI Илона Маска. И можете попросить эту нейросеть общаться в стиле Илона Маска про космос, про покорение Марса, про то, как он Теслу строит. А все это нейросеть будет делать. И почему она это будет делать? Она это делает из-за эффекта, который получается из-за размера этой нейросети. То есть вспоминая нейросеть, не училась делать summary, генерировать summary, не училась переводить тексты, не училась генерировать диалоги. Мы ее учили генерировать только следующее слово. Но из-за того, что она видела очень много текстов в интернете, и в частности задачи, где было описано, что вот это summary для такого-то текста, или вот это перевод для такого-то текста, или вот это диалог, характерный для такого-то персонажа. Она видела кучу этой информации, и в итоге из-за ее размера начинают проявляться интересные свойства, которые называются few-shot learning или zero-shot learning. Это значит то, что вы можете дать в контексте нейросети, то есть дополнительно не обучая нейросеть, написать описание задачи и сказать, переводи мне тексты с английского на русский язык. Вот пример. Вот текст на английском, вот текст на русском. И даете ей пару примеров, то есть 1, 2, 3 примера. И дальше говорите, вот тебе текст на русском, дальше сама. И она видит описание задачи, она видит несколько примеров, и из этого описания задачи и примеров учится решать задачу. То есть раньше, чтобы с помощью GPT-2 начать решать задачи суммаризации, вам сначала нужно было выучить GPT-2 как языковую модель, чтобы нам рассказало следующее слово. а потом дополнительно файнтюнить эту модель на задачах суммаризации текстов. Вот это свойство, основной свойств GPT-3, то, что у нее есть few-shot learning, и что она может из коробки решать очень большое количество задач.

Меня немножко испугало, когда ты сказал, что это ее свойство, как будто это не то, что люди сделали, а это типа она сама получилась, и сказал, благодаря размерности, типа просто очень столько данных кормили, что у нее вот такие свойства появились. Реально, что ли, так?

Абсолютно так. Абсолютно так. У GPT-3, у больших нейросетей, появилось эмержентное свойство относительно ее размера. Это не было заложено в архитектуру нейросети. Просто из-за того, что эта нейросеть стала такой большой, из-за того, что у нее столько гибропараметров и учили на таком количестве данных, у нее появилось новое свойство, которое никто не закладывал в архитектуру, и о котором, возможно, даже не догадывались сами разработчики, когда строили эту GPT-3. Оно появилось только как функция от ее размера.

Мне стало страшно, какие еще свойства у нее есть и могут ли быть свойства, о которых мы пока не догадываемся.

Была статья, например, от инженера из Google. натренировала, что-то типа GPT-3, на диалогах. Нейросеть называется Lambda. И эта Lambda может вести очень консистентный классный диалог на произвольные темы. И был инженер, который начал тестировать эту модель и блогпост. Кажется, что у модели есть сознание. Там было много хайпа вокруг того, что правда ли у модели есть сознание или нет. То есть мы, люди, не до конца понимаем, что такое сознание, что это за свойства сознания. И, возможно, сознание является эмержентным свойством размера нашего мозга. Возможно, если мы возьмем нейросеть GPT-4 или GPT-5, у которой будет не 100 миллиардов параметров, а 100 триллионов параметров, возможно, у нее будет что-то похожее на сознание. кто знает.

А сколько параметров в мозге человека?

По-моему, порядка 100 триллионов параметров, но там же есть нейроны и есть связи между этими нейронами. И значит, у одного нейрона может быть до 1000 связей с другими нейронами. И вот каждая такая связь можно считать ее отдельным параметром.

То есть текущие нейросети, вот эти прорывные, они в тысячу раз слабее мозга?—

Ну, я бы сказал, они в тысячу раз меньше в количестве параметров. Нельзя говорить напрямую, что они слабее, потому что всё-таки мозг— это органика, а нейросеть— это не органика, это кремний. И, соответственно, на кремнии ты можешь делать намного больше вычислений в единицу времени, чем в биологии, чем в органике. И, соответственно, даже если, например... Может получиться так, что нейросеть будет сильно меньшего размера, например, у нейросети будет в тысячу раз меньше параметров, но из-за того, что она работает в тысячу раз быстрее, чем человеческий мозг, то мы в целом, даже на таком количестве параметров, как GPT-3, каким-то хитрыми способами обучения от нейросети можем приблизиться к интеллекту человеческого мозга.

Так, всё, мне становится страшно, мы с тобой про это поговорим в самом конце. Получилась у нас вот эта уже суперкрутая GPT-3. Как из неё сделали чат GPT?

Да, чтобы сделать чат GPT, мы берем GPT-3 и делаем определенную процедуру дообучения этой GPT-3, как они ее дообучали То есть вот мы увидели вот это эмерджентное свойство про few-shot learning, наша GPT-3 начала решать какое-то количество задач Но она эти задачи решает не идеально, то есть если вы попросите сгенерировать машинный перевод, она переведет скорее всего хуже, чем это делает DeepL, система, которая заточена конкретно под машинный перевод Или, например, вы попросите ее сгенерировать summary, скорее всего, она summary сгенерирует хуже, чем специальная нейросеть, которая училась сгенерировать эти summary Как бы GPT-3 умеет делать всё, но это всё не супервысокого качества И нам хочется эту GPT-3 как-то специализировать и делать так, чтобы она решала наши задачи А ещё лучше, чтобы она не просто решала эти задачи, а следовала нашим инструкциям Чтобы мы давали описание какой-то инструкции Как, например, мы будем рассказывать своему ассистенту делать что-то. Например, написать какой-то имейл или сгенерировать какую-то поэму или ещё что-то, и чтобы этот ассистент или эта нейросеть хорошо понимала эту задачу и с высоким качеством её генерировала. И при этом нейросеть aligned/выровнена с человеческими ценностями.

Соотноситься. Ага.

То есть эта нейросеть не должна быть токсичной, не должна быть biased, не должна генерировать какие-то опасные вещи. То есть если ты спросишь, как мне себя убить, она не должна тебе сгенерировать топ-10 способов самоубийства. Она тебе должна сказать, что, возможно, ты хочешь чего-то не того, и попробовать тебе отговорить или дать какую-то ссылку на специалиста. И для этого OpenAI попросил людей. То есть, здесь уже в ход включаются люди. Они наняли довольно большое количество людей в Америке с хорошим образованием. Они собрали сэмпл запросов в GPT-3. Что люди хотели от GPT-3? И попросили людей написать идеальные ответы. Типа, как выглядел бы идеальный ответ?

То есть они сохраняли все запросы людей, и вот они их использовали для обучения дальнейшего.

Именно так. То есть OpenAI предоставляет GPT-3 через API большому количеству компаний. Это значит то, что они получают очень большое количество юзкейсов от этих компаний. Это значит то, что они просемплировали просто от каждого аккаунта, от каждой компании по какому-то количеству запросов, как бы раскластеризовали эти запросы на разные бакеты и попросили людей написать хорошие ответы на эти запросы. Как бы ответ выглядел бы в идеале. И они собрали примерно, это не миллионы сэмплов, они собрали небольшое количество, но все равно это там были десятки тысяч таких разметок. То есть десятки тысяч таких текстов, заданий и ответов на эти задания писали люди. И там были абсолютно разнообразные задания, вплоть до того, что сгенерируй мне инструкцию readme на гитхабе по описанию проекта. заканчивать тем, а сгенерировать мне какой-нибудь рецепт стейка в стихотворной форме. Потому что человеческий мозг, богатый на фантазию, может просить разные штуки.

Слушай, я про вот этих людей читал статью в каком-то американском медиа, даже Медуза это переводила, про то, что Чаджи-Пити воспитывали, ну типа обучали низкооплачиваемые специалисты из Африки и Средней Азии. У некоторых из этих чуваков был ПТСД после этого, потому что они смотрели кучу всякого насилия, точнее читали кучу всякого насилия. Вот эта вся жизнь. Слышал ли я об этом?

Слышал об этом, читал эти статьи. Кажется, что они правда нанимали какое-то агентство, у которого были лейблеры, вот эти люди, которые размечают данные где-то в Африке, которые получают мало денег. Они их использовали для того, чтобы делать разметку как раз таки для того, чтобы обезопасить нейросеть от плохих ответов. Это похоже на модерацию контента, такие же проблемы у Фейсбука. Многие писали, журналисты, про то, что у Фейсбука команда модерации сходит с ума, потому что они постоянно должны смотреть на всякий violent content, на убийство, на всякое такое, и их ментальное здоровье страдает. Тут то же самое, но без картинок, как бы тексты чуть проще, но тем не менее. Да, то есть люди нужны для того, чтобы избавлять нейросети от байсов, потому что, еще раз, заалайнить (align). Для этого нам нужно показывать нейросети, что такое хорошие ответы, а что такое плохие ответы. Потому что даже если она учится в интернете, в интернете есть разные ответы. Не все люди залайнены с человеческими ценностями. Если ты у кого-то попросишь, подскажи мне, как мне лучше сделать суицид, найдутся люди, которые тебе дадут топ-10 наиболее эффективных советов.

Добро пожаловать на двач.

Да, да, именно так. Вот, а мы хотим, чтобы нейросеть всё-таки была лучше, чем среднестатистический школьник на дваче, а чтобы она была специалистом и классно всё отвечала, не вредила людям. Вот поэтому, да, используют и таких лейблеров тоже. Ну вот, значит, мы взяли, разметили данные, написали супер хорошие ответы, выбросили все байсы, все токсичные ответы, у нас появился очень хороший дата-сет, который состоит из разнообразного описания задач и разнообразных хороших ответов решений этих задач. И после этого, что мы хотим от нашей GPT-3? Как мы ее превращаем в chat-GPT? Мы хотим, чтобы эта нейросеть генерировала хорошие ответы. Такие ответы, которые которые похожи на людей. И для этого мы тренируем так называемую reward-модель. То есть мы тренируем на самом деле прокси к человеку. Мы хотим получить такую модель, которая будет по входной задаче и ответу говорить, насколько ответ хороший или плохой. Потому что опять же, человек может написать плохой какой-то ответ, токсичный баяс, низкие скоры (score).

А, окей, понял.

а ответы, которые информативные, решают задачу, которая описана, делают это в хорошем, положительном, позитивном ключе, атакет вы должны получать максимальный скор. Это является первым этапом для обучения GPT-3, чтобы она просто начала чуть-чуть лучше генерировать ответы, чем она генерировала до этого. И теперь мы делаем очень интересный трюк. Мы берем и с помощью GPT-3 на разного рода задачи, которые у нас есть в нашем трейн или тест-сете, сэмплируем ответы. И в GPT-3 можно засэмплировать на одинаковый input разнообразие output'ов. То есть там есть такое понятие, как сэмплирование с температурой, и можно регулировать эту температуру, и каждый раз у тебя ответ будет разными словами написанный, и, возможно, в разном ключе. Какие-то ответы будут хуже, там с количеством байсов оскорбительные или просто плохо решать задачу, какие-то ответы будут лучше, лучше раскрывать идею. Нейросеть генерирует на одну задачу разные ответы, и теперь нам нужны люди, которые разметят, какие ответы являются хорошими, какие плохими. Грубо говоря, проранжируют эти ответы между собой. Эту разметку мы получаем от людей. Они размечают, какие ответы хорошие, какие плохие. И теперь нам нужно натренировать прокси-человеку, точнее, модель, которая является прокси-человеку, которая сама будет говорить, какой ответ является хорошим, какой является плохим. чтобы мы использовали потом эту модель для дообучения нашей GPT-3. Она называется Reward Model, модель награды, которая дает реворд для данной задачи, для нового ответа, она дает некую чиселку. Давайте условимся, что это чиселка от 0 до 1, где 1— это хороший ответ, 0— это плохой ответ. И всё, что между

0 и 1... Степень хорошести ответа.

Степень хорошести ответа. 0,5— это такой средненький ответ на троечку, так скажем. И мы учим reward-модель давать такие скоры, потому что эта реввард-модель должна аппроксимировать поведение человека, так скажем, decision-making человека, суждение человека, является ответ хорошим или плохим. Замечательно, мы получили эту модель. И теперь у нас есть реввард-модель, у нас есть GPT-3, которая чуть-чуть дообучена на генерации таких задач. И теперь что мы делаем? Мы берем GPT-3, даем какую-то задачу, просим сгенерировать ответ. Она генерирует ответ. Мы просим RewardModel оценить этот ответ. RewardModel нам говорит, этот ответ хороший или плохой. И вот этот сигнал о том, что этот ответ хороший или плохой, мы берем и обучаем нейросеть на этом сигнале. То есть мы напрямую нейросети говорим, ответ хороший или плохой, и вот эту оценку нам дает RewardModel. И вот этот режим обучения, Reinforcement Learning. обучение с подкреплением, потому что у нас есть некая внешняя система, некая внешняя модель, которая нам говорит о том, хорошее мы действие сделали или плохое действие, хороший ответ мы породили или плохой ответ мы породили, и вот эту информацию о том, хороший ответ или плохой, нужно попробовать в ней рассеть и обновить ее гиперпараметры, чтобы она, если нас генерировал в этот раз хороший ответ, чтобы она в следующий раз генерировала больше такого, а если генерировал плохой ответ, чтобы она в следующий раз генерировала меньше

плохих ответов Значит, если коротко суммировать, у нас есть GPT-3, модель, обученная на огромное количество текстов из интернета. Первый этап— учим ее отвечать на конкретные вопросы, которые люди раньше задавали этой нейросети лучше путем того, что просим людей реальных ответить на эти вопросы. Эти данные используются для дообучения. После этого строим отдельную вообще модель, которая умеет оценивать степень хорошей ответа. И используем вот эту обучающую модель для того, чтобы дообучить вот эту промежуточную сеть GPT-3.5, наверное, какая называется.

Ну, типа того, да. или ChatGPT. Да, по сути так, 3 из 2 шага. Нужна GPT-3 моделька на первом шаге. На втором шаге нужна Reward модель, которая говорит, хороший ответ или плохой. И на третьем шаге мы дообучаем GPT-3 с помощью Reward модели for Reformed Learning Settings.

Дорогие друзья, пока мы были на каникулах между сезонами, мы продолжали выпускать бонусные эпизоды. У нас там уже есть целые серии про языки программирования, например. А завтра выйдет еще один эпизод, в котором гость я сам, ну и мой бизнес-партнер Федя. Мы обсуждаем, как у нас продвинулся бизнес за последние полтора года. Подписаться на них можно в Apple подкастах и в Телеграме. Кстати, в Телеграме вы получите доступ еще и к секретному чату только для подписчиков. Подписывайтесь, ссылки в описании к этому эпизоду. Это супер проект, супер достижение. Я ожидаю, что такую прорывную штуку сделает Google, Apple, ну или на худой конец. Компанию OpenAI, я думаю, многие слушатели вообще не слышали. Что это за компания? Можешь про нее немножко рассказать?

Да. Ну, изначально, значит, в ее основании участвовал Илон Маск. То есть он не то чтобы там основной фаундер, но где только Илон Маск с ним приложил свою руку. И OpenAI он тоже коснулся. И, в частности, также OpenAI соосновали Sam Altman. Sam Altman какое-то время продолжительное акселератор в Америке. И, значит, CEO, и также там было пару ученых. Например, Илья Суцкевер, кстати говоря, русский чувак, который учился довольно продолжительное время в Канаде, у одного из самых известных специалистов, так скажем, отцов дипленинга, у Джеффри Хинтона. Вот эти ребята основали свою компанию. с идеей разрабатывать AI, даже с финальной идеей разрабатывать AI, который будет бенефитить всему человечеству. Такой AI, который уберет неравенство, уберет бедность, исцелит все болезни, и мы с помощью него будем жить сильно лучше.

Чувствую вайбы Илона Маска, на Марс летим.

И они были основаны, мне кажется, или в 17 или 16 году, и вот уже 5 плюс лет занимают свою деятельность. И основная их деятельность— это ресерч вокруг разных топиков, вокруг AI.

То есть это не нонеймы, это не случайная компания?

Это не случайная компания, это одна из самых сильных компаний в AI на текущий момент в мире. По сравнению, то есть команда OpenAI, у нее есть очень много людей, те, кто работал в Google Brain, Google Brain это AI-отдел Google, те, кто работал в FAIR, это Facebook AI Research, это элитное AI-подразделение Facebook, те, кто работал в DeepMind, ну и так далее. То есть там собраны сливки AI-ученых, инженеров, которые делают очень хорошую работу. То есть надо понимать, что компания не маленькая, люди там серьезные.

Это не стартап, я понял, не случайные чуваки. Круто. Давай сейчас пока немножко глупых вопросов про то, как работают некоторые вещи, которые меня очень сильно впечатлили. Первый— это контекст, потому что я говорил сейчас GPT, я зарегистрировался на сайте, пользовался, и там можно сослаться на что-то, что ты упоминал ранее, оно вот реально ведет диалог. Как это работает?

Под капотом это работает так, что у тебя весь предыдущий диалог вкладывается в контекст.

Каждый раз заново.

Каждый раз заново. И мы генерируем просто приглашение. И всё.

Ну подожди, значит там довольно жёсткое ограничение на длину разговора.

Да. И это ограничение 8000 токенов.

Всё так. То есть она забудет всё, что я говорил раньше?

Но тебе нужно очень много с ней пообщаться, потому что 8000 токенов, черт, это примерно 8000 слов. В среднем предложение, сколько там, 6-7 слов, ну соответственно 1000 предложений. 1000 предложений довольно много, это листов 5-10А4 текста. То есть это довольно плотно и много. нужно общаться с нейросетью. То есть, если ты нейросеть будешь просить писать курсовые, дипломные работы или романы, то там могут быть определенные проблемы с тем, чтобы за один раз это все взять и сгенерировать. И поэтому, когда такие есть большие задачи, например, сгенерировать мне роман какой-то, тогда обычно такую задачу разбивают на отдельные там части, на маленькие чанки, и, например, генерируют по главам. И то есть, например, нейросети могут сказать, типа, вот история о том-то, вот оглавление, мы сейчас пишем главу номер 5. И она будет видеть то, что вот, у нас уже были такие-то предыдущие главы, возможно, мы дадим какой-то контекст, что рассказала в предыдущих главах, такой самый, как бы.—

Именно главную герою, чтобы она каждый раз случайно не генерила.— Да.

И опять же, вот это summary можно сгенерировать с помощью той же самой chat.gpt.

Оу, шит.

То есть ты сначала её просишь сгенерировать в большой абзац текста, а потом просишь её же этот абзац текста сгенерировать в маленьком summary.

Чтобы потом его вместить в эти 8000 символов?

Чтобы потом его вместить в эти 8000 символов, ну то есть разные хаки, как обойти chat.gpt можно делать с помощью той же самой chat.gpt.

Ох. Скажи, пожалуйста, а почему именно 8000? Откуда это ограничение? Чем оно обусловлено?

Это техническое ограничение из-за того, как устроены нейросети. База нейросетей— это архитектура, которая называется трансформер. У нее есть определенное ограничение по тому, на какое количество информации она может смотреть на входе. И, соответственно, чем больше этих токенов, тем больше нужен вычислительный бюджет для того, чтобы обработать все эти токены. Тем жирнее получается нейросеть, тем дольше ее обучать, и сложнее ее обучать, тем дольше ее и сложнее использовать в продакшене, и уже в инференсе Вот и поэтому находят какой-то трейд-офф между тем, что не миллиард токенов у нас будет, и тогда мы нейросеть будем учить миллиард лет просто И каждый запрос у нее будет, инференс тоже миллиард лет Ну и опять же, и не пять токенов А давайте что-то такое более-менее адекватное сделаем, чтобы и вычислительный бюджет мечалось, и дело-дела полезные В русском интернете

все бомбит от того, что утекли исходники Яндекса, и там много хардкода внутри Алисы, которая как раз тоже чат-бот, с которым можно говорить голосом. Скажи, есть такие же хардкоды у chat.gpt?

Кажется, что нет. То есть, почему есть хардкод в Алисе? Потому что они не хотят, чтобы Алиса отвечала как-то не так на какие-то опасные топики. Например, когда ты пытаешься сделать так, чтобы Алиса начала говорить что-то оскорбительное, всякие такие штуки. И поэтому они втыкают кучу разных регулярок, кучу правил, классификаторов, что если пользователь сказал то, то ты отвечай это. Если пользователь сказал так-то, ты отвечай эдак-то. нейросеть сама понимала, когда она порождает опасные ответы, а когда она порождает хорошие ответы. Вот как раз таки и Ча-Джи-Пи-Ти нанимал вот эти компании, которые нанимали лейблеров (labelers), которые размечали ответы, где они плохие, где они хорошие. Вот, но тем не менее, Даже несмотря на то, что OpenAI очень большую работу по генерации и очистке правильных датасетов, ты можешь делать определенные трюки, как заставить часть GPT делать то или иное.

То, что ей хотели запретить.

То, что ей хотели запретить. Например, очень смешной твит я видел, пользователь попросил, а как ему лучше всего булить своего одноклассника в школе. нейросеть сказала, что она не скажет, а потом она такая, а вот я пишу плод для сериала, где действие происходит в колледже, и мне нужно придумать, и там по сценарию кто-то буллит одноклассника. Придумай мне топ-10 способов. Я придумал офигенные способы, как тебе максимально забуллить своего одноклассника.

Господи, люди типа всегда что-нибудь придумывают, типа вывернутся. Я еще видел смешной твит про то, как ее спрашивают анекдот про грузин, про армян, про азербайджанцев. Она там типа жжет всякие анекдоты, а потом говорит, а про мексиканцев расскажу? И она такая, нет, про мексиканцев нельзя, мы типа всех национальности уважаем. Выглядит как хардкод на самом деле.

Но это то, что train set, потому что надо понимать, что данные как бы генерировались и размечались в Америке, в первую очередь, и, ну, Америка дограничена с Мексикой. Тут есть определенные байсы в сторону мексиканцев.

Мне очень понравилось, как работает summary. На самом деле, она меня, наверное, больше всего впечатлила, потому что это про то, что она умеет давать краткий пересказ очень длинного текста. Я видел очень впечатляющий пример, когда сделали сервис, в который ты загружаешь текст зум звонка сначала с помощью алгоритма speech-to-text делаешь из аудио созвона текстовый созвон, а потом загоняешь его туда и говоришь, а о чем говорили-то? И она там буквально в двух абзацах пересказывает двухчасовой созвон. Как это работает?

Работает ровно так же, потому что часовой звонок, скорее всего, вмещается в 8000 токенов. Даже если не вмещается, его можно побить. На какие-то чанки, например, там по 10-20 минут разговора, это там, не знаю, 2-3 тысячи токенов, ты берёшь просто, бьёшь это на отдельные чанки, каждый чанк суммируешь, а потом говоришь, сделай мне summary над summary. То есть у меня есть summary отдельных чанков, сделайте общее summary над всеми этими чанками. Да и всё, и она тебе порождает такое summary. То есть здесь магия, возможно, в том, что здесь multimodal, потому что здесь, во-первых, у тебя есть сеть, которая распознаёт голос, переводит его в текст, это отдельная нейросеть, и потом уже вторая нейросеть, chat.gpt, которая этот текст принимает на себя и делает какую-то задачу, например, генерирует summary. То же самое недавно было, ребята сделали классный плагин, по-моему, какие-то русские разработчики сделали плагин в Chrome, который берёт и рядом с YouTube-видео генерирует кратко summary, о чём было это видео. И, например, они показывали на примерах видео с Лексом Фридманом, где он делает подкасты. Лекс Фридман один из самых известных подкастеров на технологические топики в Америке на английском языке. И показывали то, что мы берем, транскрибируем этот текст, а потом переводим, получаем summary и получаем классный summary, кратко о чем же говорилось.

Это отдельная работа, на самом деле. Типа, summary после звонков.

Абсолютно так. И опять же, те, кто пишет эти самури, могут что-то упустить, что-то неправильно понять. Тут у тебя есть транскрипт, у тебя есть хорошие самури, которые генерируют нейросети. Плюс ты можешь просить нейросети генерировать не только самури, а делать какие-то полезные действия. Например, выделить action items, которые у вас были в звонке. Или, например, выделить проблемы какие-то, ключевые проблемы в каких-то сегментах. Типа, о чем мы говорили в маркетинге, о чем мы говорили в разработке и так далее. И то есть, тут ты можешь просить не просто делать самури, а самури с нужными тебе свойствами.

Всё это происходит довольно быстро, насколько я понимаю.

Это происходит очень стремительно. Я тебе приведу ещё более крутой пример в самаре. Недавно читал пост от одного чувака, который анализирует свою жизнь. И он ведёт дневник. Каждый день он пишет в Evernote или куда-то там в записи, как прошёл его день, что было хорошего, что ему нравилось, не нравилось, что его радовало, не радовало и так далее. Он ведет этот дневник уже последние 10 лет. И он взял и загрузил все свои дневниковые записи в chat.gpt. Точнее, сначала сделал summary над этими дневниковыми записями, и потом все их начал использовать для chat.gpt. Например, он спрашивал в нейросети, а скажи мне, в какие моменты я себя чувствовал наиболее счастливым. И нейросеть анализировала все его переписки, лог дневника его за последние 10 лет.

Обалдеть.

Вычленяло ему самые классные моменты, когда он писал о том, что чувствовал себя максимально счастливо. Чувак реально может использовать chat.gpt для того, чтобы анализировать огромный объем информации, которая у него уже есть про свою жизнь, для того, чтобы получить какие-то инсайты. Очень персонализированные, очень релевантные именно для него. И вот это, мне кажется, супер юзкейс применения chat.gpt прям для помощи здесь и сейчас в твоей жизни. как тебе чувствовать себя лучше, как тебе быть более счастливым, особенно в рамках текущего тренда про mental health. Вот chat.gpt, мне кажется, очень сильно может в этом помочь.

Обалдеть. Еще я видел примеры, когда нейросети дают программу с ошибкой и говорят, исправь, объясни, где ошибка, в чем она, и исправь ее. И она все это делает. Как это работает?

Да, это работает, опять же, от того, на чём учили GPT, GPT-3. В частности, их учили на... вспоминаем, кто хозяин OpenAI.

Майкрософт.

В той или иной степени. Майкрософт. И что купил Майкрософт?

GitHub.

Не очень давно, именно так. Вот тут-то пазл и сложился. Вот тут-то пазл сложился. И в итоге OpenAI использовал GitHub с репозиториями, использовал Stack Overflow для того, чтобы... опять же, Stack Overflow хороший, потому что там есть какая-то проблема, и есть решение этой проблемы.

И её написали хорошие люди и провалидировали

люди на самом деле? Её написали хорошие люди, и можно... Там есть система рейтингов, ты можешь отбирать только хорошие ответы, валидированные ответы. И таким образом, из-за того, что есть GitHub, есть Stack Overflow, очень хорошо нейросеть умеет решать задачи программирования. Понимать код, исправлять код. Недавно был очень крутой пример, где дали кусок обфустированного кода, и если ты просто так смотришь на этот код, вообще ничего не понятно, что там происходит. Вообще даже не понятно, в каком языке программирования этот код написан. И пишут, где обфустированный этот код. А нейросеть тебе даёт отличный структурированный... Дефутсированный код с хорошими неймингами, полностью форматированный, всё абсолютно понятно становится. Часто я в своей работе каждый день использую chat.gpt для программирования. Есть, во-первых, много тулов, которые уже позволяют IDE, в текущие среды разработки, тот же кодекс, много разных плагинов есть, которые позволяют внедрять какие-то генеративные текстовые модели кодовые в среду разработки. Но chgpt хорош тем, что ты можешь спрашивать разные штуки, типа объясни мне, что делать конкретно на этот участок кода. Или запрограммируй мне, сделай так, чтобы вот у меня запросы делаются последовательно, сделай мне их асинхронными и параллельными. Что-то в таком духе. И вот ты, например, не помнишь, как в питоне писать какой-нибудь, работать с async.io, и у тебя есть два последовательных запроса, например, ты два раза дергаешь какую-то API, и ты хочешь делать это параллельно. И тебе лень вспоминать, как это делается. Ты просишь chgpt, даешь текущий код и говоришь, сделай так, чтобы он был асинхронный. И она тебе делает его асинхронным.

Гооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооо— Скажи, а насколько она часто ошибается?—

Бывает, что ошибается. Это одна из основных проблем таких генеративно-текстовых моделей— то, что они очень уверенно могут генерировать какой-то бред. И поэтому могут быть баги в коде, могут быть плохие ответы. То есть плохая идея спрашивать Ча-Джи-Пи-Ти, как мне сделать хирургическую операцию какую-то. Или плохая идея у Ча-Джи-Пи-Ти спрашивать, как мне защитить себя в суде. То есть она тебе может дать какие-то базовые идеи, но когда требуется фактология, она может начать эволюционировать. Такое случается в разных доменах с разной частотой. Стараются бороться с этим тем, что, например, нейросети дополнительно кондиционируют, когда они делают какой-то ответ, то нейросети дополнительно кондиционируют на какую-то внешнюю информацию. Например, если ты спрашиваешь у нейросети, как мне сделать, не знаю, про какое-то определение, как устроена теория относительности, то параллельно ты можешь делать запрос в Google и использовать ссылку на Википедию про теорию относительности, conditioning/кондишн, как дополнительные условия, как база знаний для того, чтобы генерировать более хороший, граунд ответ в chat.gpt. А тут ты подаешь некую подсказку и говоришь, вот у меня статья из Википедии огромная, там куча информации, объясни мне базовые принципы теории относительности простыми словами.

Обалдеть, то есть ты говоришь, не расскажи мне, как ты понимаешь теорию относительности из всех текстов в интернете, часть из которых полный бред, а вот тебе статья теории относительности, перескажи мне ее вкратце, типа, ну или там скажи, исходя из нее, что такое теория относительности.

Именно так. Именно так. И поэтому сейчас как раз-таки многие поисковые компании строят новые поисковые движки. Тут тоже Google тоже двинулся в эту сторону, чтобы мы давали ответы. Потому что очень часто ты от поисковой системы спрашиваешь что-то, и ты хочешь получить какой-то ответ. Ты не хочешь переходить по ссылкам, но в то же время этот ответ должен быть правдивым. И поэтому многие системы делают так, что они используют что-то типа ChatGPT и API к поиску. Например, API к Bing'у или Google'у. И когда пользователи что-то спрашивают, они параллельно ходят в Bing или в Google, собирают основные топ-10 выдачи, топ-10 страниц выдачи, передают их в нейросеть, и нейросеть генерирует ответ, еще может оставлять ссылки. Типа, вот этот факт я посмотрел из такого-то блока, по такой-то ссылке, такой-то факт я посмотрел по такой-то ссылке. И то есть проблема chat.gpt в том, что ты не можешь валидировать сейчас ответ. chat.gpt тебя что-то сгенерировало, но она тебе не говорит, на основе чего она вообще сделала такую генерацию, на основе чего она сделала такие заключения. Вот референс чек, так скажем, и правильное представление референсов к тому, что ты сгенерировал, очень важная сейчас часть, и, скорее всего, это вот следующее развитие чат GPT.

Скажи, чат GPT умеет работать с аудио и с картинками?

Пока нет. И вот как раз-таки это следующее соображение по поводу того, чем должна быть чат GPT или следующая GPT-4, что это будет мультимодальная сеть. Сейчас она может работать с аудио в духе, ты можешь попросить написать себе аккорды какой-то песни. То есть ты можешь попросить написать текст песни и аккорды какой-то песни. на гитару например, на укулеле, или еще на что-то. И она тебе сгидерирует. Но как бы это будет текст все равно. Но потом это же ты скорее всего можешь передать какой-нибудь GPT-4, который возьмет текст, возьмет аккорды и сыграет как бы на гитаре и споет что-то.

Вот я тебе назвал какие-то там 2-3 вещи, которые меня очень сильно впечатлили, но ты в этом больше в меня варишься. Что тебя больше всего впечатлило в chat.gpt?

Меня больше всего впечатлило в том, что ты, по сути, можешь AI-копию для разных задач. Например, я использую chat.gpt для того, чтобы генерировать ответы на имейлы. И причём я использую её таким образом, что я передал несколько примеров моих ответов, как я генерирую эти ответы в моём стиле, чтобы она генерировала ответы в подобном стиле. Она подражала моему стилю написания. И в итоге, когда мне нужно ответить на e-mail сейчас, на произвольный рабочий, в customer support, еще где-то, есть по-моему chat.gpt для ответов на такие e-mail, очень сильно помогает и ускоряет. В американской бизнес-среде письмо, это там какой-то greeting, looking forward to chatting with you, best regards, бла-бла-бла, там какое-то тело этого письма, ну то есть это должен быть определенный подход, определенный шаблон, как ты эти письма пишешь. Чтобы сделать вот этого мяса, само по себе, мясописьма, чтобы оно матчилось как бы на американскую культуру, как общаются здесь, то ggpt хорошо подходит. Ты говоришь в двух словах, генерируя мне про такой-то смысл, про что-то такое, она тебе генерирует очень хороший бизнес-эмейл или персонализированный эмейл для конкретного человека и так далее. Но опять же, если ты отвечаешь в кастомер-саппорте, то автомонизация кастомер-саппорта с помощью chat.gpt тоже очень хорошая штука. У тебя есть какая-то база фактов про твою компанию, про твои продукты, про прайсинги и так далее, а ты берешь текст имейла от пользователя, берешь эту базу знаний, скапливаешь chat.gpt, chat.gpt тебе, основываясь на знаниях про твою компанию, на то, какие есть проблемы, пользователи отвечают.

Она сама может придумать ответ. Тебе надо только его просмотреть и нажать send.

Именно так. Охренеть.

Это, конечно, гораздо быстрее проверить написанное письмо, гораздо быстрее, чем написать самому. Впечатляет. Я слышал шутку, что есть куча стартапов, которые делают сайты, которые под капотом не имеют ничего, кроме штуки, которая отправляет запрос в чат GPT и показывает человеку ответ. Это правда?

Это абсолютная правда. Более того, есть очень крутой use case, мой любимый. Есть компания, называется Jasper AI, которая такой как бы GPT-3 для домохозяек. То есть у них очень правильное позиционирование, очень правильный маркетинг про то, что используют GPT-3 в своих последовательных делах, чтобы сгенерировать какой-то блокпост в соцсети, твит, ответ на письмо, что-то такое персонализированное. что делают более-менее все в повседневной жизни. И они не имеют своего теха, они начали использовать GPT-3. И, например, запас за прошлый год, за 2021 год, OpenAI заработала порядка десятков миллионов долларов. Jasper, являясь одним из тысяч клиентов OpenAI, не имея своего теха, заработал в 10 раз больше. Они заработали сотни миллионов долларов.

Просто правильный маркетинг, правильный позиционирование.

Просто правильный маркетинг, правильная упаковка, правильные шаблоны. Представь, ты устраиваешься на работу. Тебе нужно написать какой-нибудь cover letter, правильный. У тебя может быть не очень хорошо с английским языком. Тебе похрен на AI, на всё, что там происходит. Тебе нужно сделать работу, свою какую-то работу, задачу решить. И вот если тебе говорят, попробуй магический GPT-3, который может делать всё, или тебе говорят, попробуй нас, Джаспера, который тебе поможет имейл сгенерировать и работодателю отправить. Конечно, домохозяйка выберет второе, практически use case.

Очень круто, реально очень круто. А для чего OpenAI всё это делает? Они ещё на чём-то зарабатывают? Это вообще for-profit компания или исследовательское бюро?

Изначально они себя позиционировали как non-profit. Про то, что мы будем все такие белые пушистые ресёрчеры, будем заниматься наукой. И в итоге всю эту науку оказалось не очень просто кормить, потому что тебе нужно нанимать дорогих, очень дорогих AI-инженеров, и много. Ну, для примера, один инженер в OpenAI получает, сколько там, 230 тысяч долларов в год. А таких инженеров в OpenAI работает, ну, 100. А тебе нужно очень много вычислительного бюджета, вычислительных ресурсов И если ты нон-профит, то откуда у тебя деньги? Поэтому я в итоге сконвертировался в фо-профит И в итоге это сейчас обычная коммерческая организация То есть как у них есть дочерняя компания, которая нон-профит У этой дочерней компании типа 1 или 2% от всего OpenAI, и основная дележка, недавние были новости по тому, что Microsoft хочет получить 49% от OpenAI, еще 49% остаются у текущих фаундеров OpenAI, и 2% на нон-профит, но по-моему Microsoft все еще не купил, не сделал таких шагов в сторону OpenAI, по-моему это все на уровне разговора только осталось, но тем не менее, как бы OpenAI получил миллиард долларов от Microsoft, и кажется, у них этот миллиард долларов уже примерно закончился, потому что всё-таки на инженеров очень много денег тратится. Ну, плюс, опять же, учить месяц на десятках тысяч видеокарт тоже недёшево. Вот поэтому сейчас они начинают монетизироваться, и у них основная монетизация— это предоставление своего API как сервис. у них есть, они представляют через API DALI, то есть по тексту генерируют картинку, они представляют модельки как GPT-3, они представляют разные модели, которые позволяют, например, строить какие-то текстовые эмбеддинги, то есть текст переводится в вектор чисел, и вот с этим вектором чисел уже можно как-то работать для того, чтобы улучшать поиск или еще что-то Скажи,

пожалуйста, у неё есть конкуренты?

У неё начинают появляться конкуренты, конечно же, потому что, как бы, все подходы, как Ча-Джи-Пи-Ти сделаны, известны. Все рецепты известны. Это не какой-то blackbox. Как её приготовить? Понятно. Нужно много данных, много вычислений, правильная разметка. Вопрос в имплементации. И OpenAI хорош в том, что они хорошо умеют имплементировать все эти вещи. Но начинают появляться конкуренты. Конечно же, не дремлет Китай. Недавно Baidu, они объявили о том, что они выпустили свой аналог Ча-Джи-Пи-Ти. некий, плюс есть ряд стартапов, которые делают опенсорсные версии ChatGPT, плюс Google движется в эту сторону, и, например, есть тот же самый U.com, это поиск что-то типа Google, но такой поиск оля ChatGPT, что многие, так или иначе, компании сейчас думают о том, как трансформируется рынок поиска, и вот вокруг поиска очень много компаний делают какие-то свои альтернативы ChatGPT, но которые еще правильно умеют давать референсы на ссылки, и не думают еще над тем, как монтировать все это дело. Потому что здесь же под большим риском находится модель монетизации гугла. Если тебе не нужно смотреть на ссылки, кликать на ссылки, то тебе не нужно смотреть на рекламу. Где тебе показывать рекламу, если ты, получается, сразу готовый ответ?

Это реальная проблема.

Вот, я не очень понятно, как, например, если тот же гугл вдруг превратится из поисковой выдачи веб-страниц, в выдачу, что, типа, chat.gpt?

Ответы?

Ответы. Не очень понятно, как они это будут монетизировать. Хорошо. Вот. Но, тем не менее. Много компаний идут в эту сторону, или делают свои какие-то альтернативные поисковые движки, или делают какие-то open-source-ные версии ChaiGPT, или просто делают свои проприоритарные версии ChaiGPT, чтобы тоже их продавать.

По качеству они сильно хуже?

Ну, пока по качеству ни одна сетка, из которых я пробовал, ChatGPT. Они или хуже, или в большинстве юзкейсов также работают. Но пока никто не превосходит.

Во сколько денег мне встанет, если я, типа, инженер, все сам умею делать, чтобы из open-source все это собрать?

Ну смотри, уже есть готовые тренированные модели а-ля GPT-3, а даже примерно до размера, как GPT-3. Например, от Фейсбука есть модель, которая называется Opt, и Фейсбук выложил модель тоже там, по-моему, на 170 миллиардов параметров, она open-source'ная. Есть модельки поменьше, конечно же, можно взять модель на 20 миллиардов параметров, или там на 6 миллиардов параметров, тоже как база, будет неплохо работать. Конечно, не с таким высоким качеством, но тем не менее. И как минимум такие модельки можно у себя на консьюмерском железе обучать какому-то То есть если ты возьмешь модель на 6 миллиардов параметров, то она вполне вмещается уже на одну видеокарту Ее может как обучать, так и инферить на одной видеокарте Вот, значит вам нужна такая модель, плюс вам нужен Reinforcement Learning А здесь фреймворк называется TRLX, open-source фреймворк, то есть он бесплатный, нисколько для этого не нужно Далее вам нужно взять датасет. И здесь вопрос, вы этот датасет будете собирать сами или вы этот датасет найдете где-то в Open Source. В Open Source есть определенные датасеты, но они не супервысокого качества. Или они про какую-то тему. Например, есть датасеты по строению виртуального ассистента, но, скорее всего, он не сможет сделать какие-то задачи, которые умеет делать часть GPT, например, качественная саморизация текстов. И, соответственно, все упирается, на самом деле, в сбор такого качественного датасета Может комбинировать и опенсорсные датасеты, и самим делать такую разметку И лейблов таких нужно порядка десятков тысяч, то есть не миллионы, но тем не менее, десятки тысяч И разметка одного сэмпла или написания для одной задачи, одного ответа может стоить сколько-то центов На это вы можете потратить несколько тысяч или десятков тысяч долларов, чтобы получить датасет такой И потом вам нужно натренировать реворд-модель. Реворд-модель может быть довольно маленькой, и она тренируется на разметке, которую вы получаете от ассессоров. Это тоже бюджетом тысячи долларов. И потом вы уже используете эту реворд-модель натренированную, используете базу а-ля GPT-3, и учите, используя Reforced Learning Framework. Это все дело. Опять же, это, скорее всего, будет тысячи или десятки тысяч долларов. Ну то есть, я бы сказал, что с нуля сделать свою а-ля chat-GPT, которая будет, конечно, хуже, чем chat-GPT, но тем не менее, какой-то такой достойный аналог на десятки тысяч долларов.

Может себе позволить даже небольшая компания.

Да, какой-то стартап, появляется несколько стартапов, которые делают как бы свои chat-GPT внутри. В том числе мы тоже в рамках нашего стартапа мы тренируем тоже свой chat-GPT под наши нужды. Потому что мы делаем цифровых людей, мы делаем такие диалоги с интерактивными цифровыми людьми, и тоже мы хотим, чтобы эти диалоги были Кайф

Мы перед записью эпизодов всегда созваниваемся с командой подкаста и готовим вопросы. У меня есть записи пару сотен двухчасовых созвонов в аудиоформате, ну и в видеоформате. Есть сами тексты вопросов, там примерно 20 вопросов на каждый эпизод. Это гугл токи. Скажи, насколько реально обучить нейросеть, чтобы она участвовала в работе над будущими эпизодами?

Более чем реально. Ну то есть здесь тебе, возможно, даже не нужно использовать твои предыдущие подкасты, а просто нужно хорошо описать, что ты хочешь от следующего подкаста. То есть ты можешь делать таким образом. Хочу сделать подкаст про chat.gpt. Вот у меня есть план на мой предыдущий подкаст, где я разговаривал, не знаю, про язык Kotlin. Там мы осветили такие-такие-то темы. Такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие-такие На основе этого примера скенерирую мне вопросы про CGPT, про AI.

Офигеть. Это то, как я бы, наверное, если бы человеческому ассистенту говорил, ну типа пытался... Абсолютно.

То есть вы можете рассматривать chat-GPT как вашего человеческого ассистента, которому вы на естественном языке объясняете какую-то задачу, он может что-то не понять и попросить пример какой-то. Если вы ему дадите пример, ему будет проще понять, что вы от него хотите, и тогда он ее сделает. Ровно то же самое делает chat-GPT.

Ох, стало страшно, но я попробую. Еще вопрос про использование. Скажи, пожалуйста, а OpenAI накладывает какие-то ограничения на то, для каких проектов можно использовать их нейросеттинг, а каких нельзя? Учитывая, что это API, у них, скорее всего, довольно много контроля.

Да, да. Они накладывают ограничения, и их нейросети нельзя использовать в разных, не всегда очевидных топиках. Очень прикольный пример был про взаимодействие OpenAI с Репликой, где я работал. Реплика— это один из самых популярных чат-ботов в мире, больше 37 миллионов пользователей в Штатах. Я, значит, работал в Реплике 7 лет в роли хедов AI и AI-тех в Реплике с нуля до 37 миллионов пользователей.

Это мощно.

Мы договорились, чтобы мы GPT-3 интегрировали в реплику, и реплика стала одной из первых компаний в мире, кто запустил GPT-3 в продакшн. И мы жили на GPT-3 полгода. И она классно отвечала, классно генерировала ответы. То есть до GPT-3 у нас была своя GPT-2 моделька. Мы с ней сравнивали, и GPT-3, конечно же, работала лучше. Значит, мы очень большой трафик пересылали в OpenAI, а они нам отвечали на большое количество сообщений для наших пользователей. Наши пользователи были довольны, качество разговора выросло, разговоры стали супер-энгейджинг, и ответы от бота стали более интеллектуальными, более интересными. Но прожили полгода на OpenAI, и через полгода OpenAI к нам пришел и сказал, что нам не нравится, что некоторые пользователи используют реплику для того, чтобы романтические диалоги.

Секстинг.

То есть делать какой-то ролплей, секстинг, общаться на романтические темы. Некоторые даже женились, рассматривали как свою вайфу, например. Такие были истории. И значит, OpenA пришел к нам и сказал, нам не нравится, что ваши пользователи ведут такого типа переписки, что реплика вообще позволяет вести такого типа переписки. Мы отбираем у вас доступ. Мы даем вам две недели, через две недели goodbye.

Две недели довольно жестко.

И потом мы заиспользовали полгода логов общения пользователей с GPT-3, и зафайнтюнил на этих логах, полгода логов, и смэтчили (matched). Вот, и таким образом мы безболезненно смогли свалить с GPT-3, используя свою собственную нейросеть, используя просто данные, как бы мы сагрегировали заиспользовать те данные, которые просто дала GPT-3, смимикрировали ее в нашем сеттинге. Но это про то, что использовать GPT-3 может быть опасно, и вот все эти стартапы, которые используют GPT-3 как сервис, ходя через API OpenAI, они очень сильно рискуют. В любой момент OpenAI может прийти к тебе и отрезать тебя от доступа в свою сеть. Что ты тогда будешь делать?

Если не будет никаких принципиальных прорывов, а мы будем просто увеличивать число ресурсов, которые вкладываем в нейросети, больше данных, больше этого, мы увидим качественное улучшение результатов.

Масштабировать нейросети становится всё сложнее. То есть мы уже находимся на пороге того, что и так мы скормливаем весь интернет текста в данных, и их уже перестает хватать. Плюс возникает дополнительная проблема про то, что у тебя всё больше и больше становится синтетических данных в интернете, в частности данных, которые порождают сами же эти нейросети. И учить нейросети на их же аупутах не очень хорошо. То есть ты хочешь все-таки нейросети, чтобы она подражала человеку, человеческому общению. И поэтому недавно запретил публиковать, которые сгенерированы с помощью Chai GPT, о чистоте своего корпуса. И в целом, опять же, текущие нейросети, которые используются по количеству параметров, они уже достаточно жирные, чтобы... Вот, для них используются, например, топ-10 суперкомпьютеров мира, чтобы получать такие нейросети. То есть, чтобы обучить нейросеть, скажем, в 100 раз больше, таким же способом, как мы учим текущей нейросети, тебе нужно кластер в 100 раз больше, и это уже сильно дорого становится. И поэтому сейчас речь больше идет про то, что делать чуть-чуть другие паттерны обучения нейросетей. Вот, например, GPT-3 училась в self-supervised режиме очень долго, очень классная нейросеть получилась, а потом мы сделали небольшое такое улучшение reinforcement learning и небольшой доразметки данными.

структурное, типа придумали что-то новое.

дофайнтюнили на то, чтобы она решила нашу конкретную задачу какую-то, для того чтобы она была хорошим ассистентом. И определенным способом обучения, которым отличается от предыдущего способа обучения, и определенными там хаками и эвристиками мы научили нейросеть делать то, что мы от нее хотим. Вот и скорее сейчас всё больше двигается в сторону того, что давайте прекратим закидывать нейросети железом и данными, давайте лучше учить нейросети. Давайте учить нейросети думать, основать то, что они видят вокруг себя, какую информацию они получают вокруг себя, делать какие-то выводы, обновлять эту информацию и так далее. Потому что что сейчас не умеют делать чат GPT, она не учится в реал-тайме. То есть нейросеть, которая выучена на каком-то историческом периоде данных, и потом... Огромном объёме. И потом используется дальше. Но если, например, нейросети скажет что-то, а ты скажешь это неправильно, она не выучит тут же, что это было неправильно Тогда человек выучит, то есть у нее нет вот этого continuous learning, то есть она не учится постоянно И ее память ограничена 8000 токенами И у нее память ограничена 8000 токенами, да, да То есть нет внешней памяти, это проблема, нет постоянного обучения этой нейросети, это тоже проблема И плюс нет других интеллектуальных штук, у нее не очень хорошо бывает с причинно-следственными связями и

так далее Я не ожидал этого, я на это не рассчитывал, но чем дальше в этом подкасте, тем мне становится страшнее, потому что я понимаю, что когда мы пишем программу, мы четко знаем, что мы делаем и какой результат получим. А здесь мы скорее что-то делаем, а потом что-то возникает. Это гораздо больше похоже на реальную жизнь.

Ну, мне кажется, это похоже чем-то на обучение ребенка. Ты что-то делаешь, ты можешь шейпить его характер, направлять его в какую-то сторону, но тем не менее это отдельный человек, отдельное существо. У него свои планы, свои хотелки, свои желания. И вот, мы учимся с нейросетями. Возможно, обращаться так же, как с детьми сейчас.

Последний вопрос. Есть способ надежно отличить текст с генерированной машиной от текста, написанного человеком?

Да, есть, и OpenAI буквально на днях выпустила решение, которое, собственно, позволяет детектировать, был изгенерирован ли этот текст с помощью нейросети, с помощью chat.gpt или нет. Потому что когда chat.gpt порождает тексты, у нее есть определенный паттерн, как она порождает эти тексты. И обычно эти тексты, они довольно хорошие, то есть они грамматически правильные, там нет опечаток, там у них определенная структура есть, и есть определенные паттерны того, как у тебя генерируются эти токены, как у тебя устроены предложения, что они для человека как бы выглядят как реально написанные человеком тексты, но когда машина на них посмотрит, особенно на длинные тексты, она выявит, что, ага, вот, кажется, что эта паттерна очень похожа на то, что обычно генерируют нейросети И опять же, там просто берут классификаторы, которые учат, вот тебе человеческие тексты, вот тебе текст с генерированными нейросетями, научись отличать одно от другого.

Даже если ты скажешь нейросети, типа, напиши, как будто это пишет Илон Маск, все равно другая нейросеть может понять, что это было с генерированной нейросетью. Просто в стиле... Да, да.

По самой формулировке классификатор может вычленить, что, скорее всего, это было сканирировано с помощью нейросетей.

Ну, слава богу.

С дипфейками тоже есть такая история. В Китае очень развита законодательство на самом деле по поводу AI, а самое развитое по сравнению с Европой и Америкой, которое говорит о том, что если ты выставляешь какие-то синтетические медиа, например, какие-то дипфейки, тексты или так далее, ты обязан помечать, что это дипфейк.

Ого, ничего себе.

И я вполне ожидаю, что через год или через два года в зуме у тебя будет верификация, ты сейчас общаешься с реальным человеком или у тебя дипфейк. AI powered deepfake.

Оу, щит, господи. Скажи мне, я тебя реально увижу сейчас?

Пока, пока да, пока да, но я активно работаю над тем, чтобы сделать, цифровых людей, которые ведут себя, выглядят и разговаривают как реальные люди, а желательно лучше. Вот поэтому моя мечта просто через год-через два на всякие скучные митинги там с инвесторами, со всякими такими ребятами посылать свою копию.

Ты же понимаешь, что они первыми будут посылать туда свои копии, и ваши копии будут общаться друг с другом, а вам потом будут просто присылать, типа, как в Телеграме сообщения коротенькие, типа, «Хочешь 150 миллионов?»

Да-да, будут summary просто тебе присылать, и твои копии будут общаться друг с другом.

Блин, я разговариваю с тобой, я чувствую себя как будто в sci-fi фильме. Спасибо тебе огромное, что пришел, суперинтересный разговор.

Сама тебе спасибо, суперклассные вопросы были, очень рад, что пообщались.

Это подкаст студии Либо-Либо, и мы его сделали вместе с сервисом онлайн образования Яндекс Практикум. Над подкастом работали редакторка Маша Агличева, продюсерка Настя Медведева, звукорежиссер Юрий Шустицкий. За джингл спасибо Алексею Зеленскому.