как я научил нейросеть рисовать русскую хтонь / Хабр
ferluhtВремя на прочтение 4 мин
Количество просмотров 39KМашинное обучение *Научно-популярное Искусственный интеллект Социальные сети и сообщества
Туториал
Вступление
В России модно грустить. Популярная культура под разными соусами толкает нам депресняк: всякие майки «Россия для грустных», фестивали «боль», подборки «Russian doomer music» на ютубе и так далее. Рунет завален однотипными постпанком, панельками и серостью, которые тем не менее довольно много людей видят чем-то родным и уютным, ощущают частью своего культурного кода. Мне стало интересно, сможет ли ИИ если не победить то хотя бы возглавить эту моду и затронуть струны душ рашн думеров. Ведь что может быть более бессмысленно и тоскливо чем нейросеть, рисующая гипертрофированно-хтоническую Россию? Так появился проект нейроссия.
Собираем данные
Во ВКонтакте очень много пабликов где старательно собраны, отфильтрованы, а иногда и структурированы грустные российские пейзажи, так что выбор источника данных как-то сам собой пал на родную российскую соцсеть. Вообще, кажется что ВК очень классный источник данных, многие тематические паблики наполняются из предложенных записей, и картинок в них гораздо больше, чем, например, в инстаграме, где механизма предложки нет. Начал я с эталонных примеров русской хтони — пабликов ЭЕ и Панельки.
Примеры скачанных фотографийЧтобы выкачать фотки, лайки и комменты я воспользовался python-библиотечкой vk_api. Этот модуль позволяет работать с методами api вконтакта, а также обрабатывать капчу и двухфакторную аутентификацию. В качестве примера приведу скрипт скачивающий фоточки из последнего поста на стене сообщества:
import os import vk_api import urllib.request def captcha_handler(captcha): print (f"url: {captcha. get_url()}\n") key = input("Enter captcha code: ") return captcha.try_again(key) def auth_handler(): code = input("Enter 2FA code: ") return (code, True) def save_post_pictures(post, imgfolder, imres): pictures = [] if not os.path.exists(imgfolder): os.makedirs(imgfolder) for attachment in post['attachments']: if attachment['type'] == 'photo': photo = attachment['photo'] for size in photo['sizes']: if size['type'] == imres: url = size['url'] filename = ('_'.join(url.split('/')[-2:])).split('?')[0] urllib.request.urlretrieve(url, os.path.join(imgfolder, filename)) pictures.append(filename) return pictures phone = input("phone ") password = input("password ") domain = 'plattenbauten' # vk.com/plattenbauten sess = vk_api.VkApi(phone, password, captcha_handler=captcha_handler, auth_handler=auth_handler) sess. auth() api = sess.get_api() posts = api.wall.get(domain=domain, count=1)['items'] save_post_pictures(posts[0], domain, 'z') # https://vk.com/dev/photo_sizes - z максимальный размер
Так я накачал чуть больше чем 100к фоточек из нескольких пабликов. Дальше встал вопрос, как их отфильтровать. Для фильтрации я использовал детектор EfficientDet (чтобы выкинуть из датасета фотки с людьми, машинами, котиками и.т.д, оставив только пейзажи), а также совсем чуть-чуть NLP в лице NLTK чтобы обработать подписи к фотографиям — сделать стемминг слов и найти по тегам то что не нашёл детектор. В итоге осталось около 10к фотографий.
Обучаем стайлган
Я использовал архитектуру Stylegan2 с аугментациями дискриминатора. Аугментации (повороты, отзеркаливания, кропы) позволяют получать чуть лучшие результаты на маленьких датасетах. Вот в этом репозитории оригинальный код, а вот здесь — моя наколеночная модификация для запуска в Google Colab и генерации видео по ключевым кадрам (об этом дальше).
У этой реализации стайлгана есть одна особенность — на вход ему нужны данные в формате .tfrecord (как их получить из картинок описано в readme). А особенность заключается в том, что картинки записываются в tfrecord-ы без сжатия, что в условиях работы на Colab может быть критично. Так, например, датасет из 10 тысяч картинок разрешения 1024х1024, будучи сконвертированным в .tfrecord забьёт диск Колаба под завязку. Говорят, что есть модификация stylegan2 которая использует сжатие в .tfrecord-ах, но я её пока не проверял.
Отчего так в России берёзы шумят?Обучение на Google Colab в бесплатной версии идёт со скоростью примерно полчаса на эпоху для разрешения 1024х1024. Когда уже на первых эпохах на генерируемых сеткой картинках проступила родная цветовая гамма, вспомнился мем про «отчего так в России берёзы шумят».
Несколько эпох спустяГенерируем видео
В какой-то момент проект из гиковских прикольчиков превратился в прикольчики творческие. Возникла идея привлечь к этому друзей-музыкантов и сделать генеративное видео с генеративной музыкой (впоследствие трансформировавшаяся в вариативный стрим на платформе mubert). Хотелось чтобы переходы в видео были хоть немного осмысленными и согласующимися с музыкой.
Латентный вектор это промежуточное сильно сжатое представление картинки, в котором скрыты все выученные нейросетью свойства. Наверное, можно было заморочиться и найти в латентном векторе (размерности 512) компоненты отвечающие за тот или иной параметр картинки (чтобы например плавно менять освещение, сохраняя структуру картинки), но я решил что проще сгенерировать видео по ключевым кадрам. Если плавно переходить от вектора соответствующего одной картинке (ключевому кадру) к вектору соответствующему другой, то картинки также будут плавно перетекать одна в другую. Для этого я поменял несколько строк в скрипте generate.py так, чтобы на вход он принимал папку с латентными векторами выбранных картинок, и список, в котором эти картинки должны появляться в видео.
В заключение
С появлением таких архитектур как stylegan, генеративное искусство набирает обороты — некоторые даже успешно продают генеративные картины за сотни денег, не написав ни строчки кода. Надеюсь, эта статья натолкнёт кого-то ещё на идеи применения нейросетей в искусстве, тем более что сервисы типа Colab существенно снижают порог вхождения и затраты для получения интересных результатов.
Ещё картиночкиСсылки
Нейроссия в ВК
Нейросеть Stylegan2-ada
Python-обёртка api вконтакте
Теги:- stylegan
- панельки
- искусство
- машинное обучение
- генеративное искусство
- вконтакте
- Машинное обучение
- Научно-популярное
- Искусственный интеллект
- Социальные сети и сообщества
Нейросеть попыталась понять и нарисовать русские пословицы. Получилось смешно и страшно
Комсомольская правдаРезультаты поиска
ОбществоКАРТИНА ДНЯ
Наиль ВАЛИУЛИН, Алена МАРТЫНОВА
30 января 2023 14:22
Американская нейросеть не смогла понять смысл русских пословиц и поговорок [фото]
Американская нейросеть не смогла понять смысл русских пословиц и поговорокФото: Shutterstock
Искусственный интеллект захватил человечество, и это не фильм-апокалипсис. Невидимые нейросети каждый день распознают наши лица на камерах наблюдения, анализируют наши кредитные истории и профили в соцсетях, дают нам прогноз о рисках развития инсульта и даже пишут музыку и тексты. А еще развлекают забавными картинками: например, в одном из прошлых текстов KP.RU нейросеть показала, как выглядели бы Кот Матроскин, Винни-Пух и другие любимые мультяшки в человеческом обличье.
А на этот раз мы решили проверить, как чудо-машина нарисует наши знаменитые пословицы и поговорки. И что бы вы думали? Загадочную русскую душу искусственный разум так и не смог понять! Во-первых, нейросеть американка – все фразы требует переводить на английский и напрочь отказывается понимать игру слов. А во-вторых, дама она непостоянная: выдает результат, который прямо сейчас пришел ей в «голову», и может сменить свое мнение буквально через мгновение. Дело в том, что нейросеть по ключевым словам «методом тыка» ищет картинки в англоязычном Интернете, скрещивает их и выдает свой результат. Мол, я художник, я так вижу. И вот что она разглядела…
Фото: Наиль ВАЛИУЛИН
БЕРЕГИ ПЛАТЬЕ СНОВУ, А ЧЕСТЬ СМОЛОДУ
Трудности поджидали нас с первых секунд: переводчик споткнулся на слове «снову», приняв его за «снова» и упорно не желая ничего понимать. Единственное, что нейросеть уяснила четко – что речь идет о платье, а вот вторую часть фразы она и вовсе проигнорировала, как непонятную белиберду. Зато в качестве реверанса добавила к наряду бутоны роз, хоть и изрядно пожухлые.
Фото: Наиль ВАЛИУЛИН
РАБОТА ДУРАКОВ ЛЮБИТ
Казалось бы: ну нарисуй ты, как моют машину в дождь или чистят снег в самый снегопад. Ан нет: программа назвала дураком мастера-ремонтника, чем-то похожего на Джима Керри. Будет знать, как всякое старье чинить, которое так и так скоро сломается…
Фото: Наиль ВАЛИУЛИН
ГУСЬ СВИНЬЕ НЕ ТОВАРИЩ
Над этими двумя пришлось потрудиться больше всего: как ни тестировали мы шайтан-машину, чтобы показать таких разных гуся-аристократа и простолюдинку-свинью, нейросеть упорно выводила новую породу. Прости, братец, тебе просто не повезло.
Фото: Наиль ВАЛИУЛИН
У СТРАХА ГЛАЗА ВЕЛИКИ
Этот запрос программа расшифровала как «страх с большими глазами». Похоже, на этот раз нейросеть вдохновлялась ужастиком в духе «Кукла Чаки».
Фото: Наиль ВАЛИУЛИН
ДАРЕНОМУ КОНЮ В ЗУБЫ НЕ СМОТРЯТ
Капризная нейросеть опять всё перевернула с ног на голову: этот злющий жеребец – совсем не подарок, а зубы демонстрирует только так. Осторожно, похоже этот парень не привит от бешенства.
Фото: Наиль ВАЛИУЛИН
ПЬЯНОМУ МОРЕ ПО КОЛЕНО, А ЛУЖА ПО УШИ
Думал ли этот бравый морской волк, что его, словно джина, упекут в бутылку, да еще и пьяницей обзовут? Но можем вас заверить, другие варианты были куда хуже: фразу «море по колено» искусственный разум рисует как…утопленника.
Фото: Наиль ВАЛИУЛИН
СЕДИНА В БОРОДУ, БЕС В РЕБРО
Благородный сэр с задумчивым взором меньше всего походит на старика-разбойника, который не прочь предаться разврату с юными чаровницами. Фразу про беса нейросеть отмела как малозначительную. Но можно не сомневаться, что эту загадку она бы точно не разгадала…
СЛУШАЙТЕ ТАКЖЕ
У динозавров был разум, они могли доживать до 40 лет и иметь свою культуру (подробнее)
Читайте также
Возрастная категория сайта 18+
Сетевое издание (сайт) зарегистрировано Роскомнадзором, свидетельство Эл № ФС77-80505 от 15 марта 2021 г.
ГЛАВНЫЙ РЕДАКТОР — НОСОВА ОЛЕСЯ ВЯЧЕСЛАВОВНА.
ШЕФ-РЕДАКТОР САЙТА — КАНСКИЙ ВИКТОР ФЕДОРОВИЧ.
АВТОР СОВРЕМЕННОЙ ВЕРСИИ ИЗДАНИЯ — СУНГОРКИН ВЛАДИМИР НИКОЛАЕВИЧ.
Сообщения и комментарии читателей сайта размещаются без предварительного редактирования. Редакция оставляет за собой право удалить их с сайта или отредактировать, если указанные сообщения и комментарии являются злоупотреблением свободой массовой информации или нарушением иных требований закона.
АО «ИД «Комсомольская правда». ИНН: 7714037217 ОГРН: 1027739295781 127015, Москва, Новодмитровская д.
2Б, Тел. +7 (495) 777-02-82.Исключительные права на материалы, размещённые на интернет-сайте www.kp.ru, в соответствии с законодательством Российской Федерации об охране результатов интеллектуальной деятельности принадлежат АО «Издательский дом «Комсомольская правда», и не подлежат использованию другими лицами в какой бы то ни было форме без письменного разрешения правообладателя.
Приобретение авторских прав и связь с редакцией: [email protected]
Russian Car Parts — Etsy.de
Etsy больше не поддерживает старые версии вашего веб-браузера, чтобы обеспечить безопасность данных пользователей. Пожалуйста, обновите до последней версии.
Воспользуйтесь всеми преимуществами нашего сайта, включив JavaScript.
Найдите что-нибудь памятное, присоединяйтесь к сообществу, делающему добро.
( 164 релевантных результата, с рекламой Продавцы, желающие расширить свой бизнес и привлечь больше заинтересованных покупателей, могут использовать рекламную платформу Etsy для продвижения своих товаров.Позиционирование автомобилей Китая на российском рынке 2023 г.
Многие иностранные бренды ушли из России или приостановили поставки автомобилей на российский рынок в 2022 г. – вакансию сейчас все больше занимают китайские компании. Многие из них разрабатывают конкретные планы по расширению проникновения на российский рынок на 2023 год и далее. Предыдущие европейские заводы приобретаются по бросовым ценам, а также осуществляются значительные инвестиции. Китайские бренды, на долю которых в 2022 году приходилось более трети рынка, будут более активны.
В течение этого года китайские автопроизводители, базирующиеся в России, намерены выпустить серию автомобилей премиум-класса, в то время как многие автозаводы в России также вернутся к работе после нескольких месяцев простоя из-за неопределенной рыночной конъюнктуры. В этой статье мы рассмотрим, какие новые китайские автомобильные инвестиции и продукты можно ожидать в течение 2023 года.
FAW в Санкт-Петербург?
У российского АвтоВАЗа есть планы относительно бывшего завода Nissan в Санкт-Петербурге. Этот завод будет выпускать автомобили под маркой Lada, при этом не конкурируя с существующей линейкой Волжского автозавода. Переговоры с новыми партнерами планируется завершить в январе-феврале 2023 года, а начало производства ожидается в третьем квартале 2023 года. В качестве основного кандидата уже названа китайская FAW. Кто бы ни стал партнером АвтоВАЗа, к 2023 году планируется производить более 400 000 автомобилей в год. Для сравнения, BMW 9Завод 0126 Spartanberg в Южной Каролине в 2022 году произвел чуть более 400 000 автомобилей для всего рынка США.
DongFeng и BAIC в Калининград?
Калининград Автотор, ранее собиравший BMW, Hyundai и Kia, заключил договор с новыми партнерами — с сильными слухами о китайских производителях DongFeng и BAIC . Подробности ожидаются во втором квартале. Компания уже приступила к тестовой сборке новых автомобилей.
Chery
Бренд Chery ждет обновления. С 1 января в России начнутся продажи Chery Tiggo 7 Pro Max — глубоко модернизированной версии популярного кроссовера. Этот автомобиль будет иметь измененный внешний вид и салон, больше опций, но тот же силовой агрегат и только передний привод. Впрочем, более мощный двигатель и полноприводная трансмиссия тоже обещают, но позже в этом году.
С седаном Arrizo 8 Chery планирует выйти в новый сегмент рынка, и начнет продавать в России гибрид с бензиновым двигателем и двумя электродвигателями. Обещают, что электромобиль сможет проехать до 75 км, при этом расход топлива в смешанном цикле составит 1 литр на 100 км.
Exeed , премиальный бренд Chery, также планирует полное обновление модельного ряда. Это будет совершенно новая модель 2023 года — купеобразный кроссовер, представленный в Китае под именем Yaoguang. Это первая модель на модернизированной платформе и в новом стиле бренда. Кроссовер получит адаптивные амортизаторы, полный привод с семью режимами и тормозную систему, работающую по проводам без подключения к педали. Под капотом двухлитровый турбомотор в паре с «роботом».
Обещаны новинки и для марки Omoda , которая также принадлежит Chery, но подробностей пока нет.
Great Wall Motors
Great Wall Motors выпустит два рамных внедорожника под индексами 300 и 500 под отдельным брендом Tank . Ходят слухи, что среди новинок будет относительно недорогой кроссовер M6 , который расположится между Jolion и F7. Кроме того, есть вероятность, что 9В Россию приедет 0126 Ora электромобилей в ретро-стиле.
Geely
Компания Geely провела повторную сертификацию долгожданного кроссовера Monjaro , который должен поступить в продажу в России в начале года. Для среднеразмерного автомобиля предусмотрен двухлитровый турбомотор (238 л.с.), работающий в паре с восьмиступенчатым автоматом. Monjaro планируется завозить из Китая, а недорогие седаны Geely Emgrand 7 будут собирать в Беларусь для российского рынка. Оснащен 1,5-литровым атмосферным двигателем мощностью 114 л.с.; в паре с пятиступенчатой «механикой» или вариатором.
Другие участники китайского рынка
Активизируются и другие бренды, ранее не проявлявшие активности на российском рынке. Changan активизировалась во второй половине 2022 года, представив свой эффектный кроссовер Uni-K , а в конце года начались продажи рестайлинговых версий своих кроссоверов CS55 Plus и CS35 Plus.
В декабре крупнейший в России автосалон ОТТС получил – еще одного представителя нового семейства, Uni-V лифтбек длиной 4680 мм. Автомобиль сертифицирован с 1,5-литровым бензиновым турбомотором (181 л.с.), семиступенчатым «роботом» и независимой задней подвеской.
Livan , наследник некогда популярного Lifan, обанкротился и был переименован после того, как компания была приобретена Geely. В настоящее время первая модель марки проходит сертификацию для России. Это небольшой кроссовер X3 Pro с двигателем 1,5 л мощностью 113 л.с. с., который комплектуется «механикой» или вариатором.
На другом полюсе находится статусная марка Hongqi (принадлежит FAW), недавно получившая российские сертификаты на две свои модели. Первая модель — большой (5137 мм) премиальный седан H9. В Россию планируется поставлять базовый автомобиль с двухлитровым двигателем (245 л.с.), «роботом» и задним приводом. В то же время в Китае доступна более дорогая версия с удлиненной колесной базой и двигателем V6. Это среднеразмерный кроссовер Hongqi HS5 с двухлитровым двигателем, шестиступенчатым автоматом и полным приводом. Автомобили Hongqi будет распространять компания FAW Eastern Europe, которая уже поставляет автомобили FAW.
Кроме того, о планах выхода на российский рынок заявили иранские автопроизводители и вьетнамская компания VinFast .
Россия Стимулы для автомобильной промышленности
Следует отметить, что Китай, Иран и Вьетнам имеют соглашения о свободной торговле с Евразийским экономическим союзом (ЕАЭС), в который входят Россия, а также Армения, Беларусь, Казахстан и Кыргызстан как блок свободной торговли. В свою очередь, все эти страны имеют двусторонние торговые соглашения с членами 9-го0126 Содружество Независимых Государств , в которое дополнительно входят Азербайджан, Молдавия, Таджикистан и Узбекистан.
Во многих отношениях китайцы заметно опережают конкурентов по сравнению с уходом автопроизводителей из ЕС с российского рынка. Это не только отражение потери рынков ЕАЭС в частности, но и полная потеря будущего рыночного потенциала ЕАЭС.
ЕАЭС также имеет соглашение о свободной торговле с Сербия , хотя в последнее время это оказалось проблематичным из-за санкций ЕС и запретов на железнодорожный транзит из России. Однако другие страны, которые, как известно, обсуждают ЗСТ с ЕАЭС, включают возобновление Узбекистан в качестве полноправного члена ЕАЭС, Босния и Герцеговина и Молдова в Европе (хотя в Молдове есть недавно избранный премьер-министр, поддерживающий ЕС), Египет , Израиль и ОАЭ на Ближнем Востоке, Бангладеш , Камбоджа , Индонезия , Монголия , Южная Корея в Азии и Куба и Эквадор в Латинской Америке.
Последствия для китайских автопроизводителей, использующих ЕАЭС, в частности, в качестве трамплина на другие рынки, весьма значительны.
Silk Road Briefing публикует в этой статье недавние рекламные изображения китайских автомобильных брендов, чтобы проиллюстрировать, что российский покупатель, вероятно, будет более восприимчив к более жесткой рекламе на открытом воздухе, в отличие от несколько сексистской атмосферы. Если вам нужна помощь с маркетингом и анализом в России, пишите на [email protected]
Похожие материалы
- Китайские автодилеры захватывают российский рынок, покинувший ЕС
- Россия рассматривает возможность налогового стимулирования производства экологически чистых автомобилей