Нельзя просто так взять и разобраться (часть 1.5
ИнтермедияВ прошлый раз я смело заявил о том, что расскажу об отличии тайминга анимированного изображения от тайминга фото\кино изображения с точки зрения современных научных представлений — well, not today. Споткнулся уже на этапе представлений о том, КАК человек рисует. Затык произошел из-за того, что я _додумал_ свое представлении об изученности проблемы : действительно, вот с одной стороны когнитивисты занимаются чем-то вроде этого, с другой стороны копают социологи повседневности — и вроде как интуитивно понятно, где это сходится и где искать ответы… Неа. (или я не умею искать информацию — в чем я пока сомневаюсь)
Как в итоге выглядит ситуация (на мой взгляд). Помните знаменитый мем «как нарисовать сову»?
Все понимают, где тут шутка? Вот.
Вот тут располагается шутка, на линии, разделяющей два рисунка.
Причем у этой шутки как минимум два слоя, один понятен всем, другой (кмк) в первую очередь рисующим. Первый слой — да, смешно, когда инструкция такая неполная а ментор не хочет объяснять то, что для него представляется очевидным и не стоящим внимания. Второй слой — да, смешно, но вообще-то по другому и не может выглядеть туториал по рисованию совы. Потому что, как бы ни дробились этапы туториала, он все равно моментально делится на два этапа: сперва на листе линии и пятнышки, потом на листе сова. Кто сейчас крикнет — всепонятна, это же просто распознавание образов — пусть пока помолчит. Нет, не просто.
Так вот, представитили разных научных направлений относятся к изучению рисования (на примере картинки с совой) так:
— когнитивные психологи и нейрофизиологи усердно изучают первый рисунок, с двумя кружочками. Им «всепанятна», рисование — это процесс размещения на листе линий правильных очертаний с правильным взаимным расположением. Для меня это настолько же очевидно и убедительно, как и то, что процесс формулирования математической теоремы — это просто правильное последовательное сложение и умножение.
— социологи усердно изучают нарисованных сов и анализируют, почему «на самом деле» они получились
так, а не иначе. Очень убедительно анализируют, особенно если читатель сам не знаком эмм… с живописью, например. Потому что иначе становится очевидно, что бедную итоговую сову натягивают на глобус той конфигурации, которая удобна исследователю. Тест: посмотрите на цитату Н. Лумана [https://sociologica.hse.ru/data/2011/03/29/1211823269/6_3_8.pdf] «Например, можно восторгаться китайской живописью, элегантностью рисунка и растворением очертаний в облаках и тумане. Но можно также установить, что облака на картинах всегда бывают помещены там, где требуется скрыть, что китайцы не владеют центральной перспективой», и подумайте — вас ничего не беспокоит?
Есть два верных утверждения : на китайских пейзажах красивые и элегантные облака ; китайцы не владеют центральной перспективой (таки да, в европейском понимании — теории центральной перспективы у них нет, вопрос, как обычно, сложнее. Пока замнем). Вывод — о их взаимообсуловленности — полная чушь для понимающего человека.
Смотрите: это — центральная перспектива.
Это — фото пейзажа.
Это — китайский пейзаж (XVI век, если верить сайту chinaonlinemuseum).
Кто увидит, каким образом можно применить центральную перспективу в рисовании такого пейзажа — пишите, вышлю пирожок. Попросту говоря, при рисовании таких объектов линейную перспективу можно и _лучше_ игнорировать.
Существует еще и третий лагерь, искусствоведов, но их больше интересует коллекционирование сов и упорядочивание их коллекции. Милые люди, очень уважаю их труд, но помощи от них никакой.
А вот так я ощущаю эту линию между двумя рисунками. Страшновато.
Мультяшные совы | kartik.ru
На картинках мультяшных сов изображают мудрыми и спокойными птицами, либо опасными хищниками, в руках которых из последних сил бьется добыча. Мало кто их видел вживую, хотя поведение нарисованных птиц мало чем отличаются от настоящих. Но есть подборки с картинками, где сова предстают в совсем неожиданном свете: с большими добрыми глазами, маленькими и нахохлившимися, как воробьи. Могут в руках (крыльях) держать чашку кофе или шампанского, смотреть куда-то вдаль, сидя на подоконнике и укутавшись в плед. Особо трогательно выглядят совы парами: тесно прижавшись другу к другу и склонив набок головки.
Среди всех в мире картинок картинки мультяшных совушек больше остальных окутывают загадочной ночной дымкой. Спуская новизну очертаний на поблекшие в мире эмоции, совы достают из глубины души самое тайное, интересное и тщательно скрываемое… не значит ли это, что сов стоит опасаться? Вовсе нет, мультяшные совы зачастую спят, когда мы бодрствуем и активируют свою мудрость на страницах детских книжек, чтобы показать насколько мудрым может быть неизведанное, мистическое и такое притягательное. Значение сов не разнится в разных вещаниях, и посредством этого опыта можно сказать, что совы являются ориентиром истинного, настоящего.
Картинки мультяшных совят пленят и радуют. Как мама-совка бережно их высиживает и учит охотиться, так и мама-мышка учит своих мышат беречься и прятаться. Этот дивный симбиоз мирской вызывает и слезы и чувство борьбы, конкуренции, оправданной желанием жить и выживать, ведь не прикладывая сил, выжить становится сложно до невыносимой тоски, пульсирующей в висках от осознания того, что в реальной жизни эти совята становятся такими же дикими хищниками как и другие птицы. Но тут вы не найдете агрессии, тут совята живут на радуге и питаются волшебными феями, которые делают совят необычайно волшебными и мультяшными.
показывать: 10255075100200 41—50 из 171
«Наши мечты — это отражение нас самих».
прямая ссылка 15 августа 2014 | 17:27
прямая ссылка 13 октября 2010 | 19:16
Ты сделал то, что должен был и сделал это хорошо
прямая ссылка 01 октября 2010 | 23:00
Научись летать!
прямая ссылка 21 ноября 2010 | 12:26
прямая ссылка 04 октября 2010 | 00:24
Новый Шедевр Зака Снайдера (это очередной НОВЫЙ МИР)
прямая ссылка 30 сентября 2010 | 20:46
Хорошая сказка
прямая ссылка 08 октября 2010 | 23:10
Защищайтесь, милорд!
прямая ссылка 30 октября 2010 | 19:53
А так хотелось большего…
прямая ссылка 27 мая 2011 | 17:58
прямая ссылка 04 января 2011 | 12:38показывать: 10255075100200 41—50 из 171 |
My little miracle: China Glaze
Насколько бы это банально ни звучало, но я нежной любовью люблю сов.
Эти водные наклеечки упакованы в картонную упаковку и прозрачный пакетик, плюс сам листик с ними покрыт тонкой плёночкой, так что можно быть точно уверенной, что совы не пострадают при транспортировке. А ещё стоит учитывать конверт, обклеенный изнутри пузырчатой плёнкой, а снаружи — наклейками о хрупкости товара, в котором они пришли из магазина. Такой подход меня безусловно радует.
Совы представлены в пяти вариантах, а ещё есть две просто птички и цветочки. И каждый вариант рисунка представлен в двух размерах (кроме одной совы). Большой размер лично для меня великоват, особенно — большая пузатая сова, она, конечно, поместится на ноготь большого пальца, но будет смотреться немножко смешно, я думаю. Но я не считаю это минусом наклеек — то, что мои ногти для них слишком маленькие, не делает их плохими, уверена, что найдётся множество девушек, которым такой размер наклеек будет как раз, и я им даже немножко завидую, потому что картинки очень интересные, с мелкими детальками, которые в маленьком варианте рассмотреть труднее.
Каждый вариант наклеечек на листке продублирован, так что можно сделать симметричный маникюр на обеих руках, выбрав любые картинки. Почему-то все картинки расположены по несколько штук в нарисованных на листке как бы ногтях, как обычно выглядят пластинки с готовым маникюром на весь ноготь. Думаю, это такой опознавательный признак их серии, потому что я такое видела уже не раз. Хотя, возможно, эти нарисованные контуры ногтей имеют какой-то смысл. С этими чёрными линиями надо быть осторожнее — они переносятся вместе с картинкой, так что лучше вырезать картинки так, чтобы их не задеть, я уже ко второму ногтю научилась снимать уже намокшую картинку с бумажной основы без этой полосочки, это вообще не трудно.
Процесс маникюра с этими водными наклейками крайне прост и ничем не отличается от маникюра с любыми другими водными наклейками. Выбрав понравившуюся картинку, я вырезаю её, совсем не заботясь о том, чтобы делать это по контуру, это за меня уже сделал производитель. Как и всё водные наклейки, эти совы напечатаны на тоненькой плёночке, отличие только в том, что иногда эта плёночка одна на весь лист с наклейками, а здесь отдельная для каждой картинки и имеет форму совы с напусками по несколько десятых долей миллиметра. Так что, как бы я ни вырезала картинку, в итоге у неё практически не будет краёв. Потом вырезанный кусочек с помощью пинцета опускается в воду, производитель рекомендует держать в воде двадцать секунд, но десяти вполне хватает. А затем одним движением пальца кусочек тоненькой плёночки снимается с бумажной основы. Теперь его можно прикладывать к ногтю в том месте, где он будет украшать маникюр. Я рекомендую приложить картинку сначала не плотно, чтобы убедиться, что всё нравится, а потом аккуратно разглаживать её от центра к краям резиновым пушером для кутикулы (на самом деле палец тоже отлично подойдёт), так гарантированно не будет никаких пузырьков воздуха и складочек под наклейкой. Последний этап — покрытие топом (я, конечно, взяла сушку EzFlow) — мой самый любимый, в этот момент картинки становятся как будто заламинированными.
Качество картинок очень радует. В них пропечатаны все детальки, нет такого, что краска заехала за контур. Конечно, при большом приближении видно, что картинки пиксельные, но это неминуемо, разве что можно рисовать таких же сов от руки. Плёночка, на которой нарисованы картинки, очень тоненькая, как бы я ни приглядывалась, её границ совершенно не видно под слоем сушки. Также наклейки прилегают к ногтю очень плотно, кистью сушки никуда не сдвигаются и не сминаются, а то у меня иногда такое случалось.
Я выбрала трёх разных сов меньшего размера и разместила двух на безымянном и среднем пальцах левой руки, а одну — на безымянном пальце правой. Мне такой вариант очень понравился, хотя изначально я довольно долго сомневалась, каких же мне сов выбрать и как расположить. Несмотря на то, что я выбрала три разные картинки, они не смотрятся разрозненно. Все совы нарисованы в едином стиле, так что вместе на ногтях смотрятся очень гармонично. Думаю, что мало кто со мной поспорит, если я скажу, что различные изображения сов у многих вызывают ассоциации с чем-то восточным. Эти совы кажутся мне просто самыми восточными из возможных, учитывая их расцветку и то, какими они все разрисованы узорами.
Выбор лака под эти наклейки оказался очень непростым. Нужно было определённо что-то светлое, к тому же расцветка сов требовала чего-то в зеленоватой, а ещё лучше мятной гамме, но привычный мятный для таких наклеечек казался мне слишком ярким. И тут я вспомнила, что у меня есть China Glaze из весенней коллекции прошлого года Keep calm, pain on, и вопрос сразу отпал. Посмотрев на конечный результат я решила, что это одно из самых удачных моих сочетаний лака с наклейками.
Мне удивительно слышать, что кто-то считает этот лак капризным и непослушным, потому что для меня он практически идеален в нанесении. Так как это светлый цвет, да ещё и с шиммером, я нанесла его на аквабазу Dance Legend. И очень удивилась, увидев, что в один слой он лёг практически идеально. Второй слой мне всё-таки понадобился, но я никогда не обхожусь без него, даже если первый действительно создал готовый маникюр. Лак приятной консистенции, в меру густой, так что никуда не затекает, но и наплывов не образовывает. А кисточка China Glaze — мой верный помощник в прорисовывании ровного полукруга у кутикулы.
По текстуре лак — крем с мелким-мелким шиммером, который, тем не менее, никуда не пропадает, а остаётся заметным и на ногтях, делая покрытие каким-то особенным. Этот лак как-то необычно блестит, именно за счёт шиммера, этот блеск какой-то матовый, я бы назвала его жемчужным. На поверхности ногтей не было никаких неприятностей, но я покрыла их слоем сушки EzFlow, чтобы закрепить и быстрее высушить, тем более, что я собиралась ещё заниматься наклеиванием сов, так что мне была необходима абсолютно сухая поверхность ногтей.
Несмотря на то, что они из коллекций разных лет, этот лак кажется мне родным братом Don’t honk your thorn, очень полюбившегося мне лака из весенней коллекции этого года.
Цвет этого лака совсем не прямолинейный мятный. Он очень приглушённый и какой-то припылённый. Цвет очень светлый, но совсем не кажется разбеленным. По сравнению с классическим мятным этот лак гораздо зеленее. Плюс серебристый шиммер делает оттенок холоднее и более припылённым. Я заметила за собой, что многие мятные лаки стали мне казаться обычными и однотипными, но это совершенно не про этот цвет, он настолько особенный, что я просто не могу перестать радоваться его присутствию в своей коллекции.
Обычно считается, что мятный цвет совсем не осенний, но мне кажется, что конкретно этот лак — самый осенний из всех мятных. Хотя, возможно, это говорит во мне то, что я живу в Петербурге, и для меня осень — это растворённые в воздухе капельки воды, мокрый асфальт и серебрящиеся паутинки на деревьях, а вовсе не буйство ярких красок и урожай. С нашей осенью этот лак сочетается, на мой взгляд, просто идеально.
Ну а, так как я уже решила, что именно эти рисунки сов выполнены в восточном стиле, не могу не отметить, что и тут этот лак подходит под них просто стопроцентно — своим интересным финишем из-за шиммера. Такое мягкое поблёскивающее покрытие напоминает дорогие восточные ткани, на которых вполне себе могут быть вышиты стилизованные совы.
Для сравнения с этим лаком я взяла самые припылённые и зеленоватые из своих мятных — Nubar Mod aqua (слева) и польский Coral Prosilk 156 (справа). Думаю, заметно, что Nubar значительно темнее, чем China Glaze, и, пожалуй, зелёного оттенка в нём меньше. А вот с Coral Prosilk их отличает только наличие шиммера, хотя, конечно, кто предпочтёт неизвестный безымянный лак лаку с таким говорящим для человека, красящего ногти, названием?
Если наклейки с совами нашли своих поклонников помимо меня, их можно купить в интернет-магазине Born Pretty Store со скидкой 10% по коду KZG10.
ClickHouse: Путь джедая, искавшего дом для своих данных / Хабр
* Юристы попросили нас написать, что картинка шуточная, и мы уважаем всех гордых любителей разных систем хранения данных.В разные эпохи развития нашего проекта в качестве основного хранилища, которое являлось источником данных для аналитики, у нас были MySQL, Elasitcsearch, Exasol и ClickHouse. Последнее нам очень нравится и вообще вызывал дикий восторг, как инструмент для работы с большими массивами данных, но, если посчитать итоговую стоимость владения с учётом внедрения кластера, обучения и поддержки — лучше подумайте два раза, прежде чем тащить его в ваш стек. На наших объёмах данных вложенные усилия окупаются, но если бы мы были чуть меньше, то, наверное, экономика не сошлась бы.
Главная проблема ClickHouse — это практическое отсутствие удобных и стабильно работающих инструментов для эксплуатации и большое количество решений рядом — в погоне добиться того же пользовательского опыта, как при работе с классическим RDBMS (MySQL или PostgreSQL). Вам придётся приложить немало усилий, чтобы понять как эффективно применить ClickHouse для ваших задач. Анализировать придётся много, начиная от вопросов развёртывания до выбора оптимальных моделей данных под профиль вашей нагрузки, в общем доступе не так много рекомендаций по выбору конфигураций под разные типы задач.
С другой стороны, его киллер-фича — это возможность работать с огромными массивами данных невероятно быстро для решений в этой области: то, что раньше нам приходилось делать в Spark или через другие реализации MapReduce, теперь мы можем делать внутри ClickHouse. И бесплатно, потому что такими же плюсами обладают многие MPP решения вроде Vertica или Exasol. Но ClickHouse открытый, и за это мы платим налог на использование непрогнозируемым объёмом поддержки или развития системы. Не всем это подходит, например, есть опыт компаний, которые сначала было влезли в это дело, потом поняли, что это не то, и взяли платные продукты с платной поддержкой, с экспертизой в решении архитектурных задач именно их продуктами. В платных продуктах есть готовые инструменты, которые понятно как применять.
В общем, давайте расскажу про наш опыт.
Что такое ClickHouse и чем он стал для нас
Это решение, созданное под задачу хранения данных проекта Яндекс.Метрики, которое было заточено под сохранение данных о действиях пользователей и последующей аналитикой в интерфейсе и построении отчётов. Вот подробный пост. Он потенциально очень хорошо масштабируется (о топологии нашего кластера мы написали в отдельной статье), очень быстро работает и хранит сырые данные с простым доступом через SQL — что очень удобно для аналитики. У ClickHouse нет эффективного подхода обновления данных, атомарных операций и транзакций, но для обновления есть возможность всё же реализовать его через построение особой модели данных и движки таблиц Replacing*.
Документация по ClickHouse есть, но написана она часто излишне детализировано, а часто в духе «осталось нарисовать остальную сову», примеры нарисованных «сов» можно найти на некоторых конференциях в решении узких задач. Главная проблема для нас была в том, что то же масштабирование в кластере можно сделать несколькими разными способами, но на практике только один из трёх будет рабочим. И вы не узнаете какой, пока не попробуете все, во всяком случае такой путь был у нас. В том же Exasol в такой же ситуации метод будет только один, одобренный вендором, и по-другому сделать просто не выйдет. Зато он точно будет прост, понятен и будет гарантированно работать.
Отсутствие инструментов к нему обходится дорого, но посчитать насколько — сложно. Если бы мы могли сформулировать заранее требования к хранению данных и их использованию точно — то наверняка взяли бы Vertica или продолжили использовать Exasol. Но проблема в том, что развивающиеся продукты часто не знают, что именно им понадобится на горизонте 1-3 лет, поэтому приходится хранить всё. Плюс есть неопределённость в продукте, а при развитии новых фич часто нужны исторические данные. В случае платных решений нужные объёмы хранения были банально дороги.
Коммерческие стоят от 2 тысяч долларов в месяц. Два года назад у нас было 7,5 Тб, и мы понимали, что к 2021 году, если не случится, ну знаете, чего-нибудь особенного для индустрии путешествий, будет 20 Тб. При этом мы не могли посчитать профит от хранения 1 Тб данных, потому что платить надо сразу, а пригодиться данные могут через полгода. Каждый раз, когда мы начинаем что-то складывать в хранилище, это делается по экспертной оценке от владельца продукта: «Кажется, у этих данных есть потенциал для бизнеса».
Так же нам хотелось создать инфраструктуру и дать такой инструмент для аналитиков, чтобы они использовали минимальное количество источников и имели инструмент с маленьким порогом входа. Это накладывало бы дополнительные ограничения на возможные сложные инструменты, которые могли бы быть применены.
В итоге мы попробовали ClickHouse. Если бы была экспертиза в PostgreSQL, взяли бы Greenplum. Vertica мы тоже не умели и не понимали. В итоге попробовали домик, и он очень понравился аналитикам SQL-интерфейсом, скоростью работы и богатым набором функций, необходимых для их повседневной работы. Напомню, в Elasticsearch, который мы использовали для хранения части наших данных, — SQL нет, и это сильно осложняло пользовательский опыт аналитиков, не говоря об эффективности использования ресурсов.
Как пришли к Elasticsearch в 2016 году и что за задача вообще была
Тогда нам надо было сделать систему, которая позволила бы собирать данные о действиях пользователей со всех наших проектов. Причём с вечным хранением данных. Это нужно, чтобы сравнивать метрики, которые были в прошлых годах в аналогичном месяце, потому как в туристической сфере очень значительно отражается сезонность. Мы хотели проводить детальный анализ результатов АБ-тестов по сырым данным с точностью до каждого пользователя. Решения для классической веб-аналитики Яндекс.Метрика и Google Analytics бесплатные и имеют низкий порог входа. Но они довольно ограниченные и не позволяют гибко работать с сырыми данными, для нас блокирующим фактором стали ограничения на получения сырых данных и потери данных в ~10% по нашим исследованиям. Эти потери выглядели при аналитике как потеря некоторых событий в цепочке действий пользователей. На этих инструментах также нельзя строить что-то серьёзное в привязке к деньгам и не сливать финансовые данные. Мы замечали, что данные в этих системах иногда по-разному доходят до хранилищ, в результате чего и та и другая система врут относительно реальных данных по тем же заказам, причём в разные стороны. Возможно, там есть какая-то логика, из-за которой мы не можем получить все данные.
Есть простые решения, например, писать данные в логи, хранить какие-то агрегаты, полученные из логов в реляционных базах данных. И есть самое гибкое решение — построить свою дата-платформу. У этого решения нет всех недостатков предыдущих, но при этом есть дороговизна внедрения и необходимость поднятия под это инфраструктуры. Ну и нужен штат дата-инженеров. А ещё такая дата-платформа требует простоты работы с данными. В наших имеющихся системах, когда аналитики работали над продуктовой задачей, они тратили больше времени на подготовку данных, нежели на сам анализ. Ещё не хватало контроля качества и документации данных, которые мы собираем в нашу систему, и какого-то контроля потерь. Мы как минимум хотели бы сообщать аналитикам, насколько можно верить собранным данным. Плюс в требованиях было хранить целые сессии пользователей, а не какие-то агрегаты.
Мы начали собирать информацию, учиться, ходить на конференции, там общаться с людьми, которые строили уже подобные платформы. Мы не понимали какой стек нам вообще нужен для решения конкретно этой задачи. Были истории успеха у Netflix, у Linkedin и других новаторов в этой области, которые строили крутые дата-платформы, но непонятно было, пойдут ли нам эти решения. Если б мы просто начали тестировать, подходит ли нам конкретно вот этот стек для решения наших задач, то мы могли бы уйти в исследование достаточно на долгое время. В 2016 году вообще было мало практик по созданию подобных систем и мало компетентных специалистов, готовых построить систему с нуля.
К тому моменту наше хранилище для аналитиков состояло только из нескольких огромных реплик на MariaDb, куда стекались данные из всех 100+ серверов и наш опыт и опыт большинства компаний говорил о том что это не то решение, которое будет готово переварить хранение всех кликов пользователей.
Поскольку основное в архитектуре, с нашей точки зрения, было хранилище, начали мы именно с него. У нас уже на тот момент были реляционные базы, такие как MySQL, на которых было сложно получить реалтайм и правильно сегментировать данные — получалось, что они часто нужны нам в сыром виде. ClickHouse тогда ещё был недоступен публично, поэтому мы выбирали из Greenplum и Elasticsearch. В итоге мы пришли к решению, что будем внедрять Elasticsearch, потому что Elasticsearch решал несколько задач в нашей компании, например, такие как хранение логов приложений для задач эксплуатации инфраструктуры запуска наших приложений.
Elasticsearch — это документоориентированное хранилище с near-real-time доступом к данным. Данные в Elasticsearch не сразу становятся доступными для поиска. Чем меньше этот лаг, тем выше нагрузка на хранилище. Мы могли смириться с лагом в несколько минут, что снимало эту проблему. Ещё это распределённое решение для полнотекстового поиска, который имеет гибкие возможности масштабирования и достаточно богатые возможности для построения агрегации по данным. Elasticsearch позволяет гибко нарезать данные временных рядов, ну и организовывать работу с ними уже встроенными возможностями, без каких-то дополнительных действий. У них большая экосистема. Есть в стеке Kibana, которая позволяет достучаться к нашим данным, возможность строить визуализации и дашборды. Всё в бесплатной версии лицензии.
Но у этого хранилища были минусы, которые не были значительными на том этапе нашего развития:
Отсутствие SQL подобного языка запросов.
Нет join’ов в классическом понимании, но есть альтернатива.
Нет контроля консистентности и транзакций.
Ещё один источник данных для аналитиков который придётся осваивать.
Несмотря на все ограничения, хранилище успешно решало бизнес-задачи и имело вот такую структуру:
Год назад в хранилище было 12 Тб данных, и это без сессий ботов. 12 миллиардов документов. В среднем писалось по 20 тысяч записей в минуту. Бывали пики до 40 тысяч. Девять нод Elasticsearch.
Работало с базой пять продуктовых команд, 11 аналитиков и 2 дата-инженера на поддержке и развитии текущей системы.
«Вы распиливаете монолит, а мы собираем его обратно»
Мы росли, наша архитектура проекта развивалась, новые проекты делались на микросервисной архитектуре, старые монолиты постепенно разделялись на мелкие проекты, начало появляться множество серверов баз данных для изоляции между группами сервисов, c которыми работал production код. Итак, мы выросли из старой архитектуры из-за:
Потребностей в удобстве доступа к данным.
Скорости работы с данными.
Необходимости подключать удобные BI-инструменты.
Сложности поддерживания старой системы реплик и нескольких хранилищ.
Поменялись требования по порогу входа аналитиков, их функциям и ожиданиям по скорости проверки гипотез в единицу времени.
В качестве альтернативы ClickHouse мы рассматривали ещё некоторые системы аналитики, которые поставляются как SaaS (в сравнении с ними собственное внедрение open source окупалось за считанные недели, как нам казалось, посчитав потом, могу сказать — месяцы), были BigQuery, RedShift и решения в AWS. Но у нас не было экспертизы, как готовить такое, чтобы было экономически сообразно. Из того, что мы посчитали, всё было дороже и менее предсказуемым, чем MVP на базе ClickHouse. Плюс почти во всех облачных решениях нужно аналитиков контролировать и выстраивать процесс, чтобы они не сделали запрос, который обойдётся дорого, потому что оплата шла по факту за чтение/количество запросов и сложность этих запросов. Например, пропустил join по всей базе — и упс, прилетает счёт на пару тысяч долларов. В ClickHouse порог входа в аналитики куда проще: если они вдруг уложат хранилище, оно быстро упадёт и быстро поднимется. Но, скорее, пережуёт запрос. Переделывать принципы работы аналитиков мы не хотели, поэтому решили сразу, что плата за сложность запроса — плохая идея, которая потребовала бы внедрения новых процессов и обучения.
В ClickHouse хранение данных очень эффективное, то, что у нас занимало около 15 Тб в Elasticsearch, заняло в итоге 4 Тб в ClickHouse. В основном мы храним действия в сессии пользователя и состав выдач железнодорожных и авиабилетов ему. Есть и заказы, и билинг, и документы и всё остальное, но в сравнении с этими категориями это просто капля в море по объёму. Сейчас мы на пути сбора данных со всех сервисов компании (монолит и около 1000 микросервисов) и собираем их в одно Data Lake на базе ClickHouse. Такую задачу также можно решить поднятием кластера Spark или Hadoop, делающего распределённые join, но решения по сложности сопровождения и сложности архитектур сильно проигрывают ClickHouse.
На текущий момент удалось созданием внутренней базы знаний понизить порог входа в ClickHouse для разработчиков в командах, которые не имеют экспертов в хранилищах для использования ClickHouse как минимум для доставки данных от production кода до Data Lake на базе ClickHouse с минимальным оказанием консалтинга экспертов в ClickHouse для разработчиков, что позволило не делать «узким горлышком» одну команду и перенести зону ответственности на команды, которые являются источниками данных. С более сложными системами вроде Hadoop это сделать было бы сложнее.
В итоге схема, к которой мы пришли ниже, где ClickHouse играет важную роль:
За пару лет эксплуатации ClickHouse мы натыкались на ломающиеся достаточно важные части функционала, например, такие как ClickHouse-copier(инструмент для миграции данных между кластерами), мы не доверяем новым удобным фичам вроде чтения из Kafka или из других источников, потому как в случае проблем исследовать проблемы и делать drill down практически невозможно, и достаточно регулярно в них встречались баги или недокументированные особенности, которые приводили к потерям данных в краевых случаях, поэтому мы используем ClickHouse как решение для хранения и доступа к данным, а инструменты доставки используем во вне.
Мы считаем, что пока в начале пути, и ещё много надо сделать. В планах:
На текущий момент витрины данных для быстрого доступа у нас хранятся в Exasol, но мы хотим рассмотреть для этой задачи ClickHouse на основе Materialized View и встроить в наш процесс создания витрин.
Повысить скорость работы с данными которые требуют меньших задержек, чем получаем сейчас, хотим сократить скорость ответа для частых сложных запросов с десятков минут до 2-3 минут.
Научиться быстро локализовывать возникающие проблемы производительности новых запросов и ловить не оптимальные запросы на ранних этапах.
Интеграция со всеми сервисами, данные которых необходимы для какой-либо аналитики внутри компании.
Полностью заменить этим хранилищем те функции, которые выполняла большая реплика MariaDb которую упоминали ранее.
Наладить регулярное обновление до свежих версий ClickHouse, потому как часто появляются новые полезные для аналитиков фичи и ломаются старые.
Начать декомпозицию потоков данных по доменным областям и двигаться в сторону Data Mesh.
А в этом посте мой коллега рассказывает к какой схеме организации кластера пришли и почему.
Про инструменты доставки данных, особенности интеграции с шиной данных и как пришли к текущей архитектуре, мы расскажем в следующих статьях.
А еще у нас открыты вакансии и мы ищем к нам в команду еще одного классного DevOps на развитие этой инфраструктуры.
|
Артбук-мания: неделя №1 — any_stasya — LiveJournal
Ну, понеслась 🙂Неделя первая
задания, которые нужно выполнить за неделю:
• собрать личную коллекцию сокровищ;
• порезать и приклеить часть из нее на разворот блокнота;
• сделать из этого разворота коллаж, добавив туда нарисованных элементов.
Я не стала собирать коллекцию сокровищ, просто выдернула из той кучи, что уже образовалась у меня дома первый попавшийся журнал, и порезала пару картинок.
При просмотре страниц, а журнальчик получился не шибко вдохновляющий — про компьютерные игры, я неожиданно поняла, что на меня «смотрят» картинки с зимними пейзажами и чуваками на лыжах-сноубордах. Не стала сопротивляться — значит зима все еще не реализована во мне, и тема была выбрана.
Поклеила картинки. Взяла акрил намешала и сделала фон, потом дорисовала гору, потом решила нарисовать еще одну.. но она не получилась. «Ну и фиг с тобой» — подумала я, «будешь совой» и дорисовала ей голову с ушами и хвост. На дорисовку не было сил, да и как этих сов вообще рисуют?? Так что это пока отложила.. Посмотрела на картинку.. попробовала дорисовать ноги лыжнику, не получилось. Плюнула — замазала. Снова посмотрела.. Как-то пустовато. Взяла салфетку, нарезала снежинок и наклеила акрилом. Получилось страшно — как будто за лыжником гонятся три ужасных пропеллера, и именно от них он так скоренько удирает 🙂
На том и остановилась.
На следующий вечер смотрела на картинку, смотрела.. И решила нарисовать коньки. Достала из кладовки коробку, вытащила и разложила натюрморт. Нарисовала. Лежащий конек так и не смогла выправить — перекошен.
Плюнула на кривизну(по акрилу сильно карандашом не нарисуешься — плохо стираются линии) и раскрасила фломастерами. Получилось на удивление живенько! Отложила, походила вокруг. Надо рисовать сову, а я хоть и посмотрела в гугле как эти совы выглядят, но не уверена, что вообще смогу.. Разворот при этом выглядит каким-то пустым, элементы просто накиданы по поверхности и никак друг с другом не связаны. Попыталась нарисовать еще снежинок. Не получилось. Зато родилась идея человечков держащихся за руки. Нарисовала карандашом, раскрасила человечков. Достала акрил, намешала желтого и розового-барбевого, и получилось солнышко. Посмотрела на сову, выдохнула и нарисовала ей глаза. Обвела их фломастером, закрасила желтым.. Достала коришевый акрил, дорисовала перья и лохматость. И неожиданно получилась сова, а не хомячок, который каждый раз получался, когда я тренировалась рисовать сову. Оказывается сова и правда рисуется всего в 2 шага: 1. рисуем два овала, 2. рисуем все остальное 🙂
Все равно картинка выглядит пустой, но пока больше ничего в голову не приходит.
Мои картины сипухи — Художник дикой природы Роберт Фуллер
Амбарные совы — мои любимые хищные птицы, и я рисовал их больше, чем любых других. Мои работы основаны на наблюдениях за сипухами в дикой природе и на камерах, спрятанных в их гнездах. Нажмите здесь, чтобы перейти к моей камере гнезда сипухи
Прокрутите вниз, чтобы увидеть мою коллекцию картин с сипухами, и, конечно же, если вы заинтересованы в покупке каких-либо моих гравюр, перейдите по ссылкам в подписях к моему интернет-магазину. Я доставляю по всему миру и включаю персонализированную поздравительную открытку в каждую доставку.
Картины сипухи | Амбарные совы летом
Лето — прекрасное время, чтобы увидеть сипух, когда долгие вечера делают их более заметными. Эти картины происходят в это время года и варьируются от изображений сипух в начале лета, когда поля зеленые, до позднего лета, когда травы становятся золотыми, а совы сливаются с сезонным фоном золотой кукурузы.
Амбарная сова в Бердейле | Печать ограниченным тиражом | Доступно здесьСипуха в покое | Печать ограниченным тиражом | Доступно здесь
Сипуха на столбе забора | Печать ограниченным тиражом | Доступно здесь
Сипуха на трейлере | Печать ограниченным тиражом | Доступно здесь
Картины сипухи | Амбарные совы в полете
Нет ничего более особенного, чем вид сипухи, скользящей над живой изгородью, и поэтому я попытался запечатлеть этот беззвучный полет в этой коллекции картин.
Сипуха в полете | Ограниченное издание | Доступно здесь
Сипуха | Печать на заказ доступна по запросу | Нажмите, чтобы отправить электронное письмо
Сипуха в полете | Печать доступна по запросу | Нажмите, чтобы отправить по электронной почте
Картины сипухи | Амбарные совы зимой
Амбарные совы получили свое название от зданий, которые они выбирают для гнездования и ночлега. В этой коллекции представлены картины, изображающие амбарных сов, охотящихся в глубоком снегу, а также сипух, устраивающихся на ночлег в тепле амбаров зимой.
Амбарные совы в Дагглби | Печать ограниченным тиражом | Доступно здесьСипуха на бесшумных крыльях | Печать ограниченным тиражом | Доступно здесь
Картины сипухи: из архива
Ниже представлены несколько картин из моего архива. Как видите, я действительно люблю рисовать сипух больше, чем любую другую птицу.
Амбарные совы A3 2.tif
Все мои лимитированные издания печатаются в высочайшем качестве на плотной акварельной бумаге с использованием светлых стойких чернил.Их можно купить отдельно, в сборе или в рамке . Нажмите здесь, чтобы увидеть все отпечатки сов на моем сайте.
Хотите узнать больше о сипухах? Нажмите здесь, чтобы узнать все об этих красивых птицах
https://www.robertefuller.com/all-about-barn-owls-the-facts/
10 великолепных картин совы на продажу!
Раскрытие информации: Эта страница содержит партнерские ссылки.
**Все ссылки на этой странице являются партнерскими, то есть я получаю комиссионные за покупки, сделанные по этим ссылкам на этой странице, без каких-либо дополнительных затрат для вас.
Мои самые любимые картины с совами на продажу!
Красивая картина с совой
Картины с совами — потрясающие идеи подарков для любителей сов! 🙂
На этой странице «Сова» вы найдете самые великолепные картины с совами и фотопринты с совами для продажи!
Фотоотпечаток Неясыти
*Это красивая картина с совой!
Он готов повесить и наслаждаться!
Идеальный подарок в виде совы для особого любителя сов в семье!
Надеюсь, вам понравится моя подборка!
Потрясающий принт с изображением сипухи на холсте на продажу!
Печать на холсте сипухи
Печать на холсте сипухи (Tyto alba) в неволе, Аризонский музей пустыни Сонора, Тусон Великолепная печать сипухи!
Изготовлено из холста музейного качества и готово к подвешиванию!
На нем изображена сипуха (Tyto alba) в неволе из Аризонского музея пустыни Сонора, Тусон.
Это просто потрясающе!
Красочный абстрактный принт на холсте DOODLE OWL!
Красочный абстрактный принт на холсте OWL DOODLE
OWL DOODLE Абстрактное современное искусство Большой натянутый холст e7284 / Размер: 40″Ш x 30″В
Еще одна великолепная и впечатляющая картина с изображением совы на продажу!
Это так красочно!! №
Он также очень большой и будет выделяться на стене вашей гостиной!
Цена тоже очень хорошая!
Это станет прекрасным подарком для любителя сов в вашей семье!
Owl Babies Limited Edition Fine Art Frolic and Fun Watercolor
Рисунок милых совят
Owl Babies Limited Edition Fine Art Frolic and Fun Watercolor by Gayle Dowling 30×40
Какой милый и красочный рисунок совят!
Рисунок выполнен акварелью и готов к подвешиванию!
Прекрасно будет смотреться в детской!
«Влюбленные совы», ограниченная серия «Жикле изобразительного искусства»
Owls In Love Limited Edition Fine Art Cute Couple by Gayle Dowling
Owls In Love Limited Edition Fine Art Cute Couple by Gayle Dowling 40×50
Картина «Влюбленные совы» на одной из самых милых и очаровательных картин с совами, не так ли?
Это было красиво сделано с использованием забавных цветов и приятного контраста!
Какая прекрасная идея для подарка сове!
Вы также можете выбрать один из 12 различных размеров.
Современная 100% ручная роспись маслом совы!
Картина маслом «Сова»
OWL Современная 100% ручная роспись стены маслом
Красивая картина маслом на лице совы!
Хороший выбор цветов!
Похоже, она действительно находится в темном ночном лесу!
Отличная цена!
«The Wisdom of Whoos», оригинал, холст, масло
Сова Оригинал Холст, Масло
Под названием «Мудрость Whoos», оригинал, холст, масло, Марсия Эйсворт
Еще одна оригинальная и совершенно потрясающая картина с изображением совы маслом на холсте!
Вау!
Остался только один.
(Высокотекстурированный. 12 дюймов в высоту. 12 дюймов в ширину.)
Милая картина с совами для детской комнаты!
Рисунок милых сов для детей
Oopsy Daisy Owls On Branch Настенное искусство на холсте от Rachel Taylor, 36 на 18 дюймов
Эта милая и очень красочная картина с совами — одна из моих любимых!
Вы видите шесть симпатичных сов, которые наслаждаются «совиным временем» вместе на дереве!
Отлично будет смотреться в детской!
Oopsy Daisy Mod Сова на шоколадном натяжном холсте Wall Art
Рисунок милой совы
Oopsy Daisy Mod Owl on Orange Stretched Canvas Wall Art by Rachel Taylor, 10-1/2 на 10-1/2-Inch Это самая симпатичная и одна из самых доступных картин с совами!
Мне очень нравятся веселые цвета и креативный дизайн!
Доступен в нескольких цветах и разных дизайнах!
Наслаждайтесь!
Акриловая картина «Сова», 24 дюйма
Акриловая картина «Милая сова»
Акриловая картина «Милая сова», 24 дюйма
И последнее, но не менее важное: посмотрите, что я нашел!
Великолепная сова, нарисованная вручную акриловыми красками на хлопковом холсте!
Я люблю ее красивые бирюзовые глаза и перья!
Идеально подходит для любой комнаты!
Отличная идея для подарка сову! 🙂
*Надеюсь, вам понравились мои подборки картин с милыми совами с этой страницы, и вы смогли выбрать одну для своего дома! 🙂
Думаю, вам тоже понравятся эти:
Красивое настенное панно с совой!
*Как нарисовать сову акриловыми красками
А если вам интересно научиться рисовать сову своими руками, то это очень интересное видео! 🙂