Нижний Новгород

НРС: жизнь в параллельном мире

НРС: жизнь в параллельном мире

Недавно состоялся симпозиум "Высокопроизводительные вычисления", орагнизованный корпорацией Intel. В четвертый раз на эту встречу собрались представители индустрии, науки и образования, использующие параллельные кластерные технологии для решения практических задач, чтобы обсудить текущие и стратегические потребности в области НРС.

В первой части встречи были заслушаны шесть докладов.

Открыл его Виктор Самофалов, директор академических и исследовательских проектов Intel в России и СНГ. Он подчеркнул, что все большее значение в сфере высокопроизводительных вычислений (HPC) приобретает ПО. Сообщество НРС в России уже сформировано и есть все основания расширять формат его встреч, пытаясь сделать нечто подобное Форуму для разработчиков Intel.

Корпорация Intel уже два года проводит конкурс на лучшее приложения для параллельных вычислений, в этом году его поддержала корпорация "Роснано", суперкомпьютерный консорциум университетов России и программа СКИФ. Есть идея каким-то образом объединить этот симпозиум и конкурс. Что же Intel делает для НРС?

В основе всего лежат аппаратные решения, о них будет специальный доклад.

Второй уровень - это ПО. Intel разрабатывает все необходимые инструменты для разработчиков приложений для НРС.

Очень важно подчеркнуть платформенный подход Intel к оборудованию для НРС. Когда заказчик получает кластер, это не просто набор железа и ПО. Они связаны воедино и сертифицированы в том смысле, что Intel гарантирует бесперебойную работу всего комплекса. Даже приложения оптимизируются для работы на конкретном кластере.

Третий верхний уровень - это приложения. Intel сам не разрабатывает приложения, а создает инструменты для их разработки.

Сегодня существует несколько уровней параллелизма. Первый - параллелизм на уровне общей памяти. Следующий уровень параллелизма - на уровне кластера, то есть - нескольких машин, связанных между собой. Cегодня стандартом здесь является MPI (Message Passing Interface).

Если говорить о ПО, разрабатываемом в Intel для НРС, то здесь есть четыре направления. Первое - это компиляторы и библиотеки. В последние годы компиляторы существенно изменились и стали ориентироваться на многоядерность. То же самое касается и библиотек. Использование библиотек существенно ускоряет работу программ и приложений. Третье - это работа на уровне общей памяти и нитей, четвертое - на уровне кластера. Стоит специально отметить Parallel Studio, как инструмент упрощенной работы для кластеров под Windows.

Очень интересные инструменты Intel предназначены для оптимизации программного кода. Стоит обратить на Intel Trace Collector and Analisator. Именно он помогает анализировать программу и искать в ней ошибки.С его помощью можно увидеть проблемные места программы, занимающие много времени. При этом не надо думать, что эти инструменты заменяют голову программиста: устранять ошибки придется самостоятельно. Инструментов много, и было решено их объединить в один - Cluster Tool Kit Compiler Edition. Он состоит из компиляторов - как правило, у Intel их 2 - С и Fortran. К ним есть библиотеки, которые тоже оптимизированы под последние архитектуры процессоров. Intel делает и свой собственный MPI, чтобы он был оптимизирован под платформы Intel и не зависел от аппаратуры.

У корпорации Intel есть специальный сайт под названием whatif. Любой желающий попробовать новые разработки Intel (правда не промышленные разработки) может это сделать здесь.

Важнейшее значение в своей работе Intel придает развитию экосистемы - университетам, научным учреждениям, промышленным предприятиям, интеграторам иразработчикам ПО, а также правительственным организациям. Одна из форм работы с экосистемой - это центры компетенции. Наиболее известный из них - по НРС в МГУ. Есть еще один при академии наук в Новосибирске. В Южно-Уральском государственном университете центр сосредоточен на взаимодействии с промышленностью.Кроме этого у Intel есть 7 лабораторий в университетах, и по крайней мере 5 из них ориентированы на развитие НРС. Intel поддерживает и проводит семинары и конференции по НРС, проводятся мастер-классы по параллельным вычислениям. Intel стал первым ассоциированным членом суперкомпьютерного консорциума университетов России. Сегодня 48 университетов активно сотрудничают с Intel, 160 преподавателей бесплатно получили лицензии на продукты Intel и используют их в своих образовательных целях. Мы так интенсивно сотрудничаем с университетами, потому что основные суперкомпьютеры в России сегодня сосредоточены в университетах.

Второй доклад о делах и планах суперкомпьютерного консорциума университетов России сделал Владимир Воеводин, заместитель директора НИВЦ МГУ, член-корреспондент РАН.

Консорциум был образован в декабре прошлого года, но сделано уже немало. Сейчас очень активно ведутся разговоры о необходимости суперкомпьютерного образования и нужно ли оно вообще. Если взять ТОР50 самых мощных суперкомпьютеров СНГ, то каждый должны обслуживать как минимум 10 человек. На каждом суперкомпьютере работает какое-то количество пользователей. В МГУ на суперкомпьютере "Чебышов" зарегистрировано 240 групп пользователей. В результате простых арифметических операций получаем, что сегодня на суперкомпьютерах работают несколько тысяч человек. Где взять столько грамотных специалистов, которых сейчас целенаправленно никто не готовит. А ведь это только ТОР50. Параллельные вычисления сегодня нужны всюду и всюду используются, но нигде не преподают основы этих вычислений. Для координации усилий в этом направлении и был создан университетский консорциум.

Инициаторами его создания выступили 4 университета, сейчас в составе консорциума уже более 20 университетов, и есть много желающих в него вступить. Среди ассоциированных членов есть коммерческие компании (Intel стал первым таким членом) и академические институты.

На отчетном собрании консорциума 7 октября было много представителей промышленности - из АФК "Система", из нефтяной отрасли, из двигателестроительной корпорации и т.п. Интересно отметить, что развиваются нетрадиционные формы учебного процесса, такие как Интернет-университет суперкомпьютерных технологий. Он создан на базе Нижегородского университета, развивает его Виктор Павлович Гергель. Идея в том, что опытные преподаватели со всей России с помощью Интернет-трансляций читают лекции всем желающим. В любой момент лекции каждый слушатель может задать вопрос преподавателю. Еще одна новинка - коллективный банк тестов по параллельным вычислениям "Сигма".

Консорциум активно поддерживает три всероссийские конференции по параллельным вычислениям, на которых, кстати, объявляются весенняя и осенние версии списка ТОР50. В конце октября прошла молодежная школа на базе Нижегородского университета, где участники могли слушать лекции самого разного уровня по суперкомпьютерным параллельным вычислениям. Школа получилась очень сильной и слушателям были продемонстрированы возможности суперкомпьютерных вычислений в самых разных отраслях.

Наконец, в издательстве МГУ выходит книга с описанием реальных приложений суперкомпьютерных вычислений (при спонсорской поддержке Intel). В ней 26 больших статей, красочные фотографии и комментарии и большое количество коротких материалов. Хочется отметить статью об использовании суперкомпьютеров в НПО "Сатурн", традиционно широко они используются в нефтяной отрасли. Есть работы о прогнозе погоды и климатических изменениях. Очень интересная статья посвящена расчету горнолыжного комплекса в Красногорске: оказывается только на суперкомпьютере можно просчитать климат внутри этой "трубы" при различных внешних температурах. Не менее интересен и расчет оптимальной формы колеса для железнодорожного вагона, который, к сожалению, до сих пор не востребован реальным производством. Суперкомпьютеры позволяют сделать подробный анализ генетической последовательности в процессе образования новых видов растений и животных на нашей планете, проектировать материалы для солнечных батарей и оптимизировать раскрой трикотажных изделий. Все тексты этой книги в самое ближайшее время будут доступны в Интернете.

Суперкомпьютерный консорциум планирует активно развивать свою издательскую деятельность и в будущем появятся и другие книги, а также образовательные курсы для студентов. Будет развиваться и международное сотрудничество с поездками наших преподавателей на стажировку за рубеж и приглашением ведущих западных специалистов для чтения лекций в России.

5 октября в МГУ началось обучение специально группы по суперкомпьютерам, в которой обучается 37 человек с разных факультетов. Это дополнительная форма обучения - три раза в неделю по две пары с 18 часов. В декабре обучение будет завершено. Очень большое внимание этим начинаниям уделяет ректор МГУ В.А.Садовничий.

Далее Дмитрий Дождев, специалист по высокопроизводительным системам московского исследовательского центра компании Шлюмберже рассказал о практическом применении НРС-технологий при моделировании процессов в Московском исследовательском центре компании Шлюмберже.

Компания Шлюмберже - один из крупнейших в мире потребителей суперкомпьютерных вычислений и НРС-систем. Наши суперкомпьютеры не входят в ТОР500 по разным соображениям, но вполне могли бы быть там - это типичная ситуация для коммерческих структур. В компании Шлюмберже сейчас трудится около 80 тысяч человек, в России она присутствует с начала 90-х годов. Шлюмберже инвестирует знаительные средства в научно-исследовательскую деятельность, у компании 57 научных и 5 исследовательских центров, ее сотрудники пристутсвуют в 80 странах. Было время, когда Шлюмберже занималась производством процессоров, но потом этот бизнес был продан компании Intel. Сейчас Шлюмберже занимается всем, что связано с развелкой и добычей полезных ископаемых. Например, может взять на себя управление полным циклом существования любого месторождения. Кстати, сейсмическая разведка подземных недр - один из основных потребителей НРС-вычислений.

В вычислительном центре Шлюмберже ведутся самые разные исследования - моделирование пластов, обработка результатов сейсмической и акустической разведки, геомеханические расчеты. Очень много проектов ведутся совместно с академическими институтами. В среднем расчеты идут на 1-10 миллионах ячеек, но уже есть и задачи для 100 миллионов ячеек, готовится переход и на миллиард ячеек. Для этих расчетов используются как собственные разработки, так и стандартные наборы программ, в частности, для моделирования.

Настоящим прорывом для вычислительного центра Шлюмберже стал переход на архитектуру Nehalem процессоров Intel. Скорость расчетов ощутимо выросла, в 2-3 раза, гораздо эффективнее стало работать моделирование.

Г-н Дождев подчеркнул, что очень большой вклад в замедление скорости расчетов вносит система обмена информацией между памятью и процессорными ядрами. По результатам собственных исследований ВЦ Шлюмберже, наиболее эффективной оказывается система интерконнекта Infiniband.

Одна из больших проблем при работе с высокопроизводительными вычислениями и суперкомпьютерами - это отсутствие квалифицированных специалистов, нет сомнения в том, что давно пора приступать к их целенаправленной подготовке. Компания Шлюмберже начала работать с кластерными вычислениями в 2002-2003 гг и пять лет мы нарабатывали собственную экспертизу для эффективной работы с ними. Процесс очень сложный, потому что те, кто разбирается в высокопроизводительных вычислениях не разбираются в физике процесса и наоборот. Зато набрав этот опыт, уже в начале 2010 года ВЦ Шлюмберже переходит к многомесячным расчетам с использованием 1000 ядер процессоров.

Инженер-технический консультант Intel Владимир Цымбал рассказал об истории успешного использования программных инструментов Intel компаниями-разработиками программного обеспечения.

Первая компания - Simatron. Центр разработки ее находится в Израиле, практически все из 40 разработчиков приехали из Санкт-Петербурга. На 2008 год было реализовано более 20 тысяч инсталяций продукта Simatron (это система автоматического проектирования CAD) по всему миру. Проект разрабатывался в среде Visual studio 2008, продукт содержит 5 миллионов строк кода на С++, три сотни библиотек, очень много кода сторонних производителей. При разработке использовался компилятор Intel и разработчики жаловались на большое количество проблем. Авторы попытались самостоятельно распараллелить программу, она на двухядерных процессорах стала исполняться быстрее, а на четырехядерных почему-то медленнее. Для отлаживания продукта авторы сами попробовали использовать Intel trade checker, который помогает находить в динамике ошибки многопоточности. К сожалению этот продукт просто не заработал с их программой. Задачу удалось решить только с помощью экспертов Intel: программа была настолько сложна, что Intel trade checker работал по несколько суток для проверки отдельных частей. В конце концов удалось найти две ошибки, после устранения которых все заработало.

Второй инструмент, который использовали авторы - это профилеровщик программ Intel. С его помощью также удалось найти несколько ошибок. После устранения всех ошибок оказалось, что при переходе на двухядерные процессоры скорость работы программы увеличивается на 27%, а на четырехядерных процессорах - на 43%. И это прекрасный результат для такого большого продукта.

Второй пример - это проект трехмерного моделирования и симулирования компании Open Cascade, применимый в самых разных областях - машиностроении, судостроения, авиастроения. С помощью продуктов Intel им удалось отыскать некоторые ошибки, после чего работа отдельных элементов программы увеличилась в 10 раз, а всего комплекса в два раза.

Используя Intel parallel inspector - инструмент для поиска ошибок многопоточности, который помогает улучшать корректность работы приложений - удалось найти много ошибок, которые приводили к нестабильности работы.

Здесь очень важно отметить, что и Simatron и Open cascade получили для своей работы Intel parallel studio еще на стадии альфа-тестирования, и они не только использовали его для работы над собственными продуктами, но и давали Intel очень ценные рекомендации по его улучшению. В результате в продукт Intel было внесено около 30 изменений. Это значит, что в продукты Intel при их совершенствовании вносится не только труд тысяч экспертов Intel, но и гораздо более широкого сообщества разработчиков.

Алексей Рогачков, региональный специалист по внедрению продукции Intel рассказал об аппаратных решениях Intel для высокопроизводительных вычислений. Он отметил, что хотя для большинства людей в мире Intel был и остается процессорной компанией, на этой конференции большая часть времени уделена программному обеспечению. И все же забывать о микропроцессорах нельзя.

Основа модели "тик-ток" развития микропроцессоров Intel сегодня -- это смена микроархитектуры раз в два года и смена технологического процесса раз в два года. Это два основных рычага повышения производительности микропроцессоров, в Intel их внедрение очень удачно разнесено по времени: один год меняется микроархитектура, следующий год - технологический процесс. Таким образом разнесены по времени и все сложности и ошибки этих очень сложных процессов. Время показало, что эта модель работает, и это позволяет Intel оставаться лидером на рынке микропроцессоров.

Nehalem - это микроархитектура, лежающая в основе практически всех продуктов Intel, имеющихся на рынке сегодня. 30 марта 2009 года были представлены процессоры Intel Xeon 5500, и это был очень важный шаг, поскольку впервые была представлена архитектура, оптимизированная под четырехядерные процессоры. Этот процессор стал первым массовым продуктом, в который встроен контроллер памяти. Кроме того, в этой серверной платформе впервые есть широкий набор возможностей ввода-вывода. Процессоры Intel Xeon 5500 дают двух-трехкратный рост производительности в реальных процессах, такого не было никогда. На этой микроархитектуре остались нереализованными только многосокетные процессоры под названием Nehalem-EX, которые появятся в ближайшее время. Г-н Рогачков отметил гибкость микроархитектуры Nehalem и сказал, что с ее помощью можно делать и восьмиядерные процессоры. С их помощью в одну стойку можно будет поместить 1000 вычислительных ядер, с технологией гипертрейдинг это будет 2000 программных потоков в одной стойке.

Гибким будет и сам процессор Nehalem-EX, с его помощью Intel планирует выпускать конфигурации от 2 до 32 сокетов. 2 сокета по 8 ядер - очень высокая плотность упаковки. По мнению экспертов Intel для высокопроизводительных вычислений наиболее интересными будут шестиядерные процессоры Nehalem-EX, поскольку в них соблюден оптимальный баланс между количеством ядер и тактовой частотой.

Следующий технологический процесс - это 32 нанометра. Буквально в эти дни запускается новый завод Intel, который в следующем году будет производить продукты по этому технологическому процессу для массового потребления. Несмотря на сложную экономическую ситуацию в начале 2009 года Intel объявил об инвестициях 7 миллиардов долларов в технологию производства.

Процессоры по технологии 32 нм будут делаться с минимальными отличиями от существующих сейчас моделей, с тем же сокетом и чипсетом. Это означает минимальное время проверки и представления новых продуктов, а для заказчиков - минимальное время перехода на новую платформу с более высокой тактовой частотой.

Еще одна интересная сфера деятельности Intel - это твердотельные накопители. Когда они появились, основные жалобы пользователей относились к высокой цене этих накопителей. Обратите внимание: год назад такие накопители для массового сегмента (сделанные по технологии 50 нм) стоили около 600 долларов, а сейчас их цена (сделанных по новой технологии 34 нм) снизилась до 200 долларов. Тенденция очевидна.

Если "набить" стойку обычными дисками и SSD-дисками, то у последней в 115 раз выше будет количество "IOP", то есть, операций ввода-вывода за секунду, установившаяся пропускная способность - в три раза выше, а энергопотребление - в пять раз ниже. Эти цифры дают масштаб выигрыша для крупных установок. Большинство систем в области высокопроизводительных вычислений - это кластерные системы. Огромное значение при сборке таких больших систем имеет значение совместимость всех элементов, которая далеко не всегда имеет место. Чтобы облегчить жизнь всем участникам процесса и появилась программа Intel cluster ready. Она состоит из целого набора тестов, проверенного оборудования и проверенного ПО для решения типовых задач. Сборщикам остается собирать эти решения в единое целого c полной уверенностью, что они готовы к работе.

Основные акценты стратегии Intel в будущем - это повышение производительности процессоров, снижение их энергопотребления. Поставлена цель каждый год на 50% повышать производительность на ватт потребляемой энергии. Сейчас интенсивно идут исследования того, сколько энергии тратится на перемещения байта информации на разных этапах вычислительного процесса. Оказывается больше всего - в десять раз - тратится на перемещение из памяти в процессор. Сейчас в лабораториях Intel пытаются либо снизить этот показатель, либо пододвинуть память поближе к процессору.

Еще одно стратегическое направление развития - это увеличение количества ядер. Эти ядра могут стать более простыми и получить какое-то специфическое назначение. Например в будущей микроархитектуре Intel Sandy Bridge графическое ядро планируется расместить на кристалле процессора.

В заключение, г-н Рогачков сказал, что у Intel есть целый набор продуктов для рынка высокопроизводительных вычислений. Это и аппаратные решения по технологическому процессу 45 нм - Xeon 5500 для массовой платформы и грядущий Nexalem EX с различными объемами кэш-памяти, количеством ядер и конфигурациями. Это и процессоры, изготовленные по новому технологическому процессу 32 нм. Это и программа Intel cluster ready и многое-многое другое.

Директор департамента по внешним связям Intel Александр Козлинский рассказал об опыте партнерства Intel в сфере НРС. О том значении, которое Intel придает направлению НРС говорит хотя бы тот факт, что в Intel создано специальное подразделение, занимающееся НРС и его курируют первые лица компании. У компании Intel есть много способов партнерства - это и лаборатории, и коммерческие предприятия, но самое интересное - это некоммерческое партнерство, которое называется НК-центр. Такие некоммерческие партнерства образуются в областях возможной экспансии Intel. Партнерства образуются тогда, когда у партнера есть признанное лидерство в этой области и серьезная экспертиза. Обязательное условие - совместное финансирование. Создается либо совместная лаборатория, либо исследовательский центр, либо институт.

Первый образец такого сотрудничества - это Visual computing institute в Германии на базе института Фраунтгофера, после совместного финансирования он успешно работает уже более года. Второй пример - Ирландия, где создана лаборатория здравоохранения. Intel очень интересуется цифровым здравоохранением, поэтому вкладывает средства в совместные разработки. Третий пример - это лаборатория Moblin на Тайване. Moblin - это специальная операционная система, разработанная в Intel, Open source проект, ориентированный на встроенные системы (embedded) и MID (мобильные Интернет-устройства). Лаборатория создана совместно с правительством Тайваня, там работают эксперты Intel и специалисты Тайваня.

Последний пример, более свежий и важный для нас, это центр НРС во Франции, открытый два месяца назад. В числе партнеров Intel в этом центре - Комиссия по атомной энергетике, Национальное агентство высокопроизводительных вычислений, государственный университет. Цели центра понятны, это петафлопные компьютеры, их оптимизация и исследования в области более мощных суперкомпьютеров. Инвестиции с каждой из сторон достаточно внушительны - по несколько миллионов евро. Пока сотрудничество рассчитано на пять лет.

Что в таком плане можно сделать в России? Intel в России представлен достаточно широко, есть несколько центров, где работают разработчики Intel. Кроме этого, в России есть шесть университетских лабораторий Intel, в Московском Физико-техническом институте работает целая кафедра. На этой базе можно строить сотрудничество Intel с некоммерческими организациями в России. Перспективнее всего сотрудничество в области исследований и разработок. Второе направление - это сотрудничество в подготовке кадров для НРС.

Итоги форума подвел Виктор Самофалов. По его мнению, очень хорошо, что на этой конференции основное внимание было уделено программному обеспечению. Не менее важно и то, что много говорили о партнерстве и сотрудничестве, а не о технических деталях оборудования. Если говорить о рынке НРС в России, то он небольшой, но скорость его роста - 40-60%. Приятно отметить присутствие доклада компании Шлюмберже на конференции, а также то, что в перерыве именно к этому докладчику было очень много вопросов.

Во второй части симпозиума прошел круглый стол "Суперкомпьютеры в России: производство, обучение, потребление", который вел директор пресс-службы Intel в России и СНГ Михаил Рыбаков.

Открыл его своим коротким выступлением директор по развитию корпоративных проектов корпорации Intel Николай Местер.

Он сказал, что корпорация Intel активно участвует в развитии рынка НРС, поскольку поставляет для него процессоры и другие компоненты. Однако, сама экосистема НРС гораздо больше, чем Intel, поскольку в нее входят и разработчики ПО, и интеграторы, и создатели кластеров и многие другие компании. Если постараться проанализировать изменение ситуации на рынке НРС за последние год-два, то можно выявить на нем такие тенденции.

Во-первых, наблюдается сильный рост интереса к теме высокопроизводительных вычислений. В большой степени причиной тому можно считать и активность Intel, которая стартовала в России с 2002-2003 гг. Начинал Intel c 1-2 клиентов, бизнес которых существенно зависел от НРС. С 2004 года начался постепенный рост совокупной вычислительной мощности НРС в России. Тогда общий объем вычислительной мощности 50 крупнейших суперкомпьютеров составлял несколько терафлопов. К 2006 году он вырос до 15-20 терафлопов. Начиная с 2007 года, когда правительство России стало вкладывать существенные средства в проект "Образование", тематика НРС была активно поддержан университетами страны. Буквально за год был совершен прыжок до 100-150 терафлопов. За это время в России сформировалось три суперкомпьютерных центра - Межведомственный суперкомпьютерный центр, МГУ и Курчатовский институт. Для России и всего мира характерно такое соотношение: самый мошный кластер опережает средние по отрасли в 6-10 раз. Если самый мощный кластер России в МГУ имеет мощность 500 терафлопов, то средний подтягивается к 50 терафлопам.

Итак, 2007 год характеризовался резким ростом количества кластеров НРС. Если раньше их было около пяти, то стало - 15-20. Появились кластеры в несколько терафлопов, на которых начали считаться реальные задачи. Нефтяная отрасль, аэродинамика, гидродинамика - вот что стало на них считаться.

В 2008 году продолжали укрупняться кластеры трех основных центров НРС. В 2009 году по отношению к 2008 году суммарного увеличения мощности российских кластеров не произошло, Усилия консолидировались и скачок роста произойдет в 2010 году. За все предыдущие годы в НРС было продано около 8 тысяч процессоров, а в 2010 году их будет продано 15-16 тысяч. В 2010 году совокупная мощность российских суперкомпьютеров першагнет через 1 петафлоп. Важно и то, что в конце 2009 года в России был реализован НРС-проект, характерный по масштабу для Европы - 30-40 миллионов евро. Все это говорит о том, что тенденции развития НРС в России, класс решаемых на суперкомпьютерах задач не отличаются и даже не отстают от европейских. 8 российских суперкомпьютеров попали в ТОР500 мировых суперкомпьтеров, 7 из них сделаны на процессорах Intel. Стоит отметить и то, что 403 суперкомпьютера из ТОР500 сделаны на процессорах Intel.

Отвечая на вопросы участников круглого стола, г-н Местер отметил, что средний срок жизни суперкомпьютера в Европе составляет 3-4 года, потом он подлежит модернизации - переходу на новую микроархитектуру процессоров.

Далее шла общая дискуссия о проблематике суперкомпьютерного образования и о его востребованности в обществе, о необходимости смотреть в будущее, когда количество ядер в процессорах достигнет тысяч и десятков тысяч и о многих других актуальных проблемах высокопроизводительных вычислений.

Все новости рубрики новости телекоммуникаций за сегодня

© 1996-2012 INNOV.RU (Иннов.ру), ООО «Иннов», г. Нижний Новгород Свидетельство РОСКОМНАДЗОРА ИА № ТУ 52-0604 от 29 февраля 2012 г. Дизайн-студия «Иннов» - продвижение и cоздание сайтов