Alpenforum

Альпийский форум, нейтральный взгляд - политика онлайн

Вы не подключены. Войдите или зарегистрируйтесь

Сильная новость из раздела импортозамещения. Яндекс завершил переход с Oracle на открытую СУБД PostgreSQL

Начать новую тему  Ответить на тему

Предыдущая тема Следующая тема Перейти вниз  Сообщение [Страница 1 из 1]

https://aftershock.news/?q=node/436737 

В июле 2016 года «Яндекс» завершил перевод своего почтового сервиса на PostgreSQL. Переписывание всего кода для работы с Oracle и PostgreSQL в общей сложности заняло 10 человеко-лет. 

Развертывание почтового сервиса на базе PostgreSQL потребовало использования в три раза больше аппаратного обеспечения. 

Экономический эффект от миграции в компании предпочли не комментировать, равно как и планы по переводу с Oracle на PostgreSQL каких-либо других своих систем и сервисов. 

Недостатки СУБД Oracle 


«Яндекс» был недоволен тем, что с СУБД Oracle приходилось проводить множество ручных операций (например, «наливка» новой базы, переносы данных), были проблемы с разработческими окружениями, «не очень отзывчивая поддержка» и др. Об этом говорится в одной из презентвций системного администратора «Яндекс.Почты» Владимира Бородина, посвященной проекту миграции на PostgreSQL. 

Во-первых, Oracle стоит как чугунный мост. Во-вторых, частенько мы наталкиваемся на какие-то внутренние оракловые проблемы. Единственный способ что-то сделать - это обратиться в поддержку. Они нам обещают, что когда-нибудь починят, но «когда-нибудь» - это плохо. Нам надо прямо сейчас. По этим двум причинам мы решили отказываться от Oracle, - об этом говорил Владимир Бородин, выступая на конференции PostgreSQL Meetup еще в сентябре 2014 года 

На конференции PGConf в феврале 2015 года он отмечал, что Oracle перестал устраивать «Яндекс» задолго до санкций и импортозамещения. 

2012-2013: Старт проекта миграции на PostgreSQL и «пилот» 
В 2012 году компания приняла «политическое» решение избавиться от Oracle за три года. 
С июля 2013 года июнь 2014 года «Яндекс» проводил эксперимент на базе PostgreSQL со сборщиками почты. Сборщик - это «такая штука, которая ходит в другие почтовые системы по IMAP или POP3, собирает письма и кладет к вам в ящик. Нужно хранить информацию, куда и как ходить, и информацию о том, что уже собрано. Все метаданные лежали в Oracle, ровно как и все метаданные почты», рассказывал Владимир Бородин. 
В результате миграции сборщиков в Postgres было перенесено 2,5 ТБ данных (около 17 млрд строк). Нагрузка системы - 40 тыс. запросов в секунду. По времени проект занял примерно полгода. 
На лицензиях в результате отказа от Oracle в этом проекте, по словам Бородина, сэкономили столько, «что людям, которые этим занимаются, хватит на Бентли». 



2015: Сотрудничество с Postgres Professional 
По мнению Олега Бартунова, гендиректора компании «Постгрес Профессиональный», «Яндекс» всерьез заинтересовался Postgres. «За последнее время я прочитал их сотрудникам три лекции», - сообщил он TAdviser в июле 2015 года. 

В проекте миграции почты «Яндекс» «сам проявил инициативу, сэкономил кучу денег, обеспечил нагрузку, отказоустойчивость», добавляет заместитель гендиректора «Постгрес Профессиональный» Иван Панченко. 

Но интерес «Яндекса» в отношении Postgres, по словам Бартунова, гораздо шире, чем почтовый проект (в самом «Яндексе» это не подтверждают). 

Они обратились к нам с просьбой создать в Postgres такие инструменты, чтобы им было легче проводить миграцию других систем, - рассказал TAdviser гендиректор «Постгрес Профессиональный». - Мы сделали возможность профилирования базы данных для работы в многоядерных серверах - это вещь, которая нужна всем владельцам крупных систем. Ее наличие позволит сделать Postgres еще более подходящим для крупных заказчиков. 
В «Яндексе» TAdviser пояснили, что «Постгрес Профессиональный» разрабатывает для компании дополнительную функциональность, связанную с диагностикой и оптимизацией производительности: «Через некоторое время она будет доступна в бесплатной открытой сборке PostgreSQL, чтобы ей могли пользоваться и другие разработчики – это одно из условий нашего договора». 
В «Постгрес Профессиональный» называют «Яндекс» одним из важнейших клиентов: «Для многих других компаний он является серьезным примером, показывающим возможности Postgres». 

2016: Завершение миграции 
К декабрю 2015 года сборщики почты были полностью переведены на новую СУБД, а в январе 2016 года начался основной перенос на нее почтового сервиса, следует из материалов Владимира Бородина. По итогам проекта в «Яндекс» осознали, что это далеко не последний проект с Postgres: «Нам очень понравилось. Были запущены другие проекты». 

В июле 2016 года «Яндекс» завершил перевод своего почтового сервиса на PostgreSQL. Переписывание всего кода для работы с Oracle и PostgreSQL в общей сложности заняло 10 человеко-лет, приводят данные в «Яндексе». 

Возникшие в процессе миграции проблемы Владимир Бородин связывает, в основном, не с PostgreSQL, а с данными: за более чем 10 лет существования «Яндекс.Почты» их накопилось очень много. Кроме того, возникали ошибки в коде переноса. В «Яндексе» заявили TAdviser, что в основном работали над ошибками в логике переноса данных. 

В целом сложностей в ходе эксплуатации почты на PostgreSQL оказалось меньше, чем ожидал «Яндекс», но они, конечно, были, отметили в разговоре с TAdviser представители компании. 

Развертывание почтового сервиса на базе PostgreSQL потребовало использования в три раза больше аппаратного обеспечения. Это связано с принципиальными различиями используемого «железа», с изменившейся нагрузкой на СУБД и ее производительностью, объяснили TAdviser в «Яндексе». 

Мы перешли от вертикального масштабирования небольшого количества дорогих серверов к горизонтальному, когда серверов больше, но они дешевле, - заявили TAdviser в «Яндексе», добавив, что при этом изменилась только структура, производители не менялись. 
Говоря о преимуществах PostgreSQL, в «Яндексе» отметили: 

PostgreSQL – открытая система, поэтому мы можем сами оперативно решать возникающие проблемы. Это важно для сервиса, работающего в режиме 24/7. Кроме того, в PostgreSQL кэш библиотек не блокируется, а значит развертывание изменений (в том числе и на этапе тестирования) становится проще, - заявили TAdviser в компании. 

Экономический эффект от миграции в компании предпочли не комментировать, равно как и планы по переводу с Oracle на PostgreSQL каких-либо других своих систем и сервисов. Ранее Владимир Бородин рассказывал, что PostgreSQL успешно используется в «Яндекс.Картах» - «из-за божественного PostGIS'а». В этом проекте свободная СУБД была выбрана изначально. 

Посмотреть профиль
Bloomberg: Москва отказывается от Microsoft Outlook на 600 тыс мест и переходит на российское ПО

Moscow Drops Microsoft Outlook as Putin Urges Self-Sufficiency 

http://www.bloomberg.com/news/articles/2016-09-27/moscow-drops-microsoft-outlook-as-putin-urges-self-sufficiency 

Правительство Москвы заменит почтовое ПО Microsoft на 600 тыс. компьютеров на российское корпоративное ПО MyOffice Mail разработки New Cloud Technologies (ООО "Новые облачные технологии"). Первая очередь проекта - 6 тыс. ПК. Генподрядчик - Ростелеком. Об этом заявил руководитель Департамента информационных технологий города Москвы Артём Ермолаев на брифинге для прессы. Далее будет рассматриваться замена ОС Windows и Microsoft Office. 

Переход на отечественное ПО активизировался после того, как американские софтверные компании прекратили оказывать услуги по поддержке и обновлению ПО в Крыму и в отношении российских предприятий, внесённых в санкционный список. 

По данным Минсвязи РФ, госорганы тратят около 20 млрд. рублей ($295 млн.) в год на импортное ПО. Минсвязи опубликовало реестр российского ПО на замену продуктам ведущих глобальных производителей. 

Посмотреть профиль
Объединенная приборостроительная корпорация (ОПК) перенесла на Эльбрус систему инженерных расчетов в аэро- и гидродинамике

http://www.vestifinance.ru/articles/72513

"Объединенная приборостроительная корпорация" (входит в госкорпорацию "Ростех") совместно с компаниями МЦСТ и ТЕСИС успешно завершила первый этап работ по переносу на платформу "Эльбрус" программного комплекса вычислительной аэро- и гидродинамики FlowVision. В результате создан рабочий прототип 100% российского программно-аппаратного комплекса для выполнения промышленных инженерных расчетов.

Flowvision обеспечивает решение широкого класса задач в области гидро- и газодинамики и процессов горения. Система активно используется на предприятиях оборонно-промышленного комплекса, в ракетно-космической отрасли, авиационной и судостроительной промышленности, на предприятиях "Росатома". 

С ее помощью могут быть выполнены сложные расчеты, например характеризующие работу различных трубопроводов и насосов, приводнение космических аппаратов, внешнее обтекание морских судов или самолетов и т. д.

"Совместными усилиями компаний-партнеров сделан важный шаг на пути создания полностью российских программно-аппаратных комплексов для решения инженерных задач на всем протяжении жизненного цикла продукции, - комментирует руководитель ИТ-департамента Объединенной приборостроительной корпорации Павел Хрипунов. – Необходимость такой работы обусловлена повышенными требованиями к информационной безопасности в стратегических отраслях промышленности, прежде всего в оборонно-промышленном комплексе. Созданный продукт сопоставим по качеству с известными иностранными аналогами, имеет конкурентоспособную цену. Он полностью готов к использованию на предприятиях, попавших под западные санкции".

В настоящее время программный комплекс FlowVision позволяет использовать четырехпроцессорный сервер "Эльбрус-4.4" для проведения расчетов и рабочую станцию "Эльбрус-401" для визуализации и анализа результатов. Благодаря высокой степени параллельности FlowVision полномасштабный запуск численного моделирования возможен и на вычислительном кластере на базе серверов "Эльбрус-4.4".

В составе "Ростеха" ОПК определена головной компанией, отвечающей за разработку вычислительной техники, телекоммуникационного оборудования и сопутствующего программного обеспечения для гражданского рынка. В настоящий момент корпорация выводит на рынок образцы импортозамещающей техники связи и передачи данных – IP-АТС, маршрутизаторы и коммутаторы операторского класса. В перспективе большая часть оборудования производства ОПК будет строиться на российских микропроцессорах нового поколения.

Недавно было объявлено о завершающем этапе разработки российского микропроцессора нового поколения – восьмиядерного "Эльбрус-8С", а в 2018 г. планируется представить следующее поколение – "Эльбрус-16С" – производительностью свыше 512 Gflops.
Подробнее:http://www.vestifinance.ru/articles/72513

Посмотреть профиль

Бушок

avatar
Гуру
Гуру
слава собянину


_________________
pisda должна пахнуть pisdoi
Посмотреть профиль
Бушок пишет:слава собянину

а также Путину и Единой России. Без их руководящей и направляющей роли, Россия сейчас была бы в говне, как при Ельцине и Лужкове

Посмотреть профиль
Минкомсвязи закупило «железо» на «Эльбрусах» на 80 млн.руб.
https://sdelanounas.ru/blogs/96744/



Минкомсвязи определилось с поставщиком и ценой контракта относительно «железа» для своего сегмента ГИС паспортно-визовых документов нового поколения. В результате за 80 млн руб. технику на процессорах «Эльбрус-4C» поставит компания «Эльбрус-2000″.




    • "Железо» для Минкомсвязи на «Эльбрусах»

      Минкомсвязи задействует для развития своего сегмента госсистемы изготовления, оформления и контроля паспортно-визовых документов нового поколения вычислительную технику на отечественных процессорах «Эльбрус», заплатив за нее 80,9 млн руб. В завершившемся 12 июля 2017 г. тендере на поставку данного «железа» со стартовой ценой контракта в 82,2 млн руб. победителем оказалась компания «Эльбрус-2000». Конкуренцию ему безуспешно пыталась составить компания «Авангард ИТ» с ценой предложения в 81,4 млн руб.
      В конкурсной документации нет прямого указания на процессоры «Эльбрус», однако в пользу версии о том, что именно на них будут построены серверы и автоматизированные рабочие места (АРМ) для системы говорит сразу несколько фактов.
      В техзадании Минкомсвязи есть раздел «актуальность осуществления поставки товара» с отсылкой к утвержденной Правительством стратегии развития ИТ-отрасли, в рамках которой министерство придерживается «последовательной технической политики» по приоритезации в госинформсистемах свободного ПО и замещения «железа» на решения российских разработчиков и компаний «иностранных государств, не вводивших санкционных ограничений по отношению к России"Минкомсвязи использует в ГИС технику на „Эльбрус-4C“ за 80 млн



      В разделе, посвященному специфическим требованиям к процессорам, говорится о необходимости использовать чипы „архитектуры VLIW с явным управлением параллелизмом команд“. С семейством архитектур VLIW для своих процессоров экспериментируют американские компании Intel, AMD, Qualcomm, Texas Instruments, Transmeta, Tilera и голландская Philips. „Санкционно чистыми“ на этом фоне можно считать только российские процессоры семейства „Эльбрус“, разрабатываемые компанией МЦСТ и Институтом электронных управляющих машин им. И. С. Брука.
      При этом победитель тендера — компания „Эльбрус-2000“ — по базам данных ЕГРЮЛ и „Контур.фокус“, с обеими этими организациями связана — через своих бывших учредителей.
      Указанным в ТЗ корпусом с маркировкой „1600L HFCBGA“ обладают процессоры „Эльбрус-4C“. Накануне публикации этого материала представитель „Эльбрус-2000“ Сергей Ройко подтвердил CNews справедливость данных выводов. „Да, верно, планируем, что серверы и АРМ будут на процессорах „Эльбрус-4C““, — сообщил он.
      В пресс-службе Минкомсвязи в течение почти суток не смогли прокомментировать CNews свою закупку.
      Поставка „железа“ заказчику должна завершиться до 31 июля 2017 г. Местом поставки указано здание ФГБУ НИИ „Восход“ — подведомственное Минкомсвязи учреждение.
      Характеристики „Эльбрус-4C“
      "Эльбрус-4C» — 64-разрядный универсальный микропроцессор. Он содержит 4 ядра, работающие на частоте 800 МГц, поддерживает три канала памяти DDR3-1600. Также в нем поддерживается объединение до четырех чипов в многопроцессорную систему с общей памятью. Процессор произведен по технологии 65 нанометров, его среднее энергопотребление составляет 45 Ватт.
      За один такт каждое ядро процессора может выполнить 23 операции. Базовой операционной системой для процессора является ОС «Эльбрус», построенная на основе ядра Linux версии 2.6.33. В ее состав входят менеджер пакетов и более 3 тысяч программных пакетов из состава дистрибутива Debian 5.0. Имеется полный набор инструментов разработчика, в который входят оптимизирующие компиляторы для языков высокого уровня «Си», «Си++", «Фортран-77» и «Фортран-90», отладчик, профилировщик, а также библиотека математических функций и сигнальной обработки.
      В составе какого «железа» закупаются «Эльбрусы»
      Номенклатура поставки в рамках заказанных работ разбита на несколько групп. Программно-технические средства компонента сопряжения системы со СМЭВ включают два сервера приложений (не менее четырех процессоров в каждом), два сервера баз данных (не менее четырех процессоров), АРМ (не менее одного процессора), два коммутатора сети передачи данных, серверный шкаф, переключатель IP KVM, систему обнаружения вторжений и СКЗИ двух типов: центр управления сетью криптошлюзов и отказоустойчивый модуль из двух аппаратно-программных комплексов межсетевого экранирования.
      Для моделирования работы типовых объектов ведомственных сегментов системы на стенде ее главного конструктора Минкомсвязи закупает шесть серверов (не менее четырех процессоров в каждом), три сервера (не менее одного), семь АРМ (не менее одного), коммутатор сети передачи данных, серверный шкаф, переключатель IP KVM.
      Для стендирования универсального удостоверяющего центра приобретаются семь серверов (не менее 4 процессоров), два сервера (не менее одного процессора), четыре АРМ (не менее одного процессора), два ИБП, два коммутатора сети передачи данных.Для модернизации удостоверяющего центра Международной организации гражданской авиации (спецучреждение ООН) Минкомсвязи необходимы сервер (не менее одного процессора), АРМ (не менее одного), два съемных датчика случайных чисел.
      Для модернизации корневого центра инфраструктуры расширенного контроля доступа (ИРКД) системы закупаются четыре сервера (не менее одного процессора в каждом), два АРМ (не менее одного), ИБП. Для промежуточного центра ИРКД потребовались четыре сервера (не менее четырех) и два АРМ (не менее одного).
      Для модернизации стоечного оборудования системы Минкомсвязи ожидает от поставщика три серверных шкафа, три переключателя IP KVM, три коммутатора сети передачи данных. Наконец, для макетирования универсального удостоверяющего центра системы в части масштабируемости, интеграции и отказоустойчивости системе требуется 22 сервера (не менее четырех процессоров в каждом), четыре сервер (не менее одного в каждом), три АРМ (не менее одного).
      _
      ?__id=96744.jpeg">"Железо» для Минкомсвязи на «Эльбрусах»
      Минкомсвязи задействует для развития своего сегмента госсистемы изготовления, оформления и контроля паспортно-визовых документов нового поколения вычислительную технику на отечественных процессорах «Эльбрус», заплатив за нее 80,9 млн руб. В завершившемся 12 июля 2017 г. тендере на поставку данного «железа» со стартовой ценой контракта в 82,2 млн руб. победителем оказалась компания «Эльбрус-2000». Конкуренцию ему безуспешно пыталась составить компания «Авангард ИТ» с ценой предложения в 81,4 млн руб.
      В конкурсной документации нет прямого указания на процессоры «Эльбрус», однако в пользу версии о том, что именно на них будут построены серверы и автоматизированные рабочие места (АРМ) для системы говорит сразу несколько фактов.
      В техзадании Минкомсвязи есть раздел «актуальность осуществления поставки товара» с отсылкой к утвержденной Правительством стратегии развития ИТ-отрасли, в рамках которой министерство придерживается «последовательной технической политики» по приоритезации в госинформсистемах свободного ПО и замещения «железа» на решения российских разработчиков и компаний «иностранных государств, не вводивших санкционных ограничений по отношению к России"Минкомсвязи использует в ГИС технику на „Эльбрус-4C“ за 80 млн



      В разделе, посвященному специфическим требованиям к процессорам, говорится о необходимости использовать чипы „архитектуры VLIW с явным управлением параллелизмом команд“. С семейством архитектур VLIW для своих процессоров экспериментируют американские компании Intel, AMD, Qualcomm, Texas Instruments, Transmeta, Tilera и голландская Philips. „Санкционно чистыми“ на этом фоне можно считать только российские процессоры семейства „Эльбрус“, разрабатываемые компанией МЦСТ и Институтом электронных управляющих машин им. И. С. Брука.
      При этом победитель тендера — компания „Эльбрус-2000“ — по базам данных ЕГРЮЛ и „Контур.фокус“, с обеими этими организациями связана — через своих бывших учредителей.
      Указанным в ТЗ корпусом с маркировкой „1600L HFCBGA“ обладают процессоры „Эльбрус-4C“. Накануне публикации этого материала представитель „Эльбрус-2000“ Сергей Ройко подтвердил CNews справедливость данных выводов. „Да, верно, планируем, что серверы и АРМ будут на процессорах „Эльбрус-4C““, — сообщил он.
      В пресс-службе Минкомсвязи в течение почти суток не смогли прокомментировать CNews свою закупку.
      Поставка „железа“ заказчику должна завершиться до 31 июля 2017 г. Местом поставки указано здание ФГБУ НИИ „Восход“ — подведомственное Минкомсвязи учреждение.
      Характеристики „Эльбрус-4C“
      "Эльбрус-4C» — 64-разрядный универсальный микропроцессор. Он содержит 4 ядра, работающие на частоте 800 МГц, поддерживает три канала памяти DDR3-1600. Также в нем поддерживается объединение до четырех чипов в многопроцессорную систему с общей памятью. Процессор произведен по технологии 65 нанометров, его среднее энергопотребление составляет 45 Ватт.
      За один такт каждое ядро процессора может выполнить 23 операции. Базовой операционной системой для процессора является ОС «Эльбрус», построенная на основе ядра Linux версии 2.6.33. В ее состав входят менеджер пакетов и более 3 тысяч программных пакетов из состава дистрибутива Debian 5.0. Имеется полный набор инструментов разработчика, в который входят оптимизирующие компиляторы для языков высокого уровня «Си», «Си++", «Фортран-77» и «Фортран-90», отладчик, профилировщик, а также библиотека математических функций и сигнальной обработки.
      В составе какого «железа» закупаются «Эльбрусы»
      Номенклатура поставки в рамках заказанных работ разбита на несколько групп. Программно-технические средства компонента сопряжения системы со СМЭВ включают два сервера приложений (не менее четырех процессоров в каждом), два сервера баз данных (не менее четырех процессоров), АРМ (не менее одного процессора), два коммутатора сети передачи данных, серверный шкаф, переключатель IP KVM, систему обнаружения вторжений и СКЗИ двух типов: центр управления сетью криптошлюзов и отказоустойчивый модуль из двух аппаратно-программных комплексов межсетевого экранирования.
      Для моделирования работы типовых объектов ведомственных сегментов системы на стенде ее главного конструктора Минкомсвязи закупает шесть серверов (не менее четырех процессоров в каждом), три сервера (не менее одного), семь АРМ (не менее одного), коммутатор сети передачи данных, серверный шкаф, переключатель IP KVM.
      Для стендирования универсального удостоверяющего центра приобретаются семь серверов (не менее 4 процессоров), два сервера (не менее одного процессора), четыре АРМ (не менее одного процессора), два ИБП, два коммутатора сети передачи данных.Для модернизации удостоверяющего центра Международной организации гражданской авиации (спецучреждение ООН) Минкомсвязи необходимы сервер (не менее одного процессора), АРМ (не менее одного), два съемных датчика случайных чисел.
      Для модернизации корневого центра инфраструктуры расширенного контроля доступа (ИРКД) системы закупаются четыре сервера (не менее одного процессора в каждом), два АРМ (не менее одного), ИБП. Для промежуточного центра ИРКД потребовались четыре сервера (не менее четырех) и два АРМ (не менее одного).
      Для модернизации стоечного оборудования системы Минкомсвязи ожидает от поставщика три серверных шкафа, три переключателя IP KVM, три коммутатора сети передачи данных. Наконец, для макетирования универсального удостоверяющего центра системы в части масштабируемости, интеграции и отказоустойчивости системе требуется 22 сервера (не менее четырех процессоров в каждом), четыре сервер (не менее одного в каждом), три АРМ (не менее одного).



Посмотреть профиль

Предыдущая тема Следующая тема Вернуться к началу  Сообщение [Страница 1 из 1]

Начать новую тему  Ответить на тему

Права доступа к этому форуму:
Вы можете отвечать на сообщения