Российские исследователи представили новый фреймворк для работы с большими данными

Российские исследователи представили новый фреймворк для работы с большими данными

21.01.2021     

Специалисты Национального центра когнитивных разработок ИТМО представили платформу, которая упростит создание моделей технологических и бизнес-процессов. Она поможет принимать эффективные управленческие решения в условиях отсутствия полных данных.

ИИ-модели для социальных и бизнес-процессов

На платформе разработчики создали отраслевые модели, которые повысят продуктивность работы предприятий и помогут сократить расходы. Решение может точно прогнозировать цены на железнодорожные услуги, находить заколонные циркуляции на нетфтедобывающих скважинах, планировать логистику для их обслуживания и пр.

В руководстве оператора использование платформы рассматривается на примере задачи загрузки железнодорожных вагонов на металлообрабатывающем предприятии. Платформа позволяет рассчитать оптимальный график доставки грузов с учетом возможного дефицита сырья, цен на перевозки и выполнение работ. Аналогичный подход можно применить практически к любому бизнес-процессу: построить балансовые модели, составить расписание, сформировать ценообразование и др.

Простота и доступность

Для работы на платформе не нужны дополнительное ПО, специальные знания или навыки программирования.

Системные требования для работы с платформой невысоки: стандартный компьютер с Windows XP, процессор Pentium 4, 2 ГБ оперативной памяти.

Персональный компьютер пользователя должен иметь доступ к серверу, на котором развернуто программное обеспечение программного комплекса и подключен к интернету. Программа работает через браузер, и тяжелые вычисления не нагружают систему.

 

 

Суть разработки

Платформа создает цифровых двойников промышленных систем и моделирует их поведение. Процессы построения систем, их обучения и проверки моделей бизнес-процессов унифицированы. В работе можно использовать неструктурированные данные из различных источников. Платформа поддерживает гибридное моделирование: модели на основе данных сочетаются с классическими причинно-следственными вариантами. С ее помощью можно легко управлять бизнес-процессами, оптимизировать и прогнозировать результаты их выполнения.

Платформа поставляется с инструментами подготовки и кросс-валидации статических и динамических данных, 200 готовыми моделями машинного обучения и математическими функциями. На их основе можно создавать сложные проекты. Писать модели можно с нуля или на базе имеющихся, управлять параметрами и сразу видеть результат изменений.

В графическом представлении есть только два типа объектов: модели и данные, – а также связи между ними. Можно взять готовую модель и, например, построить оптимальное расписание с произвольным числом работ и ресурсов. А результаты представить в виде диаграммы Ганта – соответствующий инструмент встроен в платформу.

Модели и процессы можно выгрузить в SCADA, продолжить работу с данными в Excel или объединить несколько моделей в один проект, чтобы обрабатывать сложные цепочки динамических данных. Кроме того, в платформе предусмотрена возможность отделить облачные сервисы и интегрировать их в существующую ИТ-инфраструктуру.

Фреймворк для композитных моделей

Разработчики также представили фреймворк FEDOT для генеративного автоматического машинного обучения. С его помощью можно создавать сложные композитные модели.

Генеративное автоматическое машинное обучение позволяет выращивать модели на основе данных – улучшать и усложнять их в процессе работы, создавать новые цепочки обработки и композиции решений. Внутри FEDOT реализован собственный язык описания задачи. Он поможет сконфигурировать фреймворк и добиться оптимальных результатов.

Ядро FEDOT конфигурируется под разные классы задач: модели системной динамики, предсказательное или имитационное моделирование и др. В репозитории на GitHub также есть библиотека умных композиционных алгоритмов. Они нужны для идентификации моделей на основе данных, к которым предъявляются разные требования. Доступны и отдельные модели для решения физических, социо-финансовых, гидрометеорологических и других задач.

С FEDOT можно получить модель с нужной сложностью, качеством, интерпретируемостью, запустить моделирование, приостановить идентификацию модели, а позднее возобновить ее. С фреймворком доступна интеграция различных решений на Python с открытым исходным кодом – это многократно расширяет его возможности.

Острые темы также не обошли стороной 

Пандемия COVID-19 и способы борьбы с ней продолжают оставаться в центре внимания. Разработчики из НЦКР также внесли свой вклад в решение этих задач. Они использовали платформу для создания модели распространения инфекционных болезней на примере COVID-19. Полученные результаты помогут в разработке превентивных мер и способов остановить распространение заболевания.

 

 

Система может спрогнозировать эффективность тотального карантина – как изменится ситуация с количеством заболевших, выздоровевших и смертельных исходов в случаях действия, отсутствия или усиления карантинных мер:

 

 

Видеопрезентация ключевых возможностей платформы



Источник: https://infostart.ru/journal/news/tekhnologii/rossiyskie-issledovateli-predstavili-novyy-freymvork-dlya-raboty-s-bolshimi-dannymi_1365555/
Автор:
Ксения Шестакова Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. chg 22.01.21 05:54 Сейчас в теме
Интересно конечно будет ознакомиться, но заявление:
Решение может точно.........

Мягко скажем не корректное, а если откровенно то профанское.

ЗЫ: ещё и регистрация не работает, просто супер платформа.
2. Артано 683 23.01.21 12:44 Сейчас в теме
(1)То дерьма не подвезут, то вёдра украдут
Оставьте свое сообщение

См. также

Российский разработчик создал неофициальную версию Clubhouse для Android

Новость Android ИТ-новость Мессенджеры Мобильные приложения

Бывший разработчик из «ВКонтакте» Григорий Клюшников выпустил приложение для Android, предоставляющее доступ к большинству функций Clubhouse. Официально соцсеть доступна только пользователям iOS.

вчера в 13:27    1613    VKuser24342747    0       

Масштабное обновление Trello: пять новых видов досок и интеграция с Google Docs

Новость ИТ-новость Новости компаний

Компания Atlassian выпустила масштабное обновление сервиса управления проектами Trello. Разработчики изменили дизайн, добавили пять новых видов досок и реализовали для карточек возможность отображать информацию из сторонних сервисов.

25.02.2021    2600    user1015646    0       

Видеоигра на базе нейросетевого генератора текстов стала бизнес-консультантом

Новость Видеоигры Искусственный интеллект ИТ-новость

Энтузиаст использовал возможности текстового квеста, генерирующего разнообразные миры при помощи нейросети GPT-3, чтобы получать советы по ведению бизнеса. Часть идей ИИ оказалась пригодной для использования.

25.02.2021    1597    VKuser24342747    1       

В ближайшие годы возрастет потребность в персонале центров обработки данных

Новость Дата-центры ИТ-новость Цифровая экономика

Согласно отчету Uptime Institute, количество сотрудников, необходимых для обеспечения работы ЦОД, вырастет с 2 млн. в 2019 году до 2,3 млн. в 2025 году.

24.02.2021    1846    SKravchenko    0       

Google кардинально изменит дизайн Android 12

Новость Android Google ИТ-новость Мобильные приложения Новости компаний

Компания Google анонсировала глобальное обновление популярной операционной системы Android. Новая версия выйдет под номером 12. Говорят, что Android 12 назовут «Snow cone» – летний десерт из сладкого колотого льда.

24.02.2021    2097    mouse187    0       

Google представила новый сервис для поиска уязвимостей в открытом ПО

Новость Google Безопасность ИТ-новость

Компания Google запустила платформу с открытым исходным кодом OSV (Open Source Vulnerabilities). Она создана для поиска и закрытия уязвимостей в свободном ПО.

18.02.2021    1283    user1015646    0       

Отечественная компания представила сервер приложений Java EE

Новость ИТ-новость Новости компаний Языки программирования

Российская компания Bellsoft представила отечественный аналог сервера Oracle и IBM для JavaEE. Раньше продукт на базе открытого кода был доступен только для некоторых клиентов организации.

17.02.2021    2339    VKuser24342747    4       

Rustоманы из Долины: Google, Microsoft, Huawei, Mozilla и AWS основали фонд поддержки языка программирования

Новость Google ИТ-новость Новости компаний Языки программирования

Rust – перспективный язык, который широко применяется в разработке операционных систем и высоконагруженных веб-сервисов. Rust Foundation будет заниматься поддержкой и развитием языка.

16.02.2021    1583    user1015646    0       

В Microsoft Teams появилась платформа для общения и обучения

Новость Интернет ИТ-новость Мессенджеры Новости компаний

Microsoft добавила новые функции в корпоративный мессенджер Teams. В подключенной к нему платформе Viva можно пройти обучение, пообщаться с коллегами или улучшить организацию работы.

15.02.2021    3155    user1015646    0       

Google рассказала, как защищает Android от взломов

Новость Android Google Безопасность ИТ-новость

Google опубликовала информацию о том, как компания пытается улучшить безопасность Android, и какие шаги предпринимаются для борьбы с распространенными угрозами. Отчеты об уязвимостях играют в этом значительную роль.

12.02.2021    1873    SKravchenko    0       

Для регионов разработают приложение онлайн-записи на прием к врачам

Новость ИТ-новость Медицина Минкомсвязь Цифровая экономика

О возможностях приложения рассказали в Минздраве и Минцифре.

10.02.2021    1663    Senator_I    2       

Google разработает новую мобильную ОС

Новость MobileOS Google ИТ-новость Мобильные приложения

Корпорация Google создаст мобильную операционную систему для повышения безопасности использования устройств. Проект запущен под рабочим названием microdroid.

09.02.2021    2110    user1015646    0       

Google закрывает собственную игровую студию Stadia

Новость Google Видеоигры ИТ-новость Новости компаний

1 февраля Google официально закрыл собственную студию разработки игр для проекта Stadia, чтобы сосредоточить внимание на технологиях, лежащих в основе платформы.

09.02.2021    1440    SKravchenko    0       

Google представила технологию для замены cookies

Новость Google Интернет ИТ-новость

Методы сбора файлов cookies для повышения точности подбора рекламы не раз упрекали в нарушении личного пространства пользователей. Компания Google представила технологию, которая позволит отказаться от cookies и повысить уровень конфиденциальности.

09.02.2021    1234    user1015646    0       

Украинская команда FireWay одержала победу в хакатоне NASA Space Apps Challenge 2020

Новость ИТ-новость Стартапы

Украинская команда FireWay из Днепра стала победителем международного хакатона NASA Space Apps Challenge. Их изобретение было описано как «решение, которое демонстрирует наиболее инновационное использование технологии».

05.02.2021    1921    SKravchenko    2       

Китайцы разработали целых две альтернативы Flash

Новость Интернет ИТ-новость

Китайцам пришлось разработать собственную технологию ReFla взамен Flash для предотвращения сбоев в работе систем. Также они выпустили доработанную версию Flash Player с кодом 34.0.0.92.

04.02.2021    2066    mouse187    4       

Популярные дистрибутивы Linux могут лишиться поддержки Chromium

Новость Linux Google Интернет ИТ-новость

Из дистрибутивов Arch Linux, Fedora, Debian, Slackware и openSUSE может исчезнуть поддержка браузеров на движке Chromium. Причина – жесткие правила Google, из-за которых возникли проблемы с синхронизацией данных.

03.02.2021    2347    user1015646    3       

Microsoft участвует в разработке цифрового паспорта вакцинации от Covid-19

Новость ИТ-новость Медицина

Крупнейшие корпорации из сектора здравоохранения и ИТ-гиганты, такие как Microsoft, Salesforce и другие, объединились для создания цифровых идентификационных карт, которые подтверждают статус вакцинации против Covid-19.

02.02.2021    1722    capitan    3       

Что нового в Chrome 88: проверка надежности паролей и поддержка профилей

Новость Google Интернет ИТ-новость

Компания Google представила новый релиз браузера Chrome и обновила движок Chromium. Теперь ПО будет предупреждать о небезопасных паролях, а пользователь сможет создать привязанный к учетной записи профиль для персонализации работы в сети.

01.02.2021    2182    user1015646    0       

280 символов для науки: Twitter откроет доступ ученым к архиву твитов

Новость ИТ-новость Соцсети

Twitter предоставит академическим исследователям социальных сетей бесплатный доступ почти ко всем твитам. Исключение площадка сделает только для заблокированных аккаунтов.

29.01.2021    1465    VKuser24342747    1       

Отключение Flash на сутки лишило город железнодорожных служб

Новость Интернет ИТ-новость

Прекращение поддержки Flash парализовало работу железнодорожной сети китайского города-миллионника. Организация проигнорировала предупреждения Adobe о грядущем отключении технологии.

29.01.2021    1824    VKuser24342747    1       

Amazon представил форк Elasticsearch с открытым исходным кодом

Новость ИТ-новость Новости компаний Облачные технологии

Компания Amazon намерена развивать собственную версию решения для поиска, хранения и анализа данных Elasticsearch. Форк можно будет использовать в проектах с открытым исходным кодом.

28.01.2021    2250    user1015646    0       

Наниматели назвали самые востребованные языки программирования

Новость Аналитика ИТ-новость Языки программирования

Компания по обучению программистов CodinGame составила рейтинг самых востребованных языков программирования среди нанимателей. Для этого организация опросила 15 тыс. разработчиков и менеджеров по персоналу.

27.01.2021    2449    SKravchenko    1       

Вышел новый мировой стандарт Wi-Fi 6E. В России он не доступен

Новость ИТ-новость Телекоммуникации

В мире стартовало лицензирование и распространение устройств для работы с новым стандартом беспроводных сетей Wi-Fi 6E. В России стандарт не будет поддерживаться, поскольку частота в 6 ГГц уже занята.

26.01.2021    2049    user-programmist    2       

CES 2021: главные анонсы первой технологической выставки года

Новость Инновации ИТ-новость Микроэлектроника

CES (Consumer Electronics Show) в Лас-Вегасе традиционно открывает год на мировом рынке технологий. Из-за ограничений, связанных с пандемией, выставку провели онлайн, но это не помешало производителям представить интересные новинки.

25.01.2021    2529    user1015646    2