NEC запускает бесплатное программное обеспечение FireDucks для ускорения анализа данных с использованием Python

NEC запускает бесплатное программное обеспечение FireDucks для ускорения анализа данных с использованием Python

Отметка времени: 18 октября 2023 г., 10:18

ТОКИО, 19 октября 2023 г. - (JCN Newswire) - Корпорация NEC (TSE: 6701) сегодня объявила о выпуске «FireDucks»(1), бесплатной программы, предназначенной для ускорения работы библиотеки анализа табличных данных «Pandas», которая используется для анализа с помощью Python — наиболее широко используемого языка программирования в мире. сегодня. Это недавно разработанное программное обеспечение, способное выполнять подготовку данных, необходимую для анализа данных, до 16 раз(2) быстрее, чем существующие продукты, значительно сокращает время, затрачиваемое на анализ данных, и снижает вычислительные затраты.

Бета-версия FireDucks теперь доступна бесплатно в Интернете (https://fireducks-dev.github.io/).

В последние годы стало проще, чем когда-либо, собирать огромные объемы данных, включая данные о продажах с POS-терминалов, данные об электронной коммерции и данные о финансовых транзакциях. Чтобы извлечь ценные аналитические результаты из таких данных, специалистам по обработке данных необходимо анализировать их с использованием искусственного интеллекта (ИИ) и машинного обучения (МО).

Однако, чтобы подготовиться к анализу данных, большие наборы данных необходимо сначала подвергнуть предварительной обработке. Говорят, что ученые, работающие с данными, тратят около 45%(3) своего времени на подготовку данных, и это стало серьезной проблемой. Кроме того, рост объема данных и развитие искусственного интеллекта и машинного обучения привели к увеличению сложности вычислений. В результате более высокие вычислительные затраты (например, затраты на облачные вычисления) и последующий рост энергопотребления и выбросов CO2 также стали проблематичными.

Ввиду этого компания NEC приступила к разработке FireDucks — программы, предназначенной для ускорения работы панд. Для разработки этого программного обеспечения компания NEC использовала высокопроизводительную технологию программирования и ноу-хау ускорения, накопленные за более чем тридцатилетний опыт разработки суперкомпьютеров.

Сделав бета-версию FireDucks доступной для широкой публики бесплатно, NEC надеется внести свой вклад в сокращение рабочего времени ученых, занимающихся анализом данных, для анализа данных и решения экологических проблем за счет экономии энергии и снижения выбросов CO2.

Особенности

1. Ускоренная производительностьFireDucks способен ускорять работу программ, созданных с помощью pandas, до 16 раз и в среднем примерно в пять раз(2). Это сокращает общее время, которое ученые, работающие с данными, тратят на анализ данных, примерно на 30% (4).

Параллельное использование всех ядер и сокращение вычислений являются основными причинами такого уровня ускорения. FireDucks использует каждое ядро ​​многоядерного процессора для эффективной параллельной обработки больших наборов данных. Более того, вместо выполнения процессов в том же порядке и диапазоне, указанных в программе, наборы данных, необходимые для получения результатов, заранее идентифицируются из всего процесса, что означает, что обработку необходимо выполнять только для этих наборов данных. Это, в свою очередь, дает возможность ускорить обработку.

NEC запускает бесплатное программное обеспечение FireDucks для ускорения анализа данных с использованием Python PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

2. Высокая совместимость

Еще одной особенностью этого программного обеспечения является его высокая совместимость с пандами. Хотя некоторые библиотеки способны достигать более высокой скорости обработки, чем панды, они требуют нескольких шагов, включая переписывание программы. FireDucks, с другой стороны, можно легко применить, поскольку для выполнения анализа и кодирования необходимо переписать только одну строку программы, как если бы вы использовали панды.

Фактические результаты

Следующие результаты были получены при использовании FireDucks в реальных операциях Корпорацией технического развития Toyota(5) (TTDC).

  • Сокращение времени на анализ данных на 60 % с использованием собственной системы искусственного интеллекта (Spicy MINT).
  • Снижение времени работы ПК анализа на 76%

Интервью, в котором сотрудники TTDC, использовавшие FireDucks, поговорили с членами команды разработчиков, чтобы высказать свое мнение о недавно разработанном программном обеспечении, можно посмотреть на следующем веб-сайте. (URL: https://www.nec.com/en/global/rd/technologies/202312/index.html)

Планы на будущее

Предоставляя бета-версию FireDucks бесплатно и позволяя ученым, работающим с данными, фактически использовать ее, NEC будет работать над улучшением ее функциональности, одновременно проверяя ее эффективность, с целью коммерциализации ее в 2024 финансовом году.

(1) Данное программное обеспечение было разработано при поддержке Организации по развитию новой энергетики и промышленных технологий (NEDO) в Японии.
(2) Согласно результатам испытаний NEC на основе эталонного теста TPCx-BB.
(3) Состояние науки о данных, 2020 г. (https://shorturl.at/klyW1)
(4)На основе расчетов, выполненных компанией NEC.
(5) О корпорации Toyota технического развития (TTDC): основное внимание уделяется созданию оптимальных условий для разработки продукции посредством комплексных решений, основанных на новейшей информации и технологиях.

О корпорации NEC

Корпорация NEC зарекомендовала себя как лидер в области интеграции информационных технологий и сетевых технологий, продвигая при этом заявление бренда «Управление ярким миром». NEC позволяет предприятиям и сообществам адаптироваться к быстрым изменениям, происходящим как в обществе, так и на рынке, поскольку он обеспечивает социальные ценности безопасности, защищенности, справедливости и эффективности для продвижения более устойчивого мира, в котором каждый имеет шанс полностью реализовать свой потенциал. Для получения дополнительной информации посетите NEC по адресу https://www.nec.com.

Отметка времени:

Больше от Лента новостей JCN