От habr.com Посмотреть оригинал
Исследователи Массачусетского университета предупреждают о теневой стороне искусственного интеллекта в новой работе:
необходимый для тренировки модели объем вычислений требует огромного
количества энергии и вызывает выброс углекислого газа в атмосферу.
Цифры, которые приводят авторы, показывают, что обучение одной модели
обходится человечеству дороже, чем эксплуатация пяти автомобилей.
Объектом исследования стала группа алгоритмов искусственного интеллекта,
созданных для задач, связанных с обработкой естественного языка:
машинный перевод, анализ и генерирование текста. Для эксперимента ученые
отобрали четыре модели последних лет, которые дали максимальный скачок в
производительности: Transformer, ELMo, BERT и GPT-2. Модели запускались
на отдельных графических процессорах, чтобы замерить расход мощности.
Далее, используя информацию о продолжительности обучения, исследователи
рассчитали общий объем энергии, потребляемой каждой из программ, и
количество углекислого газа, которое выделилось в процессе.
Результаты показали, что влияние машинного обучения на экологию сильно варьирует в зависимости от сложности модели и числа параметров. Например, для модели Transformer обучение на 65 млн параметров вызывает выброс объемом примерно в 11 кг, когда же количество параметров возрастает до 213 млн, выделяется уже 87 кг вредных для окружающей среды веществ. Также большое значение имеет то, используется ли нейронная архитектура для оптимизации работы и повышения точности результатов. По расчетам авторов, именно процессы тюнинга и корректировки настроек потребляют больше всего энергии.
Чтобы дать читателям возможность в полной мере оценить, чего нам стоит разработка новых алгоритмов, исследователи приводят несколько сравнений с другими хорошо известными источниками загрязнения. Так, без применения нейросетей наиболее затратная модель BER равнозначна по степени воздействия на окружающую среду перевозке одного пассажира на самолете из одного конца США в другой. Модель Transformer с оптимизацией нейронным поиском и максимальным числом параметров дает такой же выброс углекислого газа и эквивалентов как полный жизненный цикл пяти автомобилей, включая производство и весь срок службы.
/https%3A%2F%2Fhabrastorage.org%2Fwebt%2F3_%2F69%2Fo0%2F3_69o0px78z8zwik7rqite7wdxc.png)
Источник: MIT Technology Review
Авторы подчеркивают, что приведенные цифры обобщают только последствия первых этапов работы над моделями искусственного интеллекта, до того момента, когда их можно представить научному сообществу. В дальнейшем они, как правило, дорабатываются и проходят дополнительное обучение на новом материале, производя все больше и больше выбросов. Динамику этого процесса еще предстоит изучить.
В заключение, признавая, что процесс создания и совершенствования компьютерного разума не может и не должен останавливаться, исследователи указывают на необходимость более ответственного и разумного подхода к использованию существующих ресурсов. «Многие исследования в сфере искусственного интеллекта не принимают во внимание фактор эффективности, — поясняет Карлос Гомез-Родригез, ученый, задействованный в проекте, — ведь сейчас у компаний и организаций есть широкий доступ к очень крупным нейросетям, которые рассчитаны на самые разнообразные задачи и могут дать им конкурентное преимущество». Исследователи надеются, что проведенный ими анализ побудит разработчиков изменить некоторые практики, в частности отказаться от ресурсозатратных методов оптимизации, которые дают незначительный эффект.