Что если бы компания создавала каждый компонент своего продукта с нуля под каждый заказ, не используя стандартизированных совместимых элементов, процессов и протоколов обеспечения качества? Вероятно, это было бы очень тревожным сигналом для любого CEO: ведь при этом невозможен эффект масштаба, а риски достигают неприемлемого уровня. Он бы немедленно постарался решить эту проблему.
Тем не менее каждый день многие компании именно так подходят к разработке моделей на основе искусственного интеллекта и аналитических систем в целом, а также к управлению ими, чем ставят себя в крайне невыгодное положение по сравнению с конкурентами. Когда команды, рассредоточенные по всей организации, регулярно начинают работу с нуля и делают ее вручную, без использования механизмов, общих для всей компании, которые бы позволяли эффективно, системно и слаженно развертывать модели на основе искусственного интеллекта в рабочей среде и тут же отслеживать их показатели, риски существенно возрастают, а действенность систем снижается.
Чтобы в конечном счете извлечь из искусственного интеллекта реальную финансовую выгоду, необходимо развернуть технологию его применения в масштабах всей компании. Для оптимизации принимаемых каждый день решений и ежедневной операционной деятельности эту технологию нужно встроить в основные бизнес-процессы, рабочие потоки и схемы взаимодействия с клиентом. Чтобы добиться такого охвата, необходима высокоэффективная поточная линия, на которой каждая команда сможет быстро выпускать десятки надежных готовых моделей на основе искусственного интеллекта с приемлемым уровнем рисков. Наши исследования показали, что компании, внедряющие такой подход, с гораздо большей вероятностью успешно наращивают масштаб использования искусственного интеллекта и превращают его в полезную стоимость – некоторым из них удается увеличить прибыль до уплаты процентов и налогов (EBIT) на 20%. Стоит отметить, что общемировой потенциал создания экономической стоимости за счет технологий искусственного интеллекта оценивается в 9–15 триллионов долл. США1.
Многие CEO понимают, что им нужно проявлять настойчивость для продвижения изменений в корпоративной культуре и образе мышления сотрудников, а также для формирования в каждой отдельной области подхода, необходимого для масштабного развития технологии искусственного интеллекта. В то же время, по нашим наблюдениям, немногие из глав компаний признают, что они должны отвечать и за формирование стратегического видения, которое определяет общий подход к быстрой и эффективной разработке и развертыванию приложений на основе искусственного интеллекта, а также к управлению ими. Чтобы принять на себя эту активную роль, сначала необходимо оценить потенциальную полезную стоимость и возможности, которые открываются при использовании правильно выбранных технологий и методов работы. Сегодня все еще широко распространен подход к разработке приложений на основе искусственного интеллекта с узкой специализацией решений и высоким уровнем рисков. Его основа – методы обработки данных, которые действительно были оправданы и необходимы десять и более лет назад, во времена, когда на рынке было мало или совсем не было платформ искусственного интеллекта, автоматизированных инструментов или структурных элементов, которые можно было бы объединять для создания моделей или аналитических приложений. Не существовало тогда и простых механизмов, позволяющих сегодня специалистам-практикам работать над различными компонентами одной задачи, деля ее между собой. В последние годы благодаря ощутимому прогрессу в развитии инструментов и технологий искусственного интеллекта рабочие процессы кардинально изменились: жизненный цикл приложений на основе искусственного интеллекта сократился, стало возможным надежное систематическое их распространение в различных сферах бизнеса в больших масштабах. Наверное, лучшая на сегодня система организации такого «массового производства», которую часто называют MLOps (от английского machine learning operations), позволяет компаниям создать стандартизованную общекорпоративную фабрику искусственного интеллекта, которая обеспечит необходимый масштаб и охват.
Эта статья поможет CEO понять, как сочетаются такие инструменты и методы работы, и определить правильные рычаги, которые помогут главе компании поддержать усилия руководителей подразделений по внедрению искусственного интеллекта.
Планка потенциального эффекта продолжает повышаться
Прошли те времена, когда компании могли позволить себе сугубо экспериментальный подход к искусственному интеллекту и аналитике в целом, проводя то тут, то там пилотные проекты, используя разрозненные системы искусственного интеллекта, разработанные в изоляции друг от друга. На заре развития искусственного интеллекта преимущества ИТ для бизнеса были неочевидны, поэтому компании нанимали специалистов по обработке данных для изучения общей картины возможностей, не уделяя особого внимания созданию стабильных моделей, которые могли бы надежно работать 24 часа в сутки. О возможностях масштабирования систем искусственного интеллекта речь тогда тоже не велась. Так что этот специалист создавал «теневые» ИТ-системы на своем ноутбуке, используя свои любимые инструменты для построения узкоспециализированных моделей с нуля и подготавливая данные для каждой из них по-своему. По этой причине игнорировались многие технические задачи по поддержке увеличения масштаба таких работ, например создание критически важной инфраструктуры для надежной разработки и легкого использования всех моделей.
Принимая во внимание силы, влияющие сегодня на рынок, и потребности пользователей, такой подход был бы крайне неэффективным. Компании, понимающие ценность искусственного интеллекта, быстро переключились с прощупывания возможностей таких технологий на их масштабное применение, позволяющее создать максимальную стоимость для бизнеса. ИТ-гиганты, использующие технологию искусственного интеллекта, продолжают кардинально менять рынок и наращивать рыночную долю в традиционных отраслях. Более того, ожидания потребителей в отношении персонализированного, простого и приятного опыта продолжают расти: им нравится взаимодействовать с искусственным интеллектом, который постепенно распространяется на многие сферы.
К счастью, вместе с развитием искусственного интеллекта также появляются новые функции сотрудников, процессы и технологии, которые необходимы для успешного расширения масштаба его применения. Появились особые профессии, такие как специалист по обработке данных («дата-сайентист») и инженер – специалист по машинному обучению, которые обладают навыками, имеющими решающее значение для развертывания технологий искусственного интеллекта в необходимом для компании масштабе. Благодаря быстрому расширению набора технологий и сервисов команды смогли перейти от ручных методов, ориентированных на разработку модели на основе искусственного интеллекта, к автоматизированному модульному подходу, который охватывает весь ее жизненный цикл – от управления входящими данными до мониторинга и исправления приложений непосредственно в рабочей среде. Сегодня цифровые стартапы и разработчики решений с открытым исходным кодом предлагают полный спектр продуктов – от решений по переводу естественного языка в код до средств автоматизированного мониторинга моделей. Поставщики облачных решений теперь предлагают инструменты MLOps в числе собственных сервисов в своих платформах. А такие ветераны цифрового рынка, как Netflix и Airbnb, вкладывающие существенные средства в оптимизацию рабочих процессов в системах искусственного интеллекта, поделились своими наработками через сообщества разработчиков, дав компаниям возможность объединить уже обкатанные рабочие процессы.
На фоне этого непрерывного потока инноваций возникла концепция MLOps, позволяющая совместить эти платформы, инструменты, сервисы и функции специалистов с подходящей операционной моделью и стандартами работы команд, чтобы надежно внедрять технологии искусственного интеллекта в необходимом масштабе. В основе MLOps лежат существующие передовые методы разработки ПО под названием DevOps, которые многие ИТ-компании ценят за то, что они позволяют быстрее разрабатывать надежное программное обеспечение с приемлемым уровнем рисков, создающее новую полезную стоимость для их клиентов. Подход MLOps решает те же задачи, но в сфере искусственного интеллекта. Его можно назвать расширением DevOps, которое учитывает уникальные особенности искусственного интеллекта, такие как вероятностный характер результатов и зависимость от базовых данных. MLOps позволяет стандартизировать, оптимизировать и автоматизировать процессы, исключить переделку того, что с первого раза не получилось, и распределять задачи так, чтобы каждый член команды, занимающейся искусственным интеллектом, работал над тем, что у него получается лучше всего (см. таблицу).
Поскольку MLOps – относительно новая и все еще развивающаяся дисциплина, жизненный цикл системы искусственного интеллекта в разных источниках может определяться по-разному. Иногда, например, этим термином обозначают только методы работы и технологии, применяемые для мониторинга работающих моделей. Другие относят сюда лишь методы, необходимые для внедрения новых моделей в рабочую среду. Наши наблюдения свидетельствуют, что если подход MLOps применяется на всех этапах жизненного цикла системы искусственного интеллекта (управление данными, разработка и развертывание модели, использование модели в рабочей среде) и поддерживается с помощью правильных специалистов, процессов и технологий, он может ощутимо повысить планку потенциального эффекта, который может получить компания.
Эффект для бизнеса от использования MLOps
Чтобы определить, какой эффект для бизнеса может дать сквозная методика MLOps, стоит оценить потенциальные улучшения по четырем основным параметрам: производительность и скорость, надежность, риски, привлечение и удержание специалистов. Просадка в любой из этих областей может существенно ограничить способность компании достичь искомого масштаба.
Повышение производительности и скорости – для внедрения технологий искусственного интеллекта в масштабе компании
Мы часто слышим от руководителей, что процесс разработки решений на основе искусственного интеллекта от идеи до внедрения занимает не меньше девяти месяцев, а то и больше года, из-за чего бывает сложно угнаться за меняющейся динамикой рынка. Даже в случаях, когда в это не один год целенаправленно вкладывались средства, руководители часто говорят нам, что их организации не стали работать быстрее. Компании же, применяющие MLOps, могут пройти путь от идеи до использования решения в рабочей среде в несколько раз быстрее. Это займет от двух недель до трех месяцев, причем без увеличения численности персонала или возникновения «технического долга» – незавершенных изменений в ПО. Срок получения отдачи от инвестиций сокращается, а достижение нужных масштабов искусственного интеллекта ускоряется за счет высвобождения дополнительного времени сотрудников. Для такого значительного повышения производительности и увеличения скорости требуется оптимизировать и автоматизировать процессы, а также создать базу ресурсов и компонентов многократного использования. Запасом этих наработок нужно тщательно управлять исходя из оценки качества и рисков, чтобы инженеры тратили больше времени на сборку из имеющихся компонентов, а не на построение системы с нуля.
Компаниям следует инвестировать во много разных видов ресурсов и компонентов многократного использования. Один из примеров – создание «готовых продуктов», унифицирующих и объединяющих определенный набор данных (например, всех данных о клиенте, формирующих исчерпывающее представление о нем) с использованием общих стандартов, встроенных систем безопасности и управления, а также возможностей самостоятельного применения такого продукта его пользователями. В результате существенно ускоряется и упрощается процесс применения данных командами во множестве существующих и будущих сценариев использования, что особенно важно при наращивании масштабов использования искусственного интеллекта в рамках определенной области, где команды часто используют схожие данные.
Например, азиатская компания из сектора финансовых услуг сумела сократить время разработки новых приложений на основе искусственного интеллекта более чем вдвое – в том числе за счет формирования общего слоя моделей данных поверх систем исходных данных. С его помощью стали создаваться высококачественные основанные на данных информационные продукты, готовые к использованию во множестве приложений на базе искусственного интеллекта, ориентированных на продукты и клиентов. Помимо этого, для формирования устойчивого потока данных, компания стандартизировала вспомогательные инструменты и процессы управления данными. Она также создала ресурсы, позволяющие стандартизировать и автоматизировать затратные по времени операции, такие как маркировка данных и отслеживание их происхождения. Это резко отличалось от прежнего подхода компании к разработке приложений на основе искусственного интеллекта, при котором всякий раз, когда разрабатывалось новое приложение, команды структурировали и очищали необработанные данные, полученные из исходных систем, с помощью разнородных процессов и инструментов. Все это, конечно, удлиняло цикл разработки.
Еще один важнейший фактор повышения скорости и производительности – разработка модульных компонентов, таких как «поточные линии» информационно-технологических продуктов и базовые модели, которые легко адаптируются для использования в самых разных проектах в области искусственного интеллекта. В качестве примера можно рассмотреть опыт международной фармацевтической компании, внедрившей рекомендательную систему на основе искусственного интеллекта, чтобы оптимизировать процесс привлечения медицинских специалистов и лучше информировать их по более чем 50 комбинациям «лекарство – страна». Конечной целью проекта было обеспечить доступ к этим лекарственным средствам для тех групп пациентов, потребностям которых они в наибольше степени соответствуют и которые могут максимально выиграть от их применения. Создав центральную платформу искусственного интеллекта и дополнив ее готовыми модульными компонентами, компания смогла организовать «серийное производство» индивидуальных моделей на основе базового решения, использующего искусственный интеллект. Базовое решение можно было быстро модифицировать с учетом конкретных сочетаний лекарственных препаратов в каждой стране. В результате столь масштабное развертывание системы было осуществлено менее чем за год, причем силами всего десяти рабочих групп по искусственному интеллекту (одна международная группа и по одной в каждой из целевых стран) – в пять раз быстрее и с меньшими ресурсами, чем при внедрении системы традиционным способом. Чтобы получить такой результат, руководители инвестировали в новые операционные модели, людей и технологии. В частности, они построили экспертный центр по искусственному интеллекту, наняли инженеров – специалистов в области MLOps, а также стандартизировали и автоматизировали разработку моделей, создав их «поточное производство», благодаря которому сокращается срок достижения полезного эффекта от инвестиций и уменьшается количество ошибок, которые могут вызвать задержки и породить риски.
Повышение надежности – для обеспечения непрерывной работы решений
Часто компании тратят много времени и денег на разработку решений на основе искусственного интеллекта, а потом обнаруживают, что бизнес перестал использовать 80% из них, потому что они больше не создают стоимость. При этом никто не может сказать, почему это происходит и как это исправить. Однако это не относится к компаниям, где применяются комплексные методы MLOps. Мы увидели, что они перестают использовать на 30% меньше моделей, чем другие, и создают за счет искусственного интеллекта на 60% больше полезной стоимости.
Одна из причин, почему им это удается, состоит в том, что такие компании изначально включают в рабочие процессы постоянный мониторинг моделей и тестирование их эффективности, а не пристраивают к уже готовой системе контрольные механизмы впоследствии, что, к сожалению, является обычной практикой. А тем не менее это крайне важно для создания непрерывно действующих систем искусственного интеллекта – ведь степень надежности данных и ситуация в бизнес-среде для некоторых видов аналитики могут меняться очень быстро и с неожиданными последствиями. При формировании команды по мониторингу систем компании должны, насколько возможно, обеспечить ее независимость от команд, разрабатывающих модели, чтобы валидация данных была объективной.
Например, та же фармацевтическая компания создала межфункциональную команду по мониторингу, чтобы обеспечить стабильность и надежность процесса развертывания приложений на основе искусственного интеллекта. В команду вошли инженеры – специалисты по обеспечению надежности систем, методике DevOps, машинному обучению, облачным вычислениям, по работе с данными, а также специалисты по обработке данных. Команда отвечала за широкий круг задач, связанных с надежностью функционирования моделей в рабочей среде, в том числе за обнаружение и решение проблем – как базовых, например, «зависание» модели, так и сложных, таких как дрейф данных. Автоматизировав основные рабочие процессы мониторинга и управления и организовав четкие процессы сортировки и устранения сбоев, команда смогла быстро обнаруживать и решать проблемы. Кроме того, это позволило ей на всех этапах жизненного цикла приложений легко вносить изменения, основанные на приобретенном опыте, и с течением времени улучшать работу приложений. В результате спустя почти год после развертывания эффективность моделей остается высокой. Пользователи – представители бизнеса по-прежнему доверяют аналитической информации, полученной с их помощью, и используют ее на повседневной основе. Кроме того, передав функции мониторинга и управления специально созданной для этого команде, компания снизила нагрузку на команды, разрабатывающие новые решения на основе искусственного интеллекта. Они могут полностью сосредоточиться на создании новых функциональных возможностей с использованием искусственного интеллекта для конечных пользователей.
Снижение рисков – для соблюдения нормативных требований и укрепления доверия
Несмотря на значительные инвестиции в системы управления, во многих организациях по-прежнему не хватает прозрачности в отношении того, с какими рисками связаны их модели на основе искусственного интеллекта и какие меры приняты для смягчения этих рисков – да и приняты ли они вообще. Это серьезная проблема, учитывая все более важную роль, которую технологии искусственного интеллекта играют при принятии повседневных решений, и усиливающийся контроль со стороны регулирующих органов. Не менее важен и репутационный, операционный и финансовый ущерб, который могут понести компании, если системы искусственного интеллекта работают неисправно или содержат внутренние искажения.
В основе любой корпоративной программы, связанной с искусственным интеллектом, должна лежать эффективная программа управления рисками, реализуемая специалистами по юридическим вопросам, рискам и искусственному интеллекту. Вместе с тем, многие меры по управлению этими рисками зависят и от принятой практики работы команды по искусственному интеллекту. При использовании методики MLOps комплексные меры по смягчению рисков изначально встроены в жизненный цикл приложений, например благодаря уменьшению количества ошибок пользователя, от которых его страхует непрерывное автоматизированное тестирование. Компоненты многократного использования, сопровождаемые обширной документацией, которая описывает их структуру и применение, а также связанные с ними риски, позволяют дополнительно снизить вероятность ошибок. При обновлении этих компонентов изменения отражаются во всех приложениях, которые их используют. Известная нам компания из сектора финансовых услуг, применяющая методы MLOps, задокументировала все развернутые модели и провела их валидацию и аудит, чтобы определить, сколько моделей используется, каким образом они были разработаны, на какие данные опираются и как управляются. Благодаря этому у команд по управлению рисками теперь есть поддающаяся проверке информация, с помощью которой они могут показать регулирующим органам, какие модели могут быть подвержены тем или иным рискам и какие меры принимаются для того, чтобы исправить ситуацию. Это позволяет компании избежать жестких штрафных санкций и репутационного ущерба.
Эффективное привлечение и удержание персонала – для масштабного внедрения решений на основе искусственного интеллекта
Во многих компаниях недостаток технических специалистов – одно из главных препятствий для достижения нужного масштаба решений на основе искусственного интеллекта и аналитики в целом. Правильно проводимая программа MLOps может оказаться фактором привлечения и удержания важнейших для компании сотрудников. Большинство технических специалистов привлекает возможность развивать самые современными технологии и разработки, используя лучшие инструменты, сосредоточиваться на решении сложных аналитических проблем и видеть, какие практические результаты дает их работа после внедрения созданных моделей. Без эффективной методики MLOps энтузиазм лучших технических специалистов быстро пропадет, если им придется выполнять рутинные задачи (такие как очистка данных или повышение их надежности) и они не будут видеть ощутимого эффекта для бизнеса от своей работы.
Роль CEO
Внедрение MLOps требует значительных изменений в корпоративной культуре – нужно изжить прочно укоренившуюся практику изолированной работы людей в своих подразделениях. Усилия команд должны быть сосредоточены на создании среды для разработки решений на основе искусственного интеллекта и управления ими наподобие стандартизованной общекорпоративной фабрики. Применение модели MLOps существенно изменит работу специалистов по обработке данных и по технологиям, а также инженеров – разработчиков систем. От изолированного конструирования одноразовых систем под заказ они перейдут к «массовому производству» моделей на основе искусственного интеллекта – изменится не только подход к работе, но и сама рабочая среда. Чтобы произошел такой сдвиг, от генерального директора потребуется играть критически важную роль в следующих трех областях: определение целевых установок, обеспечение общности целей и ответственности, инвестиции в персонал.
Определение четкой целевой установки в отношении эффекта и производительности
Как и при любых других технологических преобразованиях, генеральные директора могут устранить организационные барьеры, провозгласив систему ценностей компании и объявив о своих ожиданиях – что команды будут быстро разрабатывать, внедрять и обслуживать системы, обеспечивающие устойчивое создание стоимости. Главе компании следует четко сказать, что системы на основе искусственного интеллекта работают на одном уровне с другими критически важными для бизнеса системами, которые должны бесперебойно функционировать 24 часа в сутки, постоянно создавая стоимость. Хотя главное – ясность общего видения будущего, полезно конкретизировать поставленные цели.
К ключевым показателям эффективности, которые CEO стоит выделить из числа других, могут относиться:
- процентная доля моделей, развернутых и обеспечивающих создание стоимости, от числа всех разработанных: цель – 90% моделей в рабочей среде, обеспечивающих реальный эффект для бизнеса;
- общий эффект от использования искусственного интеллекта и рентабельность инвестиций в такие разработки как критерий фактической масштабируемости;
- происходящее в режиме близком к режиму реального времени выявление деградации моделей с оценкой рисков, включая искажение базовых данных (особенно важно для регулируемых отраслей).
Достижение таких целей в полном объеме может занять 1–2 года, однако при тщательной расстановке приоритетов среди действий по реализации программы MLOps многие команды, с которыми мы работали, добивались значительного прогресса на пути к этим целям всего за 2–3 месяца.
Обеспечение общности целей и ответственности среди представителей бизнеса и команд из специалистов по искусственному интеллекту, данным и ИТ
Один из основных индикаторов эффекта – степень общности целей руководителей бизнеса и команд из специалистов по искусственному интеллекту, данным и ИТ. В идеале большинство целей команд по искусственному интеллекту и данным должны быть подчинены целям руководителей бизнеса. В свою очередь, руководители бизнеса должны быть в состоянии четко объяснить, какую пользу от искусственного интеллекта они ожидают и как она будет получена.
Еще один показатель – уровень взаимодействия в области инвестиций в стратегические технологии, обеспечивающих наличие инструментов, технологий и платформ для оптимизации рабочих процессов искусственного интеллекта. В условиях высоких темпов технологических изменений ИТ-служба часто оказывается в затруднительной ситуации: с одной стороны, она испытывает потребность в новых инструментах и технологиях на основе искусственного интеллекта, с другой – стремится не допустить, чтобы временные сиюминутные доработки привели к увеличению общих затрат на технологии в долгосрочной перспективе. С помощью комплексных методов MLOps можно составить план действий, позволяющий как снизить сложность, так и уменьшить «технический долг» – незавершенные доработки ПО при внедрении новых технологий.
Большинство известных нам руководителей команд по искусственному интеллекту не жалеют времени на построение прочных отношений со своими коллегами из ИТ, чтобы получать необходимую поддержку. А когда CEO активно стимулирует развитие такого сотрудничества, процесс существенно ускоряется.
Инвестиции в повышение квалификации сотрудников для работы с искусственным интеллектом и в привлечение специалистов на должности с новыми функциями
Новые навыки требуются постоянно. Например, если раньше специалисты по обработке данных имели дело с низкоуровневым программированием, то теперь они должны обладать знаниями в программной инженерии, чтобы составлять модели из модульных компонентов и создавать с нуля приложения на основе искусственного интеллекта, готовые к выпуску в рабочую среду.
Появились и новые функции специалистов, требующихся командам по искусственному интеллекту, такие как инженер – специалист по машинному обучению. Такие специалисты обладают навыками преобразования моделей на основе искусственного интеллекта в надежно работающие системы корпоративного уровня. Чтобы сформировать команду инженеров по машинному обучению, североамериканская розничная сеть соединила компетенции своих существующих ИТ-разработчиков, которые знали системы компании и могли эффективно ими управлять, и навыки новых сотрудников, привлеченных из других отраслей, обладавших обширным опытом в сфере MLOps.
Искусственный интеллект – уже давно не терра инкогнита, ждущая первопроходцев. Компании все чаще используют потенциал приложений на его основе, однако многие из них не могут расширить его до масштабов всей организации, поскольку не располагают нужными методиками работы, инструментами и специалистами. С ростом спроса на искусственный интеллект повысился и темп технологических инноваций, позволяющих автоматизировать и упростить создание и обслуживание систем искусственного интеллекта. С помощью MLOps компании могут объединить эти инструменты с проверенными методами программной инженерии, чтобы ускорить разработку надежных систем на основе искусственного интеллекта. Зная, в чем состоят преимущества MLOps и какие рычаги следует использовать, главы компаний могут обеспечить переход к более систематизированному процессу разработки решений, основанных на искусственном интеллекте, и управления ими.