Vertex AI: a plataforma de aprendizado de máquina do Google

Você conhece o aprendizado de máquina (ML)? Aliás, você sabia que o Google tem sua própria plataforma neste segmento? Pois é, o Vertex AI é a plataforma de ML do Google que integra os serviços do Google Cloud em uma única interface e API.

Em resumo, o Machine Learning é uma área da inteligência artificial que permite que os computadores aprendam com dados e experiências, sem serem explicitamente programados. Com o ML, é possível criar soluções inovadoras e personalizadas para diversos problemas e desafios. Alguns exemplos são: reconhecimento de imagens, tradução automática, análise de sentimentos, previsão de demanda, detecção de fraudes, etc.

No entanto, o desenvolvimento e a implantação de modelos de ML não são tarefas simples. Isto é, eles exigem conhecimento técnico, recursos computacionais, ferramentas adequadas e processos eficientes. Além disso, é preciso gerenciar todo o ciclo de vida, desde a coleta e o processamento dos dados, até o treinamento, avaliação, implantação e o monitoramento dos modelos.

Para facilitar e acelerar o uso, o Google lançou em maio de 2021. O Vertex AI permite que você crie, treine, implante e gerencie modelos para diferentes tipos de dados e tarefas, aproveitando a infraestrutura e a segurança do Google Cloud.

Neste artigo, vamos conhecer mais sobre a plataforma, suas principais funcionalidades, vantagens, limitações e como começar a usá-la.

O que é o Vertex AI?

O Vertex AI é uma plataforma de ML que oferece várias opções de treinamento e implantação de modelos, desde o AutoML, que permite treinar modelos sem escrever código, até o treinamento personalizado, que oferece controle total sobre o processo de treinamento, incluindo o uso de frameworks de ML preferidos, código de treinamento personalizado e opções de ajuste de hiperparâmetro.

A plataforma também oferece acesso aos grandes modelos de IA gerativos do Google para várias modalidades (texto, código, imagens, fala), permitindo ajustar os LLMs do Google às suas necessidades e, em seguida, implantá-los para uso em seus aplicativos com IA.

Depois de implantar seus modelos, você pode usar as ferramentas de MLOps de ponta a ponta do Vertex AI para automatizar e escalar projetos ao longo do ciclo de vida do ML. Essas ferramentas de MLOps são executadas em uma infraestrutura totalmente gerenciada que você pode personalizar com base em suas necessidades de desempenho e orçamento.

Você pode usar o SDK do Vertex AI para Python para executar todo o fluxo de trabalho de ML no Vertex AI Workbench, um ambiente de desenvolvimento baseado em notebooks Jupyter. Você pode colaborar com uma equipe para desenvolver seu modelo no Colab Enterprise, uma versão do Colaboratory que é integrada à plataforma.

Ademais, você pode descobrir, testar, personalizar e implantar modelos e ativos do Vertex AI e de código aberto (OSS) com o Model Garden, uma biblioteca de modelos pré-treinados e componentes de pipeline.

Adaptação da plataforma

Em suma, o Vertex AI é uma evolução das plataformas anteriores do Google Cloud, como o AI Platform e o Cloud AutoML. Nesse sentido, a plataforma incorpora e aprimora os recursos anteriores, além de adicionar novas funcionalidades, como o Generative AI, o Model Garden e o Vertex Vizier.

Aliás, a plataforma é resultado da experiência e da inovação do Google em ML, que visa oferecer aos usuários uma forma fácil e flexível de construir, implantar e escalar soluções de ML para diferentes tipos de dados e tarefas.

Quais são as principais funcionalidades do Vertex AI?

Senta que a lista de funcionalidades e serviços é bem grande. Aliás, os principais são:

AutoML:

Permite que você treine modelos de ML para dados tabulares, de imagem, texto ou vídeo sem escrever código ou preparar divisões de dados. Você pode usar a interface da web ou o SDK do Vertex AI para Python para especificar seus dados, métricas e objetivos de treinamento, e o Vertex AI cuidará do resto. Você pode usar o AutoML para tarefas como classificação, regressão, detecção de objetos, segmentação de imagens, classificação de bordas, classificação de vídeo, detecção de objetos em vídeo, rastreamento de objetos em vídeo, segmentação de vídeo, classificação de texto, extração de entidades, análise de sentimento, análise de conteúdo, tradução automática e previsão de séries temporais.

Treinamento personalizado:

Oferece controle total sobre o processo de treinamento, incluindo o uso de seu framework de ML preferido, escrevendo seu próprio código de treinamento e escolhendo opções de ajuste de hiperparâmetro. Você pode usar o SDK do Vertex AI para Python para criar e executar trabalhos de treinamento personalizado no Vertex AI, usando recursos como o Vertex TensorBoard, o Vizier e o Experiments para monitorar e otimizar seu treinamento. Você pode usar o treinamento personalizado para tarefas como classificação de imagens, detecção de objetos, reconhecimento de fala, geração de texto, recomendação de produtos, etc.

Model Garden:

Permite que você descubra, teste, personalize e implante modelos e ativos do Vertex AI e de código aberto (OSS). O Model Garden é uma biblioteca de modelos pré-treinados e componentes de pipeline que você pode usar para acelerar seu desenvolvimento de ML. Você pode encontrar modelos e ativos para diferentes tipos de dados e tarefas, como visão computacional, processamento de linguagem natural, áudio e fala, geração de código, etc. Você pode usar o SDK do Vertex AI para Python para carregar, ajustar e implantar os modelos e ativos do Model Garden no Vertex AI.

Generative AI:

Oferece acesso aos grandes modelos de IA gerativos do Google para várias modalidades (texto, código, imagens, fala). Assim, é possível ajustar os LLMs do Google às suas necessidades. Posteriormente, basta implantá-los para uso em seus aplicativos com IA. Além disso, o Generative AI auxilia em tarefas de geração de texto, tradução, resumo, resposta a perguntas, geração de código e imagens, edição, etc.

Ademais, você pode usar o SDK do Vertex AI para Python para criar e executar trabalhos de ajuste e implantação no Vertex AI. Afinal, os recursos Vertex TensorBoard, o Vizier e o Experiments ajudam a monitorar e otimizar seu ajuste.

MLOps:

São ferramentas de ponta a ponta para automatizar e escalar projetos ao longo do ciclo de vida do ML. As ferramentas de MLOps são executadas em uma infraestrutura totalmente gerenciada que você pode personalizar com base em suas necessidades de desempenho e orçamento. As ferramentas de MLOps incluem:

Vertex Vizier:

É um serviço que ajuda a otimizar os hiperparâmetros dos modelos de ML, usando algoritmos de otimização de última geração. O Vertex Vizier ajuda a encontrar os melhores valores de hiperparâmetros para seus modelos de ML, seja usando o AutoML ou o treinamento personalizado.

Vertex Feature Store:

É um serviço que ajuda a gerenciar, compartilhar e reutilizar recursos de ML em seus projetos. O Vertex Feature Store cria, armazena e serve recursos de ML de forma consistente e eficiente. Isso acontece a partir de recursos como o Vertex Dataflow, o Vertex Data Catalog e o Vertex BigQuery.

Vertex Experiments:

Ajuda a rastrear e comparar os experimentos de ML, com o Vertex TensorBoard, o ML Metadata e o Vizier. Você pode usar esse serviço para registrar e visualizar as métricas, os artefatos e os hiperparâmetros de seus experimentos de ML.

Vertex Model Monitoring:

Este ajuda a monitorar o desempenho e a qualidade dos modelos de ML implantados, usando recursos como o Vertex Dataflow, o Vertex Data Catalog e o Vertex BigQuery. Você pode usar o Vertex Model Monitoring para detectar e alertar sobre anomalias, drifts e preconceitos em seus modelos de ML, e tomar ações corretivas quando necessário.

Vertex ML Metadata:

Ajuda a gerenciar e rastrear os metadados dos recursos, modelos e pipelines de ML, usando recursos como o Vertex Data Catalog e o Vertex BigQuery

Vertex ML Metadata:

Também ajuda a gerenciar e rastrear os metadados dos recursos, modelos e pipelines de ML, usando o Data Catalog e o BigQuery. Você pode usar o Vertex ML Metadata para registrar e consultar as informações sobre os recursos, modelos e pipelines de ML que você usa em seus projetos, como origem, versão, dependências, propriedades, etc.

Vertex Pipelines:

Este ajuda a criar e executar pipelines de ML, usando o Dataflow, Data Catalog, BigQuery e o Vertex AI Workbench. Aliás, Você pode orquestrar e automatizar as etapas do seu fluxo de trabalho de ML com o Vertex Pipelines. Ele contempla processos como ingestão de dados, engenharia de recursos, treinamento, avaliação, implantação e monitoramento de modelos. Além disso, é possível usar o SDK do Vertex para Python. Assim, ele define e executa seus pipelines de ML no Vertex AI, usando componentes pré-definidos ou personalizados.

Vertex ML Edge Manager:

Por fim, este ajuda a implantar e gerenciar modelos de ML em dispositivos de borda. Isto é, você pode usá-lo para otimizar, distribuir e atualizar seus modelos de ML em dispositivos de borda, como smartphones, tablets, câmeras, sensores, etc. Você pode usar o SDK do Vertex AI para Python para criar e executar trabalhos de implantação e gerenciamento de borda no Vertex AI.

Quais são as vantagens e limitações do Vertex AI?

A plataforma tem várias vantagens e limitações que você deve considerar ao usar a plataforma. Algumas delas são:

Vantagens:

• Simplifica e acelera o desenvolvimento e a implantação de modelos de ML.
• Oferece várias opções de treinamento e implantação de modelos, desde o AutoML, que permite treinar modelos sem escrever código, até o treinamento personalizado, que oferece controle total sobre o processo de treinamento, incluindo o uso de frameworks de ML preferidos, código de treinamento personalizado e opções de ajuste de hiperparâmetro.
• Também oferece acesso aos grandes modelos de IA gerativos do Google para várias modalidades (texto, código, imagens, fala), permitindo ajustar os LLMs do Google às suas necessidades e, em seguida, implantá-los para uso em seus aplicativos com IA.
• Conta com ferramentas de MLOps de ponta a ponta para automatizar e escalar projetos ao longo do ciclo de vida do ML, como o Vertex Vizier, o Feature Store, Experiments, o Model Monitoring, o ML Metadata, o Pipelines e o Vertex ML Edge Manager.
• Permite que os usuários usem o SDK do Vertex AI para Python para executar todo o fluxo de trabalho de ML no Vertex AI Workbench, um ambiente de desenvolvimento baseado em notebooks Jupyter, que facilita a colaboração e a experimentação.
• Também permite que os usuários descubram, testem, personalizem e implantem modelos e ativos do Vertex AI e de código aberto (OSS) com o Model Garden, uma biblioteca de modelos pré-treinados e componentes de pipeline.

Limitações:

• Pode exigir uma curva de aprendizado para os usuários que não estão familiarizados com os serviços de ML do Google Cloud, pois eles precisam entender como cada recurso funciona e se integra com os outros.
• A plataforma pode ter alguns custos associados ao uso de seus recursos, dependendo do tipo, da quantidade e da duração do treinamento e da implantação dos modelos. Os usuários precisam estar cientes dos preços e das cotas do Vertex AI para evitar surpresas na fatura.
• Pode ter algumas limitações técnicas em relação à disponibilidade, à compatibilidade e à escalabilidade de alguns recursos, dependendo da região, do framework e do tamanho dos dados e dos modelos. Os usuários precisam verificar as especificações e os requisitos do Vertex AI para garantir o melhor desempenho e a melhor qualidade dos seus projetos de ML.

Como começar a usar o Vertex AI?

Embora os sistemas sejam complexos, o uso da plataforma é intuitivo. Portanto, para começar a usar, você pode seguir os seguintes passos:

• Acesse o console do Google Cloud e crie ou selecione um projeto.
• Ative a API do Vertex AI e as APIs relacionadas que você pretende usar, como AutoML, Prediction, Data Labeling, etc.
• Crie um bucket do Cloud Storage para armazenar seus dados e artefatos de treinamento e implantação.
• Abra o Workbench e crie uma instância de notebook para desenvolver seu código de treinamento e implantação.
• Use o SDK do Vertex AI para Python para interagir com os recursos como datasets, modelos, endpoints, pipelines, etc.
• Siga os tutoriais para aprender como treinar e implantar modelos de ML para diferentes tipos de dados e tarefas, usando AutoML ou treinamento personalizado.
• Explore o Model Garden para descobrir, testar, personalizar e implantar modelos e ativos do Vertex AI e de código aberto.

Em última análise…

Neste artigo, você conheceu e aprendeu mais sobre o Vertex AI, a plataforma de aprendizado de máquina do Google. Aliás, a tecnologia integra os serviços de ML do Google Cloud em uma única interface e API. Além disso, você viu quais são as principais funcionalidades, vantagens, limitações e como começar a usar a plataforma.

Decerto a plataforma oferece várias opções de treinamento e implantação de modelos. Ademais, ela oferece acesso aos grandes modelos de IA gerativos do Google para várias modalidades. Assim, a plataforma permite ajustar os LLMs do Google às suas necessidades e, em seguida, implantá-los para uso em seus aplicativos com IA.

Contudo, a plataforma visa facilitar e acelerar o uso do ML, aproveitando a infraestrutura e a segurança do Google Cloud. Aliás, o Vertex AI é uma evolução das plataformas anteriores do Google Cloud. Sobretudo, a plataforma é resultado da experiência e inovação do Google em ML. Dessa forma, a empresa oferece uma forma fácil e flexível de construir, implantar e escalar soluções de ML para diferentes tipos de dados e tarefas.