Audacity anuncia nova ferramenta de inteligência artificial

O Audacity, o software mais popular do mundo para gravação e edição de áudio, anunciou recentemente uma nova ferramenta de inteligência artificial (IA) que oferece vários recursos úteis e inovadores para os usuários que querem editar e criar áudio falado e música. A ferramenta de IA é uma parceria com a Intel, que fornece o pacote OpenVINO, um conjunto de ferramentas de código aberto para otimizar e implantar modelos de aprendizado profundo em plataformas Intel®. Neste artigo, vamos explorar o que é a ferramenta de IA do Audacity, como ela funciona, quais são os seus benefícios e desafios, e o que podemos esperar para o futuro da ferramenta de IA do Audacity.

O que é a ferramenta de IA do Audacity?

OpenVINO AI effects é a ferramenta de IA do Audacity. Em suma, é um plugin que permite que os usuários usem modelos de aprendizado profundo para realizar tarefas de edição e geração de áudio, usando o Audacity como interface. A ferramenta de IA oferece quatro recursos principais:

• Supressão de ruído, que filtra o ruído de fundo do áudio falado, semelhante ao efeito de remoção de ruído do Audacity.
• Transcrição, que pode transcrever ou traduzir as palavras de um áudio para um rótulo, usando o modelo Whisper da OpenAI. A transcrição pode ser exportada como um arquivo de texto.
• Geração de música, que pode gerar um trecho de música a partir de um texto, usando o projeto Riffusion, baseado no modelo Stable Diffusion. Você pode especificar o gênero da música e a duração do trecho.
• Remix de estilo musical, que pode remixar uma parte de uma música existente, usando o mesmo modelo Riffusion. Você pode escolher um trecho inicial e um final para a música remixada.

A ferramenta de IA funciona offline e localmente, sem depender de servidores em nuvem, inscrições ou assinaturas. Isso garante mais privacidade e desempenho para os usuários, que podem usar os recursos de IA sem conexão à internet ou sem compartilhar seus dados.

Como funciona a ferramenta de IA do Audacity?

A ferramenta de IA do Audacity usa o pacote OpenVINO da Intel para otimizar e implantar os modelos de aprendizado profundo que realizam as tarefas de edição e geração de áudio. O pacote OpenVINO inclui o OpenVINO Model Converter, que converte modelos de PyTorch, TensorFlow, ONNX, PaddlePaddle e outros formatos para o formato OpenVINO, que é otimizado para o desempenho de inferência. Ele também inclui o OpenVINO™ Runtime, que é uma biblioteca que permite executar inferência localmente ou em um servidor remoto, usando plugins para CPU, GPU, dispositivos multi e heterogêneos.

Os modelos de aprendizado profundo usados pela ferramenta de IA do Audacity são baseados em redes neurais profundas, que são sistemas computacionais inspirados no funcionamento do cérebro humano, capazes de aprender a partir de dados e realizar tarefas complexas. Alguns dos modelos usados pela ferramenta de IA são:

Whisper

Um modelo de IA da OpenAI que pode transcrever e traduzir áudios em diferentes idiomas, usando redes neurais profundas. Aliás, o Whisper usa o modelo GPT-3, um dos mais avançados do mundo, para gerar textos a partir de áudios, com alta precisão e fluência.

Stable Diffusion

Um método de geração de áudio que usa processos de difusão estocástica para criar sons realistas e de alta qualidade. O Stable Diffusion usa redes neurais profundas para modelar a distribuição de probabilidade dos dados de áudio, e usa um processo reversível de ruído e denoising para gerar novos áudios a partir de ruído branco.

Riffusion

Um projeto baseado no Stable Diffusion que pode gerar e remixar músicas a partir de textos, usando modelos pré-treinados em diferentes gêneros musicais. O Riffusion usa redes neurais profundas para aprender as características e as estruturas das músicas, e usa o método de difusão estável para gerar novas músicas a partir de textos ou de músicas pré-existentes.

Para usar a ferramenta de IA do Audacity, os usuários precisam baixar o pacote OpenVINO no GitHub e extrair o conteúdo em uma pasta de sua preferência. Depois, eles precisam baixar o Audacity 3.4.2, versão de 64 bits para Windows, no site oficial e instalar o programa. Em seguida, eles precisam copiar a pasta openvino-plugins-ai-audacity que está dentro do pacote OpenVINO para a pasta Plug-Ins do Audacity, que geralmente fica em C:\Program Files (x86)\Audacity\Plug-Ins. Por fim, eles precisam abrir o Audacity e ir em Efeitos > Adicionar / Remover Plug-ins… e ativar os plug-ins de IA que querem usar.

Quais são os benefícios e desafios da ferramenta de IA do Audacity?

A ferramenta de IA do Audacity traz benefícios e desafios para os usuários que querem editar e criar áudio com mais facilidade e qualidade. Alguns dos benefícios são:

• A ferramenta de IA permite que os usuários façam anulação de ruídos indesejados, melhorando a clareza e a nitidez do áudio falado.
• A ferramenta de IA também possibilita que os usuários façam transcrição e tradução de áudios em diferentes idiomas, usando o modelo Whisper da OpenAI. Isso pode ser útil para criar legendas, transcrever entrevistas ou aprender novas línguas.
• A ferramenta de IA ainda oferece recursos para criação e remixagem de músicas a partir de textos ou de faixas pré-existentes, usando o projeto Riffusion, baseado no método Stable Diffusion. Isso pode ser divertido para experimentar novos estilos musicais, gerar músicas originais ou fazer covers.
• A ferramenta de IA funciona offline e localmente, sem depender de servidores em nuvem, inscrições ou assinaturas. Isso, então, garante mais privacidade e desempenho para os usuários, que podem usar os recursos de IA sem conexão à internet ou sem compartilhar seus dados.

Desafios

Alguns dos desafios são:

• A ferramenta de IA requer que os usuários tenham um hardware compatível com o pacote OpenVINO da Intel, que é otimizado para os processadores da empresa. Usuários que não possuem um PC com essas especificações podem ter dificuldades para instalar ou executar a ferramenta de IA.
• A ferramenta de IA pode gerar disputas autorais com os recursos de geração e remixagem de músicas, que usam modelos de IA para criar novas obras a partir de textos ou de músicas pré-existentes. Usuários que querem usar esses recursos devem estar atentos às questões legais e éticas envolvidas na produção e no compartilhamento de conteúdo musical com IA.
• A ferramenta de IA pode apresentar erros ou limitações na qualidade ou na precisão dos resultados. Afinal, os modelos de IA não são perfeitos e podem falhar ou gerar outputs indesejados. Portanto, usuários que querem usar a ferramenta de IA devem ter senso crítico e verificar os resultados antes de usá-los ou divulgá-los.

O que podemos esperar para o futuro da ferramenta de IA do Audacity?

Decerto, o futuro da ferramenta de IA do Audacity é promissor e cheio de possibilidades. A ferramenta de IA é um projeto de código aberto, que pode receber contribuições da comunidade de desenvolvedores e usuários do Audacity. Isso significa que a ferramenta de IA pode ser aprimorada, atualizada e expandida com novos recursos e funcionalidades, de acordo com as demandas e as necessidades dos usuários. Alguns dos possíveis desenvolvimentos futuros da ferramenta de IA são:

Compatibilidade com mais sistemas operacionais e hardwares.

Atualmente, a ferramenta de IA só está disponível para Windows, mas pode acabar compilada para Linux e macOS também. No entanto, a ferramenta de IA requer um hardware compatível com o pacote OpenVINO da Intel, otimizado para os processadores da empresa. No futuro, a ferramenta de IA pode se adaptar para funcionar em outros tipos de processadores e dispositivos. Assim como: smartphones e tablets, ampliando o acesso e a usabilidade da ferramenta de IA.

Melhoria na qualidade e na precisão dos resultados.

Sobretudo, a ferramenta de IA usa modelos de aprendizado profundo para realizar as tarefas de edição e geração de áudio. Porém, esses modelos podem falhar ou gerar outputs indesejados. No futuro, a ferramenta de IA pode ser treinada com mais dados e algoritmos, para aumentar a qualidade e a precisão dos resultados. Aliás, isso também reduziria os erros e as limitações da ferramenta de IA.

Inclusão de mais recursos e funcionalidades.

A ferramenta de IA oferece vários recursos úteis para editar e criar áudio falado e música, mas há espaço para mais inovação e criatividade. No futuro, a ferramenta de IA pode incluir mais recursos e funcionalidades. Assim como: reconhecimento de voz, síntese de voz, modulação de voz, correção de tom, harmonização, mixagem, masterização, efeitos sonoros, entre outros. Esses recursos e funcionalidades podem tornar a ferramenta de IA mais versátil e completa, atendendo a diferentes tipos de usuários e projetos.

Em última análise…

Decerto, a ferramenta de IA do Audacity é uma novidade que promete revolucionar a forma como os usuários editam e criam áudio com o software mais popular do mundo para gravação e edição de áudio. Aliás, a ferramenta de IA oferece recursos de supressão de ruído, transcrição, geração de música e remix de estilo musical, usando modelos de aprendizado profundo otimizados pelo pacote OpenVINO da Intel.

Aliás, a ferramenta de IA funciona offline e localmente, garantindo mais privacidade e desempenho para os usuários. Por outro lado, a ferramenta de IA também traz desafios. Assim como: a compatibilidade com o hardware, as disputas autorais e os erros ou limitações dos resultados. Porém, isso é algo superável. Afinal, a ferramenta de IA é um projeto de código aberto. Portanto, ela pode ser aprimorada, atualizada e expandida com novos recursos e funcionalidades, de acordo com as demandas e as necessidades dos usuários.

Sobretudo, a ferramenta de IA do Audacity é uma ferramenta que vale a pena experimentar, para quem quer se divertir com o som, seja produzindo música, podcasts, ou apenas brincando com o áudio.