SENTIMASK SDK
O SentiMask é projetado para o desenvolvimento de aplicativos de realidade aumentada, que usam tecnologias de rastreamento de faces 3D em tempo real para captura de movimento e controle de expressões faciais de caracteres digitais 3D ou mapeamento de avatares animados na face do usuário. A tecnologia funciona com câmeras regulares de PCs comuns ou smartphones.
Disponível como um kit de desenvolvimento de software que fornece o desenvolvimento de sistemas de rastreamento de face 3D para Microsoft Windows, Android e Linux.
CARACTERÍSTICAS E CAPACIDADES
- Detecção e rastreamento de face em tempo real.
- Postura facial, marcos, estimativa de forma e expressão.
- Geração de malha facial 3D.
- Funciona com webcams regulares e câmeras de smartphone.
- Integração fácil com outros softwares como software de modelagem em 3D ou motores de jogos.
- Preços razoáveis, licenciamento flexível e suporte ao cliente gratuito.
Confira o vídeo demonstrativo:
O SentiMask fornece rastreamento de faces em 3D em tempo real e estimativa de expressão facial usando vídeo de uma webcam comum ou câmera de smartphone. As possíveis aplicações da tecnologia SentiMask incluem:
- Captura de movimento para animação facial de personagens 3D em aplicações de entretenimento, como jogos de computador, aplicativos de comunicação, etc.
- Aplicações de realidade aumentada, como maquiagem virtual, avaliação de mudanças de aparência, etc.
- Análise de expressão facial para aplicações interativas.
A tecnologia SentiMask possui esses recursos para aplicações de rastreamento de faces 3D:
- Desempenho em tempo real. A tecnologia SentiMask realiza detecção e rastreamento de características faciais a partir de vídeos ao vivo em tempo real. A tecnologia fornece um desempenho rápido em um PC normal ou smartphone.
- Estimativa das características faciais. O algoritmo SentiMask é capaz de reconhecer pose facial, marcos, forma e expressão de um vídeo.
- Geração de malha facial 3D. O algoritmo reconstrói uma malha facial 3D (modelo wireframe) a partir de uma imagem facial. Uma textura personalizada pode ser aplicada à malha, ou os pontos de malha podem ser usados como uma referência para mudar a aparência de um personagem animado.
- É necessária uma câmera comum. Um vídeo para a reconstrução do modelo de face 3D pode ser capturado com uma câmera comum ou um smartphone. Não são necessários sensores de profundidade ou outro hardware avançado. As recomendações e especificações contêm informações mais detalhadas sobre a configuração da câmera.
- Integração fácil com outros softwares. SentiMask gera uma nuvem de pontos 3D, ângulos de rotação facial (roll, pitch, yaw) e estimativas da expressão facial. Estes dados podem ser usados em um aplicativo personalizado ou passados facilmente para um software de modelagem em 3D, como o Blender, bem como os mecanismos de jogo.
CONTÉUDO DO SDK
O SentiMask SDK destina-se a desenvolvedores que desejam usar o rastreamento de faces 3D para captura de movimento e controle de personagem ou avatar digital em suas aplicações ou projetos. O SDK permite o rápido desenvolvimento de aplicativos de realidade aumentada usando funções da biblioteca SentiMask para plataformas Microsoft Windows, Android e Linux. Os desenvolvedores fornecem transmissões de vídeo de câmeras como entrada de dados e têm controle completo sobre os dados de saída; portanto, as funções SentiMask SDK podem ser usadas com qualquer interface de usuário ou software de terceiros, como pacotes de modelagem em 3D ou mecanismos de jogos.
O pacote de distribuição SentiMask SDK contém esses componentes:
- Licença de instalação SentiMask para PC (1 licença de computador único)
- Licença de instalação SentiMask para Android (1 licença de computador único)
- Biblioteca do gerenciador de dispositivos
- Amostras de programação C ++ para plataformas Microsoft Windows e Linux
- Amostras de programação Java para plataforma Android
- Documentação SentiMask SDK
REQUISITOS DE SISTEMA
Existem requisitos específicos para cada plataforma que executará aplicativos baseados em SentiMask.
Conteúdo da página:
- Plataforma Microsoft Windows
- Plataforma Android
- Plataforma Linux x86 / x86-64
REQUISITOS DA PLATAFORMA MICROSOFT WINDOWS
- Microsoft Windows 7/8/10, 32 bits ou 64 bits.
-
PC ou laptop com processadores compatíveis com x86 (32 bits) ou x86-64 (64 bits).
- É necessário processador de pelo menos 2 GHz. A CPU de 3 GHz ou mais rápida é recomendada para executar rastreamento de face em tempo real em aplicativos, que também requerem muitos recursos de CPU (ou seja, jogos de computador).
- É necessário um suporte SSE2. Os processadores que não suportam SSE2 não podem executar o algoritmo SentiMask. Verifique se seu modelo de processador específico suporta o conjunto de instruções SSE2.
- Pelo menos 256 MB de RAM livre devem estar disponíveis para um aplicativo baseado em SentiMask.
-
Espaço livre na unidade de disco rígido (HDD):
- pelo menos 1 GB requerido para o desenvolvimento.
- 100 MB necessários para a implantação de componentes SentiMask.
- Qualquer webcam ou câmera, acessível usando a interface DirectShow, é suportada pelo SentiMask na plataforma Microsoft Windows.
- Microsoft .NET framework 4.5 ou posterior (para o uso de componentes .NET).
- Microsoft Visual Studio 2012 ou posterior (para desenvolvimento de aplicativos em C / C ++, C #, Visual Basic .Net)
REQUISITOS DE PLATAFORMA DE ANDROID
-
Um smartphone ou tablet que esteja executando o Android 4.4 (API nível 19) OS ou mais recente.
- O nível 22 da API é o recomendado para a compilação do código.
- Se você tiver um dispositivo personalizado baseado em Android ou placa de desenvolvimento, entre em contato conosco para descobrir se ele é suportado.
- Processador ARG baseado em 1,5 GHz recomendado para o processamento de face em tempo real. Processadores mais lentos também podem ser usados, mas o processamento da face demorará mais tempo.
- Pelo menos 20 MB de RAM livre devem estar disponíveis para o aplicativo.
- Pelo menos 30 MB de espaço de armazenamento livre (built-in flash ou cartão de memória externo) necessários para a implantação do componente SentiMask para cada aplicativo separado.
- Câmera incorporada de qualquer smartphone ou tablet, suportada pelo sistema operacional Android. A câmera deve ter uma resolução de pelo menos 0,3 MegaPixel (640 x 480 pixels).
-
Requisitos do ambiente de desenvolvimento para PC:
- Java SE JDK 7 (ou superior)
- Eclipse Oxygen (1a) IDE
- Ambiente de desenvolvimento Android (pelo menos o nível API 19 requerido)
- Gradle 4.3.1 ou mais recente
- Conexão de internet para ativar licenças de componente SentiMask
REQUISITOS DE PLATAFORMA LINUX X86 / X86-64
- O kernel Linux 2.6 ou posterior (32 bits ou 64 bits) é necessário. O kernel do Linux 3.0 ou posterior é recomendado.
-
PC ou laptop com processadores compatíveis com x86 (32 bits) ou x86-64 (64 bits).
- É necessário processador de pelo menos 2 GHz. A CPU de 3 GHz ou mais rápida é recomendada para executar rastreamento de face em tempo real em aplicativos, que também requerem muitos recursos de CPU (ou seja, jogos de computador).
- É necessário um suporte SSE2. Os processadores que não suportam SSE2 não podem executar o algoritmo SentiMask. Verifique se seu modelo de processador específico suporta o conjunto de instruções SSE2.
- Pelo menos 256 MB de RAM livre devem estar disponíveis para um aplicativo baseado em SentiMask.
-
Espaço livre na unidade de disco rígido (HDD):
- pelo menos 1 GB requerido para o desenvolvimento.
- 100 MB necessários para a implantação de componentes SentiMask.
- Qualquer webcam ou câmera acessível usando a interface GStreamer, é suportada pelo SentiMask na plataforma Linux.
- glibc 2.11.3 ou mais recente
- GStreamer 1.2.2 ou posterior com gst-plugin-base e gst-plugin-good é necessário para captura de face usando câmera / webcam. GStreamer 1.4.x ou mais recente é recomendado.
-
Requisitos específicos para desenvolvimento de aplicativos:
- wxWidgets 3.0.0 ou mais recentes libs e pacotes de dev (para criar e executar amostras de SDK e aplicativos com base neles)
- Qt 4.8 ou mais recentes libs, dev e qmake pacotes (para criar e executar amostras SDK e aplicativos com base neles)
- GCC-4.4.x ou mais recente
- GNU Make 3.81 ou mais recente
ESPECIFICAÇÕES E RECOMENDAÇÕES DE USO
- Apenas uma face em um frame é processada. Se houver mais de uma face em um quadro, o maior é processado.
- 32 pixels é a distância mínima recomendada entre os olhos para uma face na imagem ou transmissão de vídeo para executar a detecção de face de forma confiável. 64 pixels ou mais recomendados para melhores resultados de detecção de face. Observe que essa distância deve ser nativa, não conseguida redimensionando uma imagem.
-
O motor SentiMask tem certa tolerância para enfrentar a postura:
- head roll (Inclinação Lateral) - ± 180 graus;
- head pitch (Inclinação Frontal) - ± 25 graus da posição frontal;
- head yaw (Giro Lateral) - ± 35 graus da posição frontal.
- Detecção de face e estimativa de características faciais em um frame de vídeo é realizada em 8 milissegundos em um PC com o processador Intel Core i7-4790 a uma velocidade de clock de 3.6 GHz.
| Nome | Descrição | Data | Tamanho (KB) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
SENTIMASK SDK
|
RASTREAMENTO DE FACE 3D PARA APLICATIVOS DE REALIDADE APPS E CONTROLE DE CARACTERES DIGITAIS | 01/03/2018 | 555.694 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||