Fotogrametria na Digitalização 3D de Faces - Comparação entre Ferramentas¶
A proposta deste trabalho é abordar o uso de fotogrametria na obtenção da porção frontal da face para o uso em planejamentos cirúrgicos 3D digitais.
Objetivos do Estudo¶
Levantar o maior número de faces para digitalização 3D, obtendo uma boa amostra;
Comparar ferramentas de código aberto com código fechado para estudar a viabilidade de se utilizar programas gratuitos em casos de planejamento cirúrgico;
Desenvolver processo automatizado de digitalização da porção frontal da face;
Demonstrar a viabilidade de se utilizar um smartphone mediano para a tomada das fotos;
Buscar soluções para os problemas relacionados à obtenção de fotos e cálculo de dados;
Criar uma metodologia de digitalização facial livre de custos;
Portar as soluções para o add-on OrtogOnBlender.
Obtenção das Fotos¶
Para a obtenção das fotos fora seguido o Protocolo de Fotogrametria da Face.
Fotografia e Coleta de Dados¶
Primeira Tomada: 13 indivíduos de 9 a 69 anos em um mesmo local, das 12h31 às 13h09 com o tempo majoritariamente nublado e eventualmente ensolarado. Todos permaneceram em um ambiente externo à sombra. Não tomou-se nenhum cuidado prévio para tirar as fotos, os voluntários eram fotografados assim que aceitavam participar da pesquisa. Como o objetivo era avaliar a superfície a textura não foi renderizada.
Segunda Tomada: Um dos indivíduos que aceitou participar da 1ª tomada foi fotografado em 5 ambientes diferentes:
Outro local externo à sombra e com tempo ensolarado (sob um beiral);
Local encoberto com área de iluminação aberta (em uma varanda);
Local encoberto com ampla entrada de luz à direita e pouca luz à esquerda.
Ambiente interno com iluminação artificial simples (um ponto de luz);
Ambiente interno com escassa iluminação artificial (lâmpada com difusor).
Em quase todos os ambientes (com exceção do 1 e 2) a face foi fotografada com as seguintes configurações:
Rosto fotografado ao natural, sem ser lavado;
Com pequenos pontos no nariz;
Com traços horizontais e verticais ao longo da estrutura do nariz;
Com um pouco de pó base para diminuir o brilho da pele na área do nariz. Não foi passado pó no restante da face;
Com um pouco de pó base e pequenos pontos ao longo da estrutura do nariz. Não foi passado pó no restante da face.
Nesta fase a textura fora avaliada.
Terceira Tomada: Uma das faces foi novamente fotografada no mesmo local da primeira tomada, no entanto desta vez sem maquiagem (presente na primeira tomada).
Dados Sobre os Dispositivos¶
Máquina Fotogrática¶
Galaxy J7 Metal (SM-J710MN);
Marca da câmera: Samsung;
Modelo da câmera: SM-J710MN;
Flash não ativado;
Programa de exposição: Programa normal;
Distância focal: 3,7.
Computador¶
CPU: Intel(R) Core(TM) i7-3770 CPU @ 3.40GHz;
RAM: 11.70 GB Physical Memory 0B Virtual Memory;
OS: Xubuntu Minimal 17.10, Linux 4.10.0-42-generic (x86_64);
GPU: NVIDIA Corporation GF116 [GeForce GTS 450 Rev. 2];
Board Name: P8H61-M LE/BR (ASUSTeK COMPUTER INC);
HD Model: WDC WD10EZEX-00W.
Área de Interesse, Alinhamento e Redimensionamento¶
Todas as digitalizações foram rotacionadas, redimensionadas e seccionadas utilizando os recursos do addon OrtogOnBlender. Ao serem importadas no software Blender 3D as faces foram alinhadas e redimensionadas utilizando como base a distância intercantal lateral dos dois olhos.
Vídeo exemplo de alinhamento e redimensionamento: https://youtu.be/MTfQLnKjK0o
A área de interesse definida é a porção frontal da face, posto que as simulações de cirurgia ortognática e rinoplastia geralmente focam nessa região.
Além da área de interesse se limitar a parte frontal, é imprescindível para esse tipo de modelo, que ele contenha poucas faces, de modo a facilitar as manipulações em tempo real necessárias nos procedimentos propostos.
Vídeo exemplo de seleção da área de interesse: https://youtu.be/h-bFvhLp-8g
Programas para a Fotogrametria¶
Todas as ferramentas a seguir foram configuradas para executar o processo de fotogrametria em menos de 20 minutos, limite que foi ultrapassado em momentos isolados, mas manteve-se dentro do proposto quando geradas as médias globais.
MVE/SMVS + MeshLab + MVS Texturing (SMV1)¶
Alinhamento das câmeras (MVE);
Nuvem densa de pontos (SMVS);
Reconstrução da malha 3D (MeshLabServer script);
Texturização da malha 3D (MVS Texturing).
MVE/SMVS + MVS Texturing (SMV2)¶
Alinhamento das câmeras (MVE);
Nuvem densa de pontos (SMVS);
Reconstrução da malha 3D (MVE);
Limpeza da malha 3D (MVE);
Texturização da malha 3D (MVS Texturing).
OpenMVG + OpenMVS (VGVS)¶
Alinhamento das câmeras e nuvem esparsa de pontos (OpenMVG);
Nuvem densa de pontos (OpenMVS);
Reconstrução da malha 3D (OpenMVS);
Texturização da malha 3D (OpenMVS);
Exportação para OBJ (Meshlabserver script).
Photoscan (PHO)¶
Este software conta com um workflow próprio onde executa todos os passos do processo de fotogrametria.
Resources¶
MVS Texturing: https://github.com/nmoehrle/mvs-texturing
OpenMVG: https://github.com/openMVG/openMVG
Photoscan: https://www.agisoft.com/ (renomeado para Agisoft Metashape)
Resultados Gerais das Tomada¶
Primeira Tomada¶
Cód. |
Idade |
Ancest. |
Tempo (s) |
SMV1 (m) |
SMV2 (m) |
VGVS (m) |
PHO (m) |
---|---|---|---|---|---|---|---|
000 |
66 |
EURO |
29 |
13 |
16 |
10 |
24 |
001 |
42 |
EURO |
28 |
15 |
16 |
11 |
18 |
002 |
62 |
EURO |
27 |
13 |
16 |
10 |
21 |
003 |
29 |
MISC |
31 |
13 |
16 |
9 |
15 |
004 |
44 |
EURO |
33 |
14 |
15 |
ERRO |
21 |
005 |
69 |
EURO |
29 |
15 |
17 |
ERRO |
18 |
006 |
22 |
MISC |
26 |
13 |
15 |
10 |
15 |
007 |
29 |
AFRO |
27 |
13 |
14 |
9 |
13 |
008 |
9 |
EURO |
28 |
12 |
14 |
8 |
12 |
009 |
45 |
EURO |
28 |
14 |
16 |
9 |
15 |
010 |
11 |
MISC |
30 |
13 |
15 |
9 |
15 |
011 |
37 |
MISC |
24 |
12 |
ERRO |
ERRO |
17 |
012 |
20 |
EURO |
25 |
12 |
14 |
9 |
15 |
Média |
37 |
— |
28 |
13 |
15 |
9 |
17 |
Segunda Tomada¶
Externo à Sombra - Natural (Et01);
Externo à Sombra - Pontos no Nariz (Ex02);
Interno Amplamente Iluminado por Luz Externa - Natural (In01);
Interno Amplamente Iluminado por Luz Externa - Pontos no Nariz (In02);
Interno Externamente Iluminado pela Direita - Natural (In03);
Interno Externamente Iluminado pela Direita - Natural (In04);
Interno Externamente Iluminado pela Direita - Pontos no Nariz (In05);
Interno Externamente Iluminado pela Direita - Riscos no Nariz (In06);
Interno Externamente Iluminado pela Direita - Maquiagem (In07);
Interno Externamente Iluminado pela Direita - Maquiagem e Pontos (In08);
Interno Iluminado - Natural (In09);
Interno Iluminado - Pontos no Nariz (In10);
Interno Iluminado - Riscos no Nariz (In11);
Interno Iluminado - Maquiagem (In12);
Interno Iluminado - Maquiagem e Pontos (In13);
Interno Pouco Iluminado - Natural (In14);
Interno Pouco Iluminado - Pontos no Nariz (In15);
Interno pouco Iluminado - Riscos no Nariz (In16);
Interno Pouco Iluminado - Maquiagem e Pontos (In17).
Amb |
Tempo (s) |
SMV1 (m) |
VGVS (m) |
PHO (m) |
---|---|---|---|---|
Ex01 |
27 |
12 |
6 |
16 |
Ex02 |
30 |
11 |
7 |
19 |
In01 |
24 |
12 |
7 |
19 |
In02 |
22 |
12 |
7 |
16 |
In03 |
22 |
12 |
7 |
16 |
In04 |
22 |
12 |
7 |
21 |
In05 |
29 |
13 |
9 |
21 |
In06 |
23 |
11 |
7 |
14 |
In07 |
37 |
12 |
4 |
16 |
In08 |
34 |
13 |
7 |
18 |
In09 |
29 |
10 |
ERRO |
12 |
In10 |
28 |
12 |
4 |
13 |
In11 |
25 |
11 |
6 |
10 |
In12 |
37 |
12 |
3 |
10 |
In13 |
30 |
11 |
4 |
11 |
In14 |
29 |
11 |
ERRO |
11 |
In15 |
31 |
11 |
5 |
9 |
In16 |
27 |
11 |
4 |
8 |
In17 |
30 |
11 |
ERRO |
6 |
Média |
29 |
12 |
6 |
14 |
Terceira Tomada¶
Por se tratar de uma tomada única, o leitor é orientado a ler o resultado logo abaixo em Resultado da Terceira Tomada.
Média Geral das Tomadas¶
Descrição |
Valor Médio |
---|---|
Tomada de 26 fotos |
28 segundos |
MVE/SMVS + Meshlab + MVS Texturing |
12 minutos |
MVE/SMVS + MVS Texturing |
15 minutos |
OpenMVG + OpenMVS |
7 minutos |
Photoscan |
15 minutos |
Análise Geral¶
MVE/SMVS + Meshlab + MVS Texturing¶
Prós:
Malha limpa, nítida e ao mesmo tempo leve, perfeita para a dinâmica de tecido mole em tempo real (cirurgia ortognática) e escultura digital (rinoplastia);
Reconhecimento automático de distância focal e outras características da câmera;
Software de código aberto;
Ótima relação entre tempo de processamento e resultado;
Funciona em linha de comando, o que permite uma boa integração com o Blender através de Python script;
Roda em Windows, Linux e Mac OS X.
Contras:
Quando a iluminação não é homogênea há uma tendência de apresentar problemas na textura;
Os algoritmos não lidam bem com superfícies lustrosas (ponta do nariz);
Apaga as regiões onde a textura não pode ser projetada;
Não apresenta muitos detalhes na superfície criada.
MVE/SMVS + MVS Texturing¶
Prós:
Reconhecimento automático de distância focal e outras características da câmera;
Software de código aberto;
Bom nível de detalhamento superficial;
Funciona em linha de comando, o que permite uma boa integração com o Blender através de Python script;
Roda em Windows, Linux e Mac OS X.
Contras:
Quando a iluminação não é homogênea há uma tendência de apresentar problemas na textura;
Os algoritmos não lidam bem com superfícies lustrosas (ponta do nariz);
Apaga as regiões onde a textura não pode ser projetada;
Não apresenta boa relação entre tempo de processamento e resultado.
OpenMVG + OpenMVS¶
Prós:
Software de código aberto;
Processamento rápido;
Excelente ferramenta para a criação de texturas;
Funciona em linha de comando, o que permite uma boa integração com o Blender através de Python script;
Roda em Windows, Linux e Mac OS X.
Contras:
Pequenas irregularidades ao longo da superfície na maioria das reconstruções, principalmente de indivíduos jovens;
Não conta com reconhecimento automático de distância focal e outras características da câmera, o que pode comprometer os cálculos;
Não apresenta muitos detalhes na superfície criada;
Eventualmente apresenta erro de cálculo e não gera o modelo.
Importante
Todos os problemas descritos em Contras foram solucionados, ou diretamente no código do OrtogOnBlender, ou no Protocolo de Fotogrametria da Face. Por esses motivos o OpenMVG + OpenMVS é o default de digitalização por fotogrametria no OrtogOnBlender. Soluções: 1) Irregularidades: Smooth, 2) Distância focal: Inserção automática via script, 3) Baixa resolução: Multiresolution com Displacement, 4) Erro de cálculo: Fazer pontos ou traços no modelo.
Photoscan¶
Prós:
Reconhecimento automático de distância focal e outras características da câmera;
Valor acessível em sua versão standard;
Ótimo nível de detalhamento superficial;
Excelente ferramenta para a criação de texturas;
Roda em Windows, Linux e Mac OS X.
Contras:
Pequenas irregularidades ao longo da superfície;
Não apresenta boa relação entre tempo de processamento e resultado;
Apesar do detalhamento as malhas geradas pecam muito no quesito nitidez;
A versão standard não permite o uso de Python script o que dificulta a comunicação direta com o Blender.
Problemas, Soluções e Recomendações¶
Textura com Problema de Contraste¶
Solução 1: Fotografar em ambientes onde a iluminação é homogênea;
Solução 2: Configurar manualmente a câmera para que o brilho e o contraste permaneçam o mesmo, ou ao menos o máximo parecido possível entre a primeira e a última foto. Um reflexo dessa alteração é o aumento da média de tempo da tomada de 26 fotos dos atuais 28 segundos, para 44 segundos, mas vale a pena o esforço.
Importante
A solução proveniente do OpenMVG + OpenMVS oferece uma geração de textura mais homogênea que os outros livres e gratuitos.
Irregularidades na Ponta do Nariz (Superfície Lustrosa)¶
Solução: O problema pode ser resolvido com pequenos pontos no nariz, mas a solução mais eficaz é primeiramente reduzir o brilho com pó (maquiagem) e em seguida fazer os pontos ao longo da estrutura do nariz de 5 em 5 mm em média.
Dica
Caso haja a necessidade de ocultar os pontos o usuário pode recorrer a ferramenta Clone (Carimbo) no Texture Paint.
Importante
Apesar dos pontos incomodarem os novos usuários, há uma tendência dos mesmos os ignorarem com o hábito do uso, dispensando a ocultação dos pontos, posto que os cirurgiões costumam focar mais na análise da estrutura do que na apresentação da textura e não editar posteriormente torna o trabalho mais rápido.
Falta de Detalhamento na Superfície¶
Solução: A falta de detalhamento pode ser resolvida através de bump map ou displacement, utilizando como parâmetro a própria textura. O comando passou a ser disponibilizado automaticamente pelo OrtogOnBlender.
Regiões Faltantes ou Pequenos Buracos na Face¶
Solução 1: Digitalização com boa iluminação costuma gerar modelos mais fechados;
Solução 2 (MVS Texturing): Habilitar a opção “–keep_unseen_faces” no momento da geração da textura, mas isso gera regiões esbranquiçadas que destoam da cor da face.
Recomendações Gerais¶
A média global de fotografar uma sequência é de 28 segundos, ou seja, em mais ou menos um minuto e meio pode-se fazer 3 tomadas para garantir o sucesso da operação ao gerar um número excedente de fotos;
Se estiver em um ambiente fechado procure fazer ao menos uma das tomadas com a câmera no manual para gerar boas texturas;
Antes de fazer fotografias para um paciente real, treine o processo com outras pessoas, de preferência com alguém próximo;
Se possível faça as fotos sempre em um mesmo ambiente controlado, isso aumenta a possibilidade de sucesso e diagnóstico de eventuais problemas relacionados a digitalização;
Não confie apenas em um sistema de fotogrametria, assim como a maioria das pessoas conserva mais de um browser de internet em seus PCs, é interessante ter a disposição mais de um programa de digitalização 3D;
Uma boa alternativa para simplificar ainda mais o processo seria a criação de um sistema automático de tomada fotográfica, baseado em Arduino®, por exemplo.
Resultados Individuais da Primeira Tomada¶
O objetivo desta seção é analisar um caso individual, de modo a visualizar os problemas apresentados e a característica de cada uma das ferramentas utilizadas. Optou-se por evidenciar os problemas na geração das malhas, de modo a evidenciar os pontos fracos de cada sistema.
Tomada 000¶
Descrição |
Valor |
---|---|
Código |
000 |
Sexo |
Feminino |
Idade |
66 |
Ancestralidade |
Européia |
Tomada de 26 fotos |
29 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
13 minutos |
Digitalização MVE/SMVS+MVS Texturing |
16 minutos |
Digitalização OpenMVG+OpenMVS |
10 minutos |
Digitalização Photoscan |
24 minutos |
Ordem, da esquerda para a direita:
MVE/SMVS+Meshlab+MVS Texturing
MVE/SMVS+MVS Texturing
OpenMVG+OpenMVS
Photoscan
Resultados¶
Região faltante na parte inferior das faces 1 e 2 (Fig. 3).
Leve irregularidade na parte superior esquerda da face 4 (Fig. 3).
Região faltante na parte inferior e lateral das faces 1 e 2 (Fig. 4).
Irregularidade na parte lateral e inferior da face 4 (Fig. 4).
Região faltante na parte inferior das faces 1 e 2 (Fig. 5).
Irregularidade na parte inferior e superior da face 4 (Fig. 5).
Irregularidades leves na face 4 (Fig. 6).
Demonstração da região faltante na parte inferior das faces 1 e 2 (Fig. 7).
Irregularidade na parte inferior da face 4 (Fig. 7).
Irregularidade na parte inferior do nariz na face 2 (Fig. 8).
Tomada 001¶
Descrição |
Valor |
---|---|
Código |
001 |
Sexo |
Masculino |
Idade |
42 |
Ancestralidade |
Européia |
Tomada de 26 fotos |
28 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
15 minutos |
Digitalização MVE/SMVS+MVS Texturing |
16 minutos |
Digitalização OpenMVG+OpenMVS |
11 minutos |
Digitalização Photoscan |
18 minutos |
Ordem, da esquerda para a direita:
MVE/SMVS+Meshlab+MVS Texturing
MVE/SMVS+MVS Texturing
OpenMVG+OpenMVS
Photoscan
Resultados¶
Geração irregular na parte direita da face 3 (Fig.9).
Geração irregular da parte esquerda da face 4 (Fig.9).
Regiões faltantes na parte inferior das faces 1 e 2 (Fig.10).
Regiões faltantes na parte inferior do nariz na face 2 (Fig.10).
Irregularidade na ponta do nariz evidenciada nas faces 1 e 2 (Fig.11).
Irregularidade na base do nariz da face 3 (Fig.11).
Irregularidade ao longo da face 4 (Fig.11).
Tomada 002¶
Descrição |
Valor |
---|---|
Código |
002 |
Sexo |
Feminino |
Idade |
62 |
Ancestralidade |
Européia |
Tomada de 26 fotos |
27 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
13 minutos |
Digitalização MVE/SMVS+MVS Texturing |
16 minutos |
Digitalização OpenMVG+OpenMVS |
10 minutos |
Digitalização Photoscan |
21 minutos |
Ordem, da esquerda para a direita:
MVE/SMVS+Meshlab+MVS Texturing
MVE/SMVS+MVS Texturing
OpenMVG+OpenMVS
Photoscan
Resultados¶
Irregularidade na região superior da face 4 (Fig. 12).
Regiões faltantes na parte lateral e inferior das faces 1 e 2 (Fig.13).
Tomada 003¶
Descrição |
Valor |
---|---|
Código |
003 |
Sexo |
Feminino |
Idade |
29 |
Ancestralidade |
Miscigenada |
Tomada de 26 fotos |
31 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
13 minutos |
Digitalização MVE/SMVS+MVS Texturing |
16 minutos |
Digitalização OpenMVG+OpenMVS |
9 minutos |
Digitalização Photoscan |
15 minutos |
Ordem, da esquerda para a direita:
MVE/SMVS+Meshlab+MVS Texturing
MVE/SMVS+MVS Texturing
OpenMVG+OpenMVS
Photoscan
Resultados¶
Irregularidade na parte direita e dos olhos da face 3 (Fig. 14).
Irregularidade na parte inferior da face 4 (Fig. 14).
Região faltante na parte inferior da face 1 e 2 (Fig. 15).
Pequena região faltante na parte inferior do nariz 2 (Fig. 15).
Demonstração da irregularidade na parte direita da face 3 (Fig. 15).
Demonstração da irregularidade na parte inferior da face 4 (Fig. 15).
Tomada 004¶
Descrição |
Valor |
---|---|
Código |
004 |
Sexo |
Masculino |
Idade |
44 |
Ancestralidade |
Européia |
Tomada de 26 fotos |
33 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
14 minutos |
Digitalização MVE/SMVS+MVS Texturing |
15 minutos |
Digitalização OpenMVG+OpenMVS |
ERRO! (não gerou o 3D) |
Digitalização Photoscan |
21 minutos |
Ordem, da esquerda para a direita:
MVE/SMVS+Meshlab+MVS Texturing
MVE/SMVS+MVS Texturing
Photoscan
Resultados¶
Fotogrametrias sem problemas estruturais quando visualizados frontalmente (Fig. 16).
Região faltante na base do nariz e da parte inferior da face 2 (Fig. 17).
Tomada 005¶
Descrição |
Valor |
---|---|
Código |
005 |
Sexo |
Masculino |
Idade |
69 |
Ancestralidade |
Européia |
Tomada de 26 fotos |
29 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
15 minutos |
Digitalização MVE/SMVS+MVS Texturing |
17 minutos |
Digitalização OpenMVG+OpenMVS |
ERRO! (não gerou o 3D) |
Digitalização Photoscan |
18 minutos |
Ordem, da esquerda para a direita:
MVE/SMVS+Meshlab+MVS Texturing
MVE/SMVS+MVS Texturing
Photoscan
Resultados¶
Região faltante nos cabelos das faces 1 e 2 (Fig. 18).
Irregularidade na região do nariz da face 3 (Fig. 18).
Pequena região faltante na parte esquerda do nariz da face 2 (Fig. 19).
Região faltante na parte direita inferior das faces 1 e 2 (Fig. 20).
Região faltante na parte inferior do nariz da face 2 (Fig. 20).
Tomada 006¶
Descrição |
Valor |
---|---|
Código |
006 |
Sexo |
Feminino |
Idade |
22 |
Ancestralidade |
Miscigenada |
Tomada de 26 fotos |
26 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
13 minutos |
Digitalização MVE/SMVS+MVS Texturing |
15 minutos |
Digitalização OpenMVG+OpenMVS |
10 minutos |
Digitalização Photoscan |
15 minutos |
Ordem, da esquerda para a direita:
MVE/SMVS+Meshlab+MVS Texturing
MVE/SMVS+MVS Texturing
OpenMVG+OpenMVS
Photoscan
Resultados¶
Irregularidade na ponta do nariz das faces 1 e 2 (Fig. 21).
Falta de cobertura na digitalização da face 3, principalmente na parte direita da estrutura (Fig. 21).
Irregularidade abaixo dos olhos, na parte direita, no limite com o nariz da face 4 (Fig. 21).
Demonstração da irregularidade na ponta do nariz das faces 1 e 2 (Fig. 22).
Regiões faltantes na parte inferior das faces 1 e 2 (Fig. 22).
Tomada 007¶
Descrição |
Valor |
---|---|
Código |
007 |
Sexo |
Feminino |
Idade |
29 |
Ancestralidade |
Africana |
Tomada de 26 fotos |
27 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
13 minutos |
Digitalização MVE/SMVS+MVS Texturing |
14 minutos |
Digitalização OpenMVG+OpenMVS |
9 minutos |
Digitalização Photoscan |
13 minutos |
Ordem, da esquerda para a direita:
MVE/SMVS+Meshlab+MVS Texturing
MVE/SMVS+MVS Texturing
OpenMVG+OpenMVS
Photoscan
Resultados¶
Irregularidade na ponta do nariz das faces 1 e 2 (Fig. 23).
Irregularidades ao longo da face 3 (Fig. 23).
Irregularidades na região do nariz e inferior da face 4 (Fig. 23).
Demonstração da irregularidade na ponta do nariz das faces 1 e 2 (Fig. 24).
Demonstração das irregularidades ao longo das faces 3 e 4 (Fig. 24).
Tomada 008¶
Descrição |
Valor |
---|---|
Código |
008 |
Sexo |
Feminino |
Idade |
9 |
Ancestralidade |
Européia |
Tomada de 26 fotos |
28 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
12 minutos |
Digitalização MVE/SMVS+MVS Texturing |
14 minutos |
Digitalização OpenMVG+OpenMVS |
8 minutos |
Digitalização Photoscan |
12 minutos |
Ordem, da esquerda para a direita:
MVE/SMVS+Meshlab+MVS Texturing
MVE/SMVS+MVS Texturing
OpenMVG+OpenMVS
Photoscan
Resultados¶
Irregularidades na base da face 2 (Fig. 25).
Irregularidade generalizada e severo comprometimento do formato da face 3 (Fig. 25).
Irregularidades ao longo da face e falta de nitidez 4 (Fig. 25).
Irregularidade na ponta do nariz das faces 1 e 2 (Fig. 26).
Demonstração das irregularidades ao longo das faces 2 e 3 (Fig. 26).
Tomada 009¶
Descrição |
Valor |
---|---|
Código |
009 |
Sexo |
Feminino |
Idade |
45 |
Ancestralidade |
Européia |
Tomada de 26 fotos |
28 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
14 minutos |
Digitalização MVE/SMVS+MVS Texturing |
16 minutos |
Digitalização OpenMVG+OpenMVS |
9 minutos |
Digitalização Photoscan |
21 minutos |
Ordem, da esquerda para a direita:
MVE/SMVS+Meshlab+MVS Texturing
MVE/SMVS+MVS Texturing
OpenMVG+OpenMVS
Photoscan
Resultados¶
Irregularidade generalizada na parte superior das faces 1 e 2 (Fig. 27).
Irregularidade generalizada e severo comprometimento do formato da face 3 (Fig. 27).
Irregularidade na região superior esquerda da face 4 (Fig. 27).
Demonstração das irregularidades nas faces 1, 2, 3 e 4 (Fig. 28).
Tomada 010¶
Descrição |
Valor |
---|---|
Código |
010 |
Sexo |
Feminino |
Idade |
11 |
Ancestralidade |
Miscigenada |
Tomada de 26 fotos |
30 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
13 minutos |
Digitalização MVE/SMVS+MVS Texturing |
15 minutos |
Digitalização OpenMVG+OpenMVS |
9 minutos |
Digitalização Photoscan |
15 minutos |
Ordem, da esquerda para a direita:
MVE/SMVS+Meshlab+MVS Texturing
MVE/SMVS+MVS Texturing
OpenMVG+OpenMVS
Photoscan
Resultados¶
Irregularidade generalizada e severo comprometimento do formato da face 3 (Fig. 29).
Falta de nitidez na face 4.
Irregularidade na ponta do nariz das faces 1 e 2 (Fig. 30).
Tomada 011¶
Descrição |
Valor |
---|---|
Código |
011 |
Sexo |
Feminino |
Idade |
37 |
Ancestralidade |
Miscigenada |
Tomada de 26 fotos |
24 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
13 minutos |
Digitalização MVE/SMVS+MVS Texturing |
ERRO! (não gerou o 3D) |
Digitalização OpenMVG+OpenMVS |
ERRO! (não gerou o 3D) |
Digitalização Photoscan |
15 minutos |
Ordem, da esquerda para a direita:
MVE/SMVS+Meshlab+MVS Texturing
Photoscan
Resultados¶
Irregularidade na ponta do nariz da face 1 (Fig. 31).
Demonstração da irregularidade na ponta do nariz e na parte inferior da face 1 (Fig. 32).
Tomada 012¶
Descrição |
Valor |
---|---|
Código |
012 |
Sexo |
Masculino |
Idade |
20 |
Ancestralidade |
Européia |
Tomada de 26 fotos |
25 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
12 minutos |
Digitalização MVE/SMVS+MVS Texturing |
14 minutos |
Digitalização OpenMVG+OpenMVS |
9 minutos |
Digitalização Photoscan |
15 minutos |
Ordem, da esquerda para a direita:
MVE/SMVS+Meshlab+MVS Texturing
MVE/SMVS+MVS Texturing
OpenMVG+OpenMVS
Photoscan
Resultados¶
Irregularidades na parte direita da face 2 (Fig. 33).
Irreguridades gerais com ênfase na região do nariz da face 4 (Fig. 34).
Resultados Individuais da Segunda Tomada¶
Código do indivíduo: 003
Importante
Nesta fase do estudo escluiu-se o cálculo com o MVE/SMVS+MVS Texturing.
Ambiente Externo à Sombra - Natural¶
Descrição |
Valor |
---|---|
Ambiente externo à sombra - natural |
|
Tomada de 26 fotos |
27 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
12 minutos |
Digitalização OpenMVG+OpenMVS |
6 minutos |
Digitalização Photoscan |
16 minutos |
Irregularidade na textura presente na parte superior esquerda da face 1 (Fig. 35).
Pequenas irregularidade generalizadas nas malhas das faces 2 e 3 (Fig. 36).
Pequenas irregularidades generalizadas na malhas das faces 2 e 3 (Fig. 37).
Superfície mais lisa e menos detalhada nas faces 1 e 2 (Fig. 38).
Ambiente Externo à Sombra - Pontos no Nariz¶
Descrição |
Valor |
---|---|
Ambiente externo à sombra - pontos no nariz |
|
Tomada de 26 fotos |
30 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
11 minutos |
Digitalização OpenMVG+OpenMVS |
7 minutos |
Digitalização Photoscan |
19 minutos |
Todas as reconstruções apresentaram bom resultado (Fig. 39).
Pequenas irregularidades nas faces 2 e 3 (Fig. 40).
Pequenas irregularidades nas faces 2 e 3 (Fig. 41).
Boa digitalização do nariz em todas as faces (Fig. 42).
Ambiente Interno Amplamente Iluminado por Luz Externa - Natural¶
Descrição |
Valor |
---|---|
Ambiente interno amplamente iluminado por luz externa - natural |
|
Tomada de 26 fotos |
24 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
12 minutos |
Digitalização OpenMVG+OpenMVS |
7 minutos |
Digitalização Photoscan |
16 minutos |
Problemas na textura ao longo da face 1 (Fig. 43).
Pequenas irregularidades nas faces 2 e 3 (Fig. 44).
Pequenas irregularidades nas faces 2 e 3 (Fig. 45).
Pequena área faltante na face 1 (Fig. 46).
Ambiente Interno Amplamente Iluminado por Luz Externa - Pontos no Nariz¶
Descrição |
Valor |
---|---|
Ambiente interno amplamente iluminado por luz externa - pontos no nariz |
|
Tomada de 26 fotos |
24 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
12 minutos |
Digitalização OpenMVG+OpenMVS |
7 minutos |
Digitalização Photoscan |
16 minutos |
Problemas na textura ao longo da da face 1 (Fig. 47).
Pequenas irregularidades nas faces 2 e 3 (Fig. 48).
Pequenas irregularidades nas faces 2 e 3 (Fig. 49).
Pequenas áreas faltantes na face 1 (Fig. 50).
Ambiente Interno Externamente Iluminado pela Direita - Natural¶
Descrição |
Valor |
---|---|
Ambiente interno externamente iluminado pela direita - natural |
|
Tomada de 26 fotos |
22 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
12 minutos |
Digitalização OpenMVG+OpenMVS |
7 minutos |
Digitalização Photoscan |
21 minutos |
Problema na textura ao longo da face 1 (Fig. 51).
Reconstrução 3D da face 2 comprometida (Fig. 51).
Pequenas irregularidades na parte direita da face 3 (Fig. 51).
Problema na textura ao longo da face 1 (Fig. 52).
Reconstrução 3D da face 2 comprometida (Fig. 52).
Pequenas irregularidades na parte direita da face 3 (Fig. 52).
Reconstrução 3D da face 2 comprometida (Fig. 53).
Pequenas irregularidades na parte direita da face 3 (Fig. 53).
Problema com a digitalização da ponta do nariz da face 1 (Fig. 54).
Ambiente Interno Externamente Iluminado pela Direita - Pontos no Nariz¶
Descrição |
Valor |
---|---|
Ambiente interno externamente iluminado pela direita - pontos no nariz |
|
Tomada de 26 fotos |
29 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
13 minutos |
Digitalização OpenMVG+OpenMVS |
9 minutos |
Digitalização Photoscan |
21 minutos |
Problemas de contraste na textura da face 1 (Fig. 55).
Problema na geração da malha da face 2 (Fig. 55).
Irregularidades gerais na face 3 (Fig. 56).
Irregularidades evidentes na face 2 (Fig. 57).
Pequenas regiões faltantes no nariz e na parte de trás da face 1 (Fig. 58).
Importante
Mesmo com os problemas de reconstrução gerais por conta da iluminação, a região das pontas dos narizes mantiveram-se completas em razão dos pontos colocados.
Ambiente Interno Externamente Iluminado pela Direita - Riscos no Nariz¶
Descrição |
Valor |
---|---|
Ambiente interno externamente iluminado pela direita - riscos no nariz |
|
Tomada de 26 fotos |
23 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
11 minutos |
Digitalização OpenMVG+OpenMVS |
7 minutos |
Digitalização Photoscan |
14 minutos |
Problemas de contraste na textura da face 1 (Fig. 59).
Pequenas irregularidades nas faces 1 e 2 (Fig. 60).
Irregularidades na parte esquerda das faces 2 e 3 (Fig. 61).
Irregularidades na parte esquerda das faces 2 e 3 (Fig. 62).
Importante
Riscar um objeto que apresenta homogeneidade na cor ajuda ao algoritmo de fotogrametria a encontrar referências para os seus cálculos. Se por um lado esse truque ajuda na obtenção de um modelo mais coerente (basta ver que o nariz foi reconstruído completamente nas três faces) com a realidade estruturalmente falando, por outro ele pode acarretar um grande trabalho, se for necessária remoção posterior da textura. Essa técnica, no entanto, é muito útil para pacientes que sofreram perda de parte da face ou mesmo de membros. A digitalização pode servir como base para a confecção de próteses. Outro uso corrente é para a comparação de pré e pós cirúrgico, posto que o objetivo de tal atividade está ligada mais a estrutura anatômica do que a textura da superfície.
Ambiente Interno Externamente Iluminado pela Direita - Maquiagem¶
Descrição |
Valor |
---|---|
Ambiente interno externamente iluminado pela direita - maquiagem |
|
Tomada de 26 fotos |
37 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
12 minutos |
Digitalização OpenMVG+OpenMVS |
4 minutos |
Digitalização Photoscan |
16 minutos |
Problemas de contraste na textura da face 1 (Fig. 63).
Irregularidades na parte esquerda das faces 2 e 3 (Fig. 64).
Irregularidade na parte esquerda das faces 2 (mais acentuada) e 3 (Fig. 65).
Irregularidade acentuada no lado esquerdo da face 2 (Fig. 66).
Importante
A irregularidade presente no lado esquerdo das faces 2 e 3 se deve à pouca iluminação das mesmas.
Ambiente Interno Externamente Iluminado pela Direita - Maquiagem e Pontos¶
Descrição |
Valor |
---|---|
Ambiente interno externamente iluminado pela direita - maquiagem e pontos |
|
Tomada de 26 fotos |
34 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
13 minutos |
Digitalização OpenMVG+OpenMVS |
7 minutos |
Digitalização Photoscan |
18 minutos |
Problemas de contraste na textura da face 1 (Fig. 67).
Pequenas irregularidades na face 3 (Fig. 68).
Pequenas irregularidades na face 2 (Fig. 69).
Pequenas irregularidades nas faces 2 e 3 (Fig. 70).
Ambiente Interno Iluminado - Natural¶
Descrição |
Valor |
---|---|
Ambiente interno iluminado - natural |
|
Tomada de 26 fotos |
29 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
10 minutos |
Digitalização OpenMVG+OpenMVS |
ERRO (não gerou 3D) |
Digitalização Photoscan |
12 minutos |
Problemas de contraste na textura da face 1 (Fig. 71).
Pequeno erro na ponta do nariz da face 1 (Fig. 72)
Pequenas irregularidades na face 2 (Fig. 72).
Pequeno erro na ponta do nariz da face 1 (Fig. 73)
Pequenas irregularidades na face 2 (Fig. 73).
Problema na ponta do nariz das faces 1 e 2 (Fig. 74).
Importante
Aqui fica evidenciado o problema da geração do nariz quando os pontos não são colocados, posto que a homogeneidade da cor da pele, bem como o brilho não fornecem ao algoritmo da fotogrametria os elementos necessários para uma boa digitalização.
Ambiente Interno Iluminado - Pontos no Nariz¶
Descrição |
Valor |
---|---|
Ambiente interno iluminado - pontos no nariz |
|
Tomada de 26 fotos |
28 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
12 minutos |
Digitalização OpenMVG+OpenMVS |
4 minutos |
Digitalização Photoscan |
13 minutos |
Problemas de contraste na textura da face 1 (Fig. 75).
Irregularidades acentuadas na face 2 (Fig. 76).
Pequenas irregularidades na face 2 (Fig. 76).
Irregularidade na parte inferior da face 2 (Fig. 77).
Irregularidade generalizada na superfície da malha da face 3 (Fig. 77).
Discreta irregularidade na ponta do nariz da face 1 (Fig. 78)
Importante
Aqui fica evidente a necessidade dos pontos no nariz, posto que as três faces agora foram digitalizadas sem maiores problemas na região nasal.
Ambiente Interno Iluminado - Riscos no Nariz¶
Descrição |
Valor |
---|---|
Ambiente interno iluminado - riscos no nariz |
|
Tomada de 26 fotos |
25 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
11 minutos |
Digitalização OpenMVG+OpenMVS |
6 minutos |
Digitalização Photoscan |
10 minutos |
Problemas de contraste na textura da face 1 (Fig. 79).
Irregularidades acentuadas na face 2 (Fig. 80).
Irregularidades na face 2 (Fig. 80).
Irregularidades acentuadas na face 2 (Fig. 81).
Irregularidades na face 2 (Fig. 81).
Irregularidades nas faces 2 e 3 (Fig. 82).
Importante
Apesar do traçado permitir ao algoritmo fazer uma digitalização mais coerente com o modelo original, no caso do nariz não parece justificar o trabalho posterior de edição para limpar os riscos, ou mesmo a poluição visual gerado por tal. A diferença em relação aos pontos é pequena.
Ambiente Interno Iluminado - Maquiagem¶
Descrição |
Valor |
---|---|
Ambiente interno iluminado - maquiagem |
|
Tomada de 26 fotos |
37 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
12 minutos |
Digitalização OpenMVG+OpenMVS |
3 minutos |
Digitalização Photoscan |
10 minutos |
Aviso
A maquiagem em questão trata-se apenas de um pó anti-brilho.
Leve problema com a textura nas extremidades laterais da face 1 (Fig. 83).
Rgiões faltantes na face 2 (Fig. 83).
Pequeno problema na ponta do nariz da face 1 (Fig. 84).
Irregularidades acentuadas na face 2 (Fig. 84).
Irregularidades na face 3 (Fig. 84).
Pequena irregularidade na ponta do nariz da face 1 (Fig. 85).
Irregularidades acentuadas na face 2 (Fig. 85).
Irregularidades na face 3 (Fig. 85).
Pequena irregularidade na ponta do nariz da face 1 (Fig. 86).
Ambiente Interno Iluminado - Maquiagem e Pontos¶
Descrição |
Valor |
---|---|
Ambiente interno iluminado - maquiagem e pontos |
|
Tomada de 26 fotos |
30 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
11 minutos |
Digitalização OpenMVG+OpenMVS |
4 minutos |
Digitalização Photoscan |
11 minutos |
Problemas de contraste na textura da face 1 (Fig. 87).
Irregularidades na face 2 (Fig. 87).
Irregularidades acentuadas nas faces 2 e 3 (Fig. 88).
Irregularidades acentuadas nas faces 2 e 3 (Fig. 89).
Irregularidades na parte direita do nariz das faces 2 e 3 (Fig. 90).
Importante
As irregularidades na base do nariz se devem em grande parte a região estar sob a sombra.
Ambiente Interno Pouco Iluminado - Natural¶
Descrição |
Valor |
---|---|
Ambiente interno pouco iluminado - natural |
|
Tomada de 26 fotos |
29 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
11 minutos |
Digitalização OpenMVG+OpenMVS |
ERRO (não gerou 3D) |
Digitalização Photoscan |
11 minutos |
Pequena irregularidade na ponta do nariz da face 1 (Fig. 91).
Irregularidades na face 2 (Fig. 91).
Pequena irregularidade na ponta do nariz da face 1 (Fig. 92).
Irregularidades na face 2 (Fig. 92).
Irregularidade na ponta do nariz e na parte inferior da face 1 (Fig. 93).
Irregularidade generalizada com maior e menor grau ao longo da face 2, pouca nitidez (Fig. 93).
Ambiente Interno Pouco Iluminado - Pontos no Nariz¶
Descrição |
Valor |
---|---|
Ambiente interno pouco iluminado - pontos no nariz |
|
Tomada de 26 fotos |
31 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
11 minutos |
Digitalização OpenMVG+OpenMVS |
5 minutos |
Digitalização Photoscan |
9 minutos |
Região faltante na face 2 (Fig. 94).
Irregularidades na face 3 (Fig. 94).
Acentuada irregularidade na face 2 (Fig. 95).
Leve irregularidade na ponta do nariz das faces 1 e 3 (Fig. 96).
Estrutura facial comprometida na face 2 (Fig. 96).
Irregularidade entre os olhos e na parte inferior da face 1 (Fig. 96).
Irregularidades ao longo da face 3 (Fig. 96).
Ambiente Interno Pouco Iluminado - Riscos no Nariz¶
Descrição |
Valor |
---|---|
Ambiente interno pouco iluminado - riscos no nariz |
|
Tomada de 26 fotos |
27 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
11 minutos |
Digitalização OpenMVG+OpenMVS |
4 minutos |
Digitalização Photoscan |
8 minutos |
Problemas de contraste na textura da face 1 (Fig. 97).
Irregularidades nas faces 2 e 3 (Fig. 97).
Problemas de contraste na textura da face 1 (Fig. 98).
Irregularidades nas faces 2 e 3 (Fig. 98).
Pequena irregularidade na ponta do nariz da face 1 (Fig. 99).
Ambiente Interno Pouco Iluminado - Maquiagem¶
Descrição |
Valor |
---|---|
Ambiente interno pouco iluminado - maquiagem |
|
Tomada de 26 fotos |
30 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
11 minutos |
Digitalização OpenMVG+OpenMVS |
ERRO (não gerou 3D) |
Digitalização Photoscan |
6 minutos |
Problema de contraste na textura da face 1 (Fig. 100).
Irregularidades na face 2 (Fig. 101).
Irregularidade na ponta do nariz da face 1 (Fig. 102).
Irregularidades ao longo da face 2 e falta de nitidez (Fig. 102).
Ambiente Interno Pouco Iluminado - Maquiagem e Pontos¶
Descrição |
Valor |
---|---|
Ambiente interno pouco iluminado - maquiagem e pontos |
|
Tomada de 26 fotos |
30 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
11 minutos |
Digitalização OpenMVG+OpenMVS |
5 minutos |
Digitalização Photoscan |
8 minutos |
Pequena irregularidade da textura na parte superior da face 1 (Fig. 103).
Irregularidades acentuadas na face 2 (Fig. 103).
Irregularidades acentuadas na face 2 (Fig. 104).
Irregularidades na face 3 (Fig. 104).
Irregularidades acentuadas na face 2 (Fig. 105).
Irregularidades na face 3 (Fig. 105).
Resultado da Terceira Tomada¶
Na primeira fase do projeto, a voluntária de código 003 (feminino, 45 anos, européia) foi fotograda com maquiagem facial. Diante dos resultados optou-se por fazer uma nova tomada de fotos sem maquiagem de modo a atestar a eficácia dos algorítmos diantes de tal configuração. O local e horário da tomada foram os mesmos da primeira fase.
Descrição |
Valor |
---|---|
Resultado da terceira tomada |
|
Tomada de 26 fotos |
25 segundos |
Digitalização MVE/SMVS+Meshlab+MVS Texturing |
14 minutos |
MVE/SMVS+MVS Texturing |
15 minutos |
Digitalização OpenMVG+OpenMVS |
8 minutos |
Digitalização Photoscan |
21 minutos |
A diferença dos resultados foi flagrante como atestado na imagen (Fig. 106). A ausência de maquiagem contribuiu para elevar consideravelmente a qualidade da digitalização.
Conclusão¶
Os resultados apresentados neste estudos mostram que um sistema baseado em fotogrametria de código aberto e smartphones simples é possível de ser implementado.
A proposta utilizou de um lado o melhor do mundo UNIX, onde cada programa faz bem o seu papel gerando ao final um bom resultado, e de outro a conveniência dos aplicativos comerciais, onde com poucos cliques o usuário consegue executar tarefas complexas em tempo mínimo.
O próximo passo é continuar os estudos e mais do que isso, o uso em casos reais de planejamento cirúrgico para adequar as possibilidades tecnológicas às necessidades dos profissionais da área de cirurgia ortognática e rinoplastia.