A GMP utilizou a tecnologia AFR (Automatic Facial Recognition — Reconhecimento Facial Automático) para fazer a varredura dos compradores na área por um período de seis meses, analisando e armazenando as imagens de potencialmente milhões sem nenhum termo de confidencialidade ou consentimento por aqueles secretamente vigiados.
Além disso, Porter acreditava que o escopo do projeto — vigilância geral de todos os indivíduos na área — era muito gigantesco, dado seus objetivos relativamente modestos — encontrar criminosos e pessoas desaparecidas.
"Comparado com o tamanho e a escala do processamento de todas as pessoas que passam pela câmera, o grupo que eles esperavam identificar era minúsculo. A proporcionalidade do empreendimento foi efetivamente colocada sob a devida consideração legal. A polícia recuou do engajamento tendo reconhecido sua abordagem não é atualmente proporcional", escreveu ele em um blog oficial.
Ao longo da operação do piloto, a tecnologia AFR fez apenas uma identificação positiva — um condenado procurado foi identificado e preso.
"Em abril deste ano, a Polícia da Grande Manchester começou a explorar o uso do reconhecimento facial automático com nossos parceiros no Centro Trafford. Esse piloto envolveu um número limitado de fotos e, em nenhum momento, nomes ou detalhes pessoais foram passados para os colegas do Centro Trafford", disse um porta-voz da GMP.
Histórico do Fracasso
A GMP lançou o piloto em abril depois de ser convidada a participar dos chefes de segurança do Centro Trafford. É o maior empreendimento desse tipo na história do Reino Unido — anteriormente a tecnologia AFR foi testada em grandes eventos, como o Carnaval de Londres em Notting Hill e a Liga dos Campeões em Cardiff.
Quando implantada no Carnaval de Notting Hill de 2017, por exemplo, a tecnologia produziu uma identificação precisa e 95 "falsos positivos". De forma ainda mais contundente, os dois indivíduos que foram identificados corretamente pelos sistemas da AP de Met desde 2016 não eram criminosos — um deles havia sido colocado em uma lista de vigilância interna por engano, e o outro estava relacionado à lista de saúde mental, que compila quem poderia ser um risco para si ou para os outros. Apesar desta história menos que ilustre, a força pretende operar sistemas AFR em vários outros grandes eventos no futuro.
A experiência da AFR pela Polícia de South Wales é apenas um pouco menos lamentável, com seus sistemas produzindo falsos positivos em 91% dos casos.
Enquanto ninguém identificado tenha sido preso por forças policiais até agora, os oficiais são forçados a conduzir intervenções com muitos, obrigando-os a provar suas identidades — uma inversão óbvia da presunção de inocência, e o direito de permanecer anônimo, a menos que seja acusado de uma ofensa.
Embora a má identificação da AFR afete qualquer pessoa e todos, há muitas evidências que sugerem que os algoritmos da tecnologia identificam negativamente pessoas negras e mulheres desproporcionalmente.
Um estudo do Instituto de Tecnologia de Massachusetts (MIT) sobre o uso comercial de sistemas de inteligência artificial descobriu que a taxa de erro do software de reconhecimento facial era 43 vezes maior para mulheres de pele escura do que para homens de pele clara.
