Algorithmic Bias

[Flávio Luis de Mello]

Olá para todos,

Dependendo da discussão, esta thread pode se tornar completamente
off-topic mas achei que vale a tentativa.

Saiu um statement da ACM
(http://www.acm.org/media-center/2017/january/usacm-statement-on-algorithmic-accountability)
tratando da preocupação deles com eventuais resultados tendenciosos de
algoritmos voltados para a tomada de decisão.

Penso que a IA é uma das áreas contempladas por essa preocupação. Além
disso, ainda que a preocupação seja válida, me pergunto se realmente é
viável auditar o processo neste contexto. Gerar dados ou informações
tendenciosas é uma característica do algoritmo ou o reflexo daqueles
que produzem o algoritmo? Entendo que é o segundo.

Lembro também os trabalhos de Greene para tentar fazer uma distinção
entre julgamentos morais pessoais e impessoais, utilizando como
artifı́cio para a geração dos estı́mulos morais a apresentação de
diversos dilemas envolvendo a tomada de decisão.

[]s,

Flávio Mello

[Hermógenes Oliveira]

Flávio Luis de Mello <flaviolu...@gmail.com> escreveu:

> Saiu um statement da ACM
> (http://www.acm.org/media-center/2017/january/usacm-statement-on-algorithmic-accountability)
> tratando da preocupação deles com eventuais resultados tendenciosos de
> algoritmos voltados para a tomada de decisão.
>
> Penso que a IA é uma das áreas contempladas por essa preocupação. Além
> disso, ainda que a preocupação seja válida, me pergunto se realmente é
> viável auditar o processo neste contexto. Gerar dados ou informações
> tendenciosas é uma característica do algoritmo ou o reflexo daqueles
> que produzem o algoritmo? Entendo que é o segundo.

Eu entendo que é o primeiro.

Note que as tendências e preconceitos dos programadores, ou da
organização que desenvolve o algorítimo, não se refletem necessariamente
no algorítimo (se este fosse o caso, obter um algorítimo não tendencioso
seria praticamente um milagre). Como o problema está nos resultados
tendenciosos dos *algorítimos*, então são estes que devem passar pelo
crivo.

Ademais, com o emprego crescente de métodos algorítmicos mais opacos,
como redes neurais artificiais em combinação com aprendizado de máquina,
resultados tendenciosos podem surgir a despeito das intenções
(conscientes ou não) dos desenvolvedores, pois, como observa bem o
documento publicado pela ACM, eles podem ser causados pelo dados que
alimentam o algorítimo.

Por exemplo, se um algorítimo, usado para alguma tomada de decisão,
digamos, a ordenação dos resultados de alguma busca, é alimentado com
dados coletados dos próprios usuários, pode-se esperar que tendências e
preconceitos dos usuários se reflitam nos resultados do algorítimo.
Dependendo do contexto, algo assim pode ser bastante problemático.

--
Hermógenes Oliveira

"There are two ways of constructing a software design: One way is to
make it so simple that there are obviously no deficiencies and the other
way is to make it so complicated that there are no obvious
deficiencies." C. A. R. Hoare

[Walter Carnielli]

caros Flávio e Hermógenes:

esta discussão é interessantíssima, e nada "off topic". Estou
lendo "Weapons of Math Destruction" de Cathy O'Neil, se me permitem
a sugestão, e acho que ela coloca muito bem a questão, e quase funda
uma "ética de máquina". Aqui um review:

https://blogs.scientificamerican.com/roots-of-unity/review-weapons-of-math-destruction/

Abraços,
Walter

Em 14 de janeiro de 2017 19:40, Hermógenes Oliveira
<hermogene...@student.uni-tuebingen.de> escreveu:

-----------------------------------------------
Walter Carnielli
Centre for Logic, Epistemology and the History of Science and
Department of Philosophy
State University of Campinas –UNICAMP
13083-859 Campinas -SP, Brazil
Phone: (+55) (19) 3521-6517
Institutional e-mail: walter.c...@cle.unicamp.br
Website: http://www.cle.unicamp.br/prof/carnielli

[Antonio Marmo]

Caro Hermógenes,

Acho que a questão relevante está na citação original do seu e-mail:

"There are two ways of constructing a software design: One way is to
make it so simple that there are obviously no deficiencies and the other
way is to make it so complicated that there are no obvious
deficiencies." C. A. R. Hoare

Para mim, é o critério da simplicidade que conta mais em qualquer construção: de pensamento, de máquinas, de prédios, de algoritmos, etc. A simplicidade permite melhor observar ou mesmo já antes do fim da construção prever problemas como o da obtenção de resultados tendenciosos. A falta da simplicidade é que mascara esses problemas.

Demonstrações muito longas e muito complicadas que vejo esbarram nesse problema sempre e sempre me geram suspeitas. De plano me perguntava se não eram calcadas em conceitos ad hoc, enquanto que outros autores já me chamaram a atenção para o caráter "tendencioso" (em sentido amplo) delas.

Mas, escrevo nesta lista excepcionalmente, aproveitando o ensejo para fazer divulgação de um periódico importante que é feito com muito esforço e muito esmero por um grupo dedicado de filósofos que trabalham e lutam para publicá-lo:

Kleos 

Revista de Filosofia Antiga

Indexada ao L’Année Philologique

Editora Responsável

Maria das Graças de Moraes Augusto, UFRJ

http://www.pragma.ifcs.ufrj.br/kleos.php

Sei o quanto os periódicos no Brasil custam não somente em termos de dinheiro e o quanto de injustiças por vezes sofrem, daí a razão de valorizarmos os bons empreendimentos editoriais e os nossos pesquisadores excelentes. A professora Maria das Graças é uma grande conhecedora da obra de Platão e um exemplo de pesquisadora a ser espelhado, que conseguiu reunir um grupo de colaboradores que perseveram no inquérito das questões clássicas e por isso mesmo conseguem fazer emergir resultados interessantes de uma forma inteligível para seu público.

Bom ano de 2017, bom carnaval.

Amicus certus in re incerta cernitur.

Quintus Ennius

On 14 Jan 2017, at 19:40, Hermógenes Oliveira <hermogene...@student.uni-tuebingen.de> wrote:

"There are two ways of constructing a software design: One way is to
make it so simple that there are obviously no deficiencies and the other
way is to make it so complicated that there are no obvious
deficiencies." C. A. R. Hoare

--