Dilemas éticos das decisões dos veículos com condução automática

Este vídeo está muito bom. Vejam.

A 30 segundos do fim há uma passagem que remete para uma parte importante da discussão acima.

3 Curtiram

ou seja, mais carros na rua; com mais tráfego mas menos congestionamento; mas mais poluição; mais ruído, mais dependência energética, e mais espaço para estacionamento. O futuro não augura nada de bom!

More traffic with less congestion: more cars on the road, more pollution, more noise, more energy dependency, less space for pedestrians, and more space for parking, less quality of life for people living in the cities. Cities shall be designed for Humans, not for machines!

2 Curtiram

@JoaoBernardino dá uma vista de olhos nestas abordagens mais recentes e que vêm do país que criou a Vision Zero.

"*The trolley problem – a dilemma of moral philosophy
Imagine that two children jump out into the path of your self-driving car from behind another parked car. They are chasing a ball and appear so suddenly that it is too late to be able to brake. However, the car can choose to steer to the side, but it would then run over an elderly person on a mobility scooter instead. It is therefore too late to save everybody, but there is time to choose whether we should save two children at the expense of one old person. Everything happens very quickly, but the cars’ electronics respond at lightning speed. We should have made a choice when we programmed them from the start. Is it reasonable that we allow a few individual engineers to make decisions on life and death on their own initiative when programming self-driving cars?

This is roughly how a variant of what is termed “the trolley problem” can be formulated. It crops up here and there on the Internet where some impossible situation for self-driving cars is addressed, often with an ensuing discussion full of moral indignation.

It is worth remembering that this is a hypothetical problem designed to facilitate discussion as to how different moral principles can come into conflict with each other. One principle is that one should always act for the greater good of the greatest number of people. According to this principle, it would better for just one person to die than for several. The second principle is that one should never intentionally commit an act that may cause the death of another.

There is no obvious right or wrong to this type of problem. Its purpose is to allow us to discuss what we see as our moral priorities. The task of the moral philosopher is to formulate the problems and make us aware that they exist.

Back to the self-driving cars
If we return to our self-driving cars, the problem arises in many different guises. Sometimes it is rendered rather more incisive: the car can save everyone outside, but at the expense of the person in it. We could imagine we might save the children at play if we swerved off the road completely – only to drive over a precipice and die.

There are moral philosophers who go so far as to ask whether we are ready for utilitarian cars (i.e. the principle that one should always act for the greater good of the greatest number of people) and therefore also ready to accept that one may be killed on purpose by one’s own self-driving car. This is indeed a thought-provoking question as far as it goes. The problem is that it is entirely superfluous.

The reasoning as to why this should be so is not actually that difficult. The only thing we need to program our car to do, is to think in the same way as all of us are taught when we are prepared for our driving test. You should always bear in mind what might be concealed by something that is blocking your view. There may be a car coming towards you just over the crest of the hill. A car may turn out from behind the next corner. A child may jump out from behind a parked car. You need to adapt your driving behaviour to be able to deal with such surprises. We tell teenagers this when they are learning to drive, and it sounds quite reasonable in that situation. So why not tell our cars the same thing?

The solution is for the cars to embody safe driving behaviour
We need the cars to be able judge how far they are completely certain that everything is safe. Then we need them to adapt their driving behaviour to be able to deal with a situation where something might suddenly appear in the next millisecond at the limits of their own certainty. In this way, we can get the cars to guarantee they will never be surprised in a manner that precludes safe alternatives.

Instead of programming the cars to handle difficult moral situations, we program them to drive in a manner that guarantees they never end up in a moral dilemma. This does not have to mean they drive a lot slower than human beings would. It is entirely dependent on how good their sensors are at seeing, how quick they are at reacting and how quick they are at braking/steering. By adapting the self-driving car’s own decisions about its driving behaviour to its own capability, we can avoid morally problematic situations."

deve ser, pelo menos no inicio, impossivel que esses casos não aconteçam… mas qq que seja a decisão, vai ser tão bom para o “greater good” que para mim n faz sentido ficar preso nessas questões éticas, claro que tem de ser resolvidas, mas não é razão para adiar as coisas

fiquei um bocado intrigado com as noticias dos acidentes com o carro da uber e outra que não me lembro… não vi foi em lado nenhum dizer quantos km é que o carro fez sem qualquer acidente e qual é a mesma media para humanos ^^

Na minha opinião, a questão aqui é entre projectar carros autónomos com um desempenho superior aos seres humanos (que me parece ser por exemplo o caso da Tesla), ou projectar carros autónomos para não matar ninguém (caso dos links que partilhei de malta sueca, em que está a Volvo envolvida).

A Uber parece-me que nem está muito preocupada com que os carros autónomos conduzam melhores que os seres humanos (naquela situação em específico talvez a maior parte dos condutores tivesse feito melhor), mas simplesmente com a redução dos custos da plataforma.

E aqui a decisão base de desenho do sistema é diferente. Ou se assume que é permitido ao automóvel entrar numa situação em que pode matar alguém, existindo um trade-off entre risco e velocidade, resultando no tal trolley problem. Ou se desenha o automóvel de raiz para garantir que nunca se coloca numa situação de risco. Seguindo este último modelo à risca, no limite se o sistema falhar, estás numa situação em que nem sequer podes confiar no teu sistema de detecção, não tendo garantias sobre onde estão os peões ou se eles de facto existem, não tendo portanto de resolver nenhum problema moral.

1 Curtiu

Deixo aqui mais um link sobre o assunto.

tens razao… mas olha que nao sei se no caso do acidente com a uber um humano tinha feito melhor…
vendo o video do acidente, um humano igualmente nao teria tempo de reação

ali estranho é o peão nao ter sido detetado pelos sensores do carro, coisa que deveria ter sido, ja que ao contrario dos nossos olhos, os sensores deviam detetar obstaculos mesmo em escuridão total.

enquanto o sistema se aperfeicoa certamente ainda irão existir mais acidentes, mas a tendencia será sempre a de ser melhor que qualquer humano.

ainda nao percebo é a nivel de desenvolvimento destes sistemas, se temos N empresas a trabalhar em N sistemas de automação diferentes, que vao ter comportamentos diferentes e onde a probabilidade de bugs é tambem multiplicada por N, ou se no fim vamos ter um sistema de automatização com um core comum usado por todas as empresas para garantir que todos os carros seguem as mesmas regras e usam o mesmo sistema certificado/testado e que nao temos N empresas a inventarem a mesma coisa de forma parecida mas diferente

Talvez, até porque provavelmente a maior parte dos seres humanos estaria a circular a maior velocidade naquele caso. Mas também já andaram aí a circular uns vídeos a afirmar que a iluminação no local é melhor do que a mostrada no vídeo da Uber. Mas isso é pouco relevante.

Há cerca de 2 anos a Mobileye (empresa que fornecia o sistema de visão da Tesla), na sequência daquele acidente em que o condutor morreu, abandonou a parceria que tinha com a Tesla pelos excessos no marketing do sistema Autopilot.

Aqui está a abordagem da empresa:

Só vi este vídeo agora.

Há uma questão pertinente que é levantada, contudo, a meu ver, os exemplos dados são tiros que sairam pela culatra. Assim, acho que o vídeo perde o seu valor ao procurar atingir as emoções.

A questão é acerca do ónus da responsabilidade das decisões tomadas: será dos programadores, das empresas, das políticas?

Os exemplos são maus porque partem do princípio que as condições de segurança são deliberadamente alteradas ou ignoradas.

  1. As motas não parecem ser veículos com condução automática, ao contrário da premissa inicial “imagine que está numa auto estrada de veículos com condução automática…”

  2. Porque se assume que o trânsito flui compacto a elevadas velocidades? O veículo deve estar programado para manter uma distância do veículo da frente de modo a conseguir parar em segurança, em função da velocidade.

  3. Ainda bem que conseguimos pensar nestes cenários por mais improváveis que possam ser; quer dizer que podemos considerá-los e melhorar os algoritmos de decisão.

Óbviamente será das empresas que comercializam o produto… Os programadores apenas implementam directivas, não as definem. Estas são definidas entre as empresas e o regulador político.

Poderá sempre existir restrição de determinados veículos em vias seleccionadas.

Também não se percebe esta. As distâncias de travagem não se alteram pelo simples facto da condução ser automática. Continuam a existir factores imprevisíveis como estado do pavimento e dos pneus, derrames na estrada, condições climatéricas, etc.

Para deixar claro, a questão é tirada do vídeo. E não, não é óbvio, caso contrário não seria um dilema.

Quando uma ponte cai, quem são os responsáveis: os engenheiros e arquitectos, a empresão a onde trabalham, ou o município? Quando uma cirurgia corre mal, quem são os responsáveis: o médico e equipa, o hospital, ou o ministério da saúde? Certamente reconhecerás que estas questões já apareceram nos meios de comunicação várias vezes, e a resposta, quando há, provavelmente também depende do país ou cultura onde surgem. (*)

Isto são apenas exemplos da questão ética que se aborda. Tenta ver mais para além do óbvio que está nas palavras. Se ainda assim continuas a achar que é óbvio, tens aí uma oportunidade de uma grande contribuição para a sociedade: elabora um trabalho que esclareça a questão de uma vez por todas.

(*) não respondas a estas perguntas; são retórica.

1 Curtiu

Policy implications: When the risk is unknown, AV manufacturers should program AVs to stay in the lane. But when the risk of staying in the lane is higher than swerving, AVs should swerve. Regardless of outcomes, AVs should make decisions most in line with humans’ moral codes, the researchers argue.

E que tal não dotar os veículos com inteligência suficiente para perceber esses dilemas?

O veículo não tem de saber que o autocarro leva crianças. Se não souber isso, não há dilema. Limita-se a agir segundo o algoritmo que permita evitar o acidente que estatisticamente causa mais feridos.

Garanto que não me meterei num carro que já venha programado por uma qualquer inteligente ‘comissão de ética’ que decida substituir-me e interpretar a régua e esquadro a moral social dominante, transformando-a em bits. Quero ser eu a decidir nos ‘trilemas’: mato as criancinhas, o paraplégico ou vou eu de cabeça para o abismo?!
Eu é que escolho como o meu carro deve ser programado e assim serei, como hoje acontece, o único responsável.
Se perante as dezenas de situações e opções que me sejam apresentadas para programar me acobarde e fique incapaz de tomar decisões, então agradeço que me dispensem de seguir regras com que não concordo e desarrisquem-me de utilizador de máquinas que acham que sabem o que eu quero.

Um documentário muito completo sobre o problema ético dos veiculos autonomos:

https://www.rtp.pt/play/p7580/a-maquina-moral

Gosto particularmente de, no inicio a ideia é que os veiculos autonomos sao a soluçao para todos os nossos problemas da mobilidade dentro da cidade, mas após se ir dissecando ponto por ponto, chega-se à conclusao que existe sempre um mas, e que talvez não sejam só vantagens.

Adoro a parte em que o tipo da Mercedes diz que acredita 100% na implementaçao com sucesso dos veiculos autonomos. Mas depois durante um teste com o veiculo em andamento, carrega no escape sem querer, e o ecra que mostrava as camaras e os sensores passa a ter so letras e numeros tipo matrix. Ele fica todo atrapalhado,porque poe a nu que a situaçao de o computador crachar é bastante plausível e nenhum de nos gostaria de ter a sua vida dependente de um sistema informatico!

1 Curtiu

Bastante interessante. Obrigado. Na verdade, os gajos do MIT têm a típica visão americana de que é necessário matar umas quantas pessoas para os carros puderem andar na estrada.

Em claro contraste com a malta da Suécia que assume a Visão Zero como princípio. Já tinha partilhado uns artigos com autores da Volvo lá em cima.

A Tesla lançou recentemente uma nova versão do Full Self Drive. Neste vídeo dá para ver como se comporta na ultrapassagem de bicicletas:

3 Curtiram
1 Curtiu