Dilemas éticos das decisões dos veículos com condução automática


(Fernando Magalhães) #41

Engraçado… Pela extensão e profundidade na abordagem deste interessante e discutidíssimo post, julguei que a preocupação com carros autónomos fosse legítima; ou será que dá prazer a mera espaculação sobre o assunto? :laughing:


(Rui Maurício Ferreira) #42

Muito bem tirada esta parte. Gosto especialmente do termo “arrogância da fragilidade”.
Um abraço,
RMF


(Antonio Cruz) #43

http://24.sapo.pt/article/sapo24-blogs-sapo-pt_2016_05_19_10776399_google-registou-patente-de-adesivo-para--apanhar--peoes-em-caso-de-acidente

Acho que todos os problemas que aqui se falaram dos carros sem condutor se vão resolver com esta patente. :smile:


(Pedro Sanches) #44

Isso era uma boa notícia para o 1 de Abril. :smiley:

Pedro Sanches

No dia 20 de maio de 2016 às 12:06, Antonio Cruz forum@mubi.pt escreveu:


(Antonio Cruz) #45

Começou a contagem!! Gostava de encontrar o original desta noticia. 2 meses sem os media dizerem nada??


(João Bernardino) #46

Esta tem mais alguns detalhes:

“this was Tesla’s first known autopilot death in some 130 million miles driven by its customers. “Among all vehicles in the US, there is a fatality every 94 million miles,” the company then notes.”


(Aónio Eliphis) #47

(João Bernardino) #48

Este vídeo está muito bom. Vejam.

A 30 segundos do fim há uma passagem que remete para uma parte importante da discussão acima.


(Aónio Eliphis) #49

ou seja, mais carros na rua; com mais tráfego mas menos congestionamento; mas mais poluição; mais ruído, mais dependência energética, e mais espaço para estacionamento. O futuro não augura nada de bom!

More traffic with less congestion: more cars on the road, more pollution, more noise, more energy dependency, less space for pedestrians, and more space for parking, less quality of life for people living in the cities. Cities shall be designed for Humans, not for machines!


(João Almeida) #50

@JoaoBernardino dá uma vista de olhos nestas abordagens mais recentes e que vêm do país que criou a Vision Zero.

"*The trolley problem – a dilemma of moral philosophy
Imagine that two children jump out into the path of your self-driving car from behind another parked car. They are chasing a ball and appear so suddenly that it is too late to be able to brake. However, the car can choose to steer to the side, but it would then run over an elderly person on a mobility scooter instead. It is therefore too late to save everybody, but there is time to choose whether we should save two children at the expense of one old person. Everything happens very quickly, but the cars’ electronics respond at lightning speed. We should have made a choice when we programmed them from the start. Is it reasonable that we allow a few individual engineers to make decisions on life and death on their own initiative when programming self-driving cars?

This is roughly how a variant of what is termed “the trolley problem” can be formulated. It crops up here and there on the Internet where some impossible situation for self-driving cars is addressed, often with an ensuing discussion full of moral indignation.

It is worth remembering that this is a hypothetical problem designed to facilitate discussion as to how different moral principles can come into conflict with each other. One principle is that one should always act for the greater good of the greatest number of people. According to this principle, it would better for just one person to die than for several. The second principle is that one should never intentionally commit an act that may cause the death of another.

There is no obvious right or wrong to this type of problem. Its purpose is to allow us to discuss what we see as our moral priorities. The task of the moral philosopher is to formulate the problems and make us aware that they exist.

Back to the self-driving cars
If we return to our self-driving cars, the problem arises in many different guises. Sometimes it is rendered rather more incisive: the car can save everyone outside, but at the expense of the person in it. We could imagine we might save the children at play if we swerved off the road completely – only to drive over a precipice and die.

There are moral philosophers who go so far as to ask whether we are ready for utilitarian cars (i.e. the principle that one should always act for the greater good of the greatest number of people) and therefore also ready to accept that one may be killed on purpose by one’s own self-driving car. This is indeed a thought-provoking question as far as it goes. The problem is that it is entirely superfluous.

The reasoning as to why this should be so is not actually that difficult. The only thing we need to program our car to do, is to think in the same way as all of us are taught when we are prepared for our driving test. You should always bear in mind what might be concealed by something that is blocking your view. There may be a car coming towards you just over the crest of the hill. A car may turn out from behind the next corner. A child may jump out from behind a parked car. You need to adapt your driving behaviour to be able to deal with such surprises. We tell teenagers this when they are learning to drive, and it sounds quite reasonable in that situation. So why not tell our cars the same thing?

The solution is for the cars to embody safe driving behaviour
We need the cars to be able judge how far they are completely certain that everything is safe. Then we need them to adapt their driving behaviour to be able to deal with a situation where something might suddenly appear in the next millisecond at the limits of their own certainty. In this way, we can get the cars to guarantee they will never be surprised in a manner that precludes safe alternatives.

Instead of programming the cars to handle difficult moral situations, we program them to drive in a manner that guarantees they never end up in a moral dilemma. This does not have to mean they drive a lot slower than human beings would. It is entirely dependent on how good their sensors are at seeing, how quick they are at reacting and how quick they are at braking/steering. By adapting the self-driving car’s own decisions about its driving behaviour to its own capability, we can avoid morally problematic situations."


(Pedro Sequeira) #51

deve ser, pelo menos no inicio, impossivel que esses casos não aconteçam… mas qq que seja a decisão, vai ser tão bom para o “greater good” que para mim n faz sentido ficar preso nessas questões éticas, claro que tem de ser resolvidas, mas não é razão para adiar as coisas

fiquei um bocado intrigado com as noticias dos acidentes com o carro da uber e outra que não me lembro… não vi foi em lado nenhum dizer quantos km é que o carro fez sem qualquer acidente e qual é a mesma media para humanos ^^


(João Almeida) #52

Na minha opinião, a questão aqui é entre projectar carros autónomos com um desempenho superior aos seres humanos (que me parece ser por exemplo o caso da Tesla), ou projectar carros autónomos para não matar ninguém (caso dos links que partilhei de malta sueca, em que está a Volvo envolvida).

A Uber parece-me que nem está muito preocupada com que os carros autónomos conduzam melhores que os seres humanos (naquela situação em específico talvez a maior parte dos condutores tivesse feito melhor), mas simplesmente com a redução dos custos da plataforma.

E aqui a decisão base de desenho do sistema é diferente. Ou se assume que é permitido ao automóvel entrar numa situação em que pode matar alguém, existindo um trade-off entre risco e velocidade, resultando no tal trolley problem. Ou se desenha o automóvel de raiz para garantir que nunca se coloca numa situação de risco. Seguindo este último modelo à risca, no limite se o sistema falhar, estás numa situação em que nem sequer podes confiar no teu sistema de detecção, não tendo garantias sobre onde estão os peões ou se eles de facto existem, não tendo portanto de resolver nenhum problema moral.


(João Almeida) #53

Deixo aqui mais um link sobre o assunto.


(Pedro Nóbrega Da Costa) #54

tens razao… mas olha que nao sei se no caso do acidente com a uber um humano tinha feito melhor…
vendo o video do acidente, um humano igualmente nao teria tempo de reação

ali estranho é o peão nao ter sido detetado pelos sensores do carro, coisa que deveria ter sido, ja que ao contrario dos nossos olhos, os sensores deviam detetar obstaculos mesmo em escuridão total.

enquanto o sistema se aperfeicoa certamente ainda irão existir mais acidentes, mas a tendencia será sempre a de ser melhor que qualquer humano.

ainda nao percebo é a nivel de desenvolvimento destes sistemas, se temos N empresas a trabalhar em N sistemas de automação diferentes, que vao ter comportamentos diferentes e onde a probabilidade de bugs é tambem multiplicada por N, ou se no fim vamos ter um sistema de automatização com um core comum usado por todas as empresas para garantir que todos os carros seguem as mesmas regras e usam o mesmo sistema certificado/testado e que nao temos N empresas a inventarem a mesma coisa de forma parecida mas diferente


(João Almeida) #55

Talvez, até porque provavelmente a maior parte dos seres humanos estaria a circular a maior velocidade naquele caso. Mas também já andaram aí a circular uns vídeos a afirmar que a iluminação no local é melhor do que a mostrada no vídeo da Uber. Mas isso é pouco relevante.


(João Almeida) #56

Há cerca de 2 anos a Mobileye (empresa que fornecia o sistema de visão da Tesla), na sequência daquele acidente em que o condutor morreu, abandonou a parceria que tinha com a Tesla pelos excessos no marketing do sistema Autopilot.

Aqui está a abordagem da empresa:


(Júlio Caineta) #57

Só vi este vídeo agora.

Há uma questão pertinente que é levantada, contudo, a meu ver, os exemplos dados são tiros que sairam pela culatra. Assim, acho que o vídeo perde o seu valor ao procurar atingir as emoções.

A questão é acerca do ónus da responsabilidade das decisões tomadas: será dos programadores, das empresas, das políticas?

Os exemplos são maus porque partem do princípio que as condições de segurança são deliberadamente alteradas ou ignoradas.

  1. As motas não parecem ser veículos com condução automática, ao contrário da premissa inicial “imagine que está numa auto estrada de veículos com condução automática…”

  2. Porque se assume que o trânsito flui compacto a elevadas velocidades? O veículo deve estar programado para manter uma distância do veículo da frente de modo a conseguir parar em segurança, em função da velocidade.

  3. Ainda bem que conseguimos pensar nestes cenários por mais improváveis que possam ser; quer dizer que podemos considerá-los e melhorar os algoritmos de decisão.


(Three) #58

Óbviamente será das empresas que comercializam o produto… Os programadores apenas implementam directivas, não as definem. Estas são definidas entre as empresas e o regulador político.

Poderá sempre existir restrição de determinados veículos em vias seleccionadas.

Também não se percebe esta. As distâncias de travagem não se alteram pelo simples facto da condução ser automática. Continuam a existir factores imprevisíveis como estado do pavimento e dos pneus, derrames na estrada, condições climatéricas, etc.


(Júlio Caineta) #59

Para deixar claro, a questão é tirada do vídeo. E não, não é óbvio, caso contrário não seria um dilema.

Quando uma ponte cai, quem são os responsáveis: os engenheiros e arquitectos, a empresão a onde trabalham, ou o município? Quando uma cirurgia corre mal, quem são os responsáveis: o médico e equipa, o hospital, ou o ministério da saúde? Certamente reconhecerás que estas questões já apareceram nos meios de comunicação várias vezes, e a resposta, quando há, provavelmente também depende do país ou cultura onde surgem. (*)

Isto são apenas exemplos da questão ética que se aborda. Tenta ver mais para além do óbvio que está nas palavras. Se ainda assim continuas a achar que é óbvio, tens aí uma oportunidade de uma grande contribuição para a sociedade: elabora um trabalho que esclareça a questão de uma vez por todas.

(*) não respondas a estas perguntas; são retórica.


(João Almeida) #60

Policy implications: When the risk is unknown, AV manufacturers should program AVs to stay in the lane. But when the risk of staying in the lane is higher than swerving, AVs should swerve. Regardless of outcomes, AVs should make decisions most in line with humans’ moral codes, the researchers argue.

https://mobilitylab.org/2018/10/22/study-before-a-crash-autonomous-vehicles-should-stay-in-lane-even-if-outcome-is-worse/