Durante a Segunda Guerra Mundial,foi solicitado ao estatístico »»»»»«(omiti o nome para ng googlar) apoio no sentido de decidir onde reforçar armadura dos bombardeiros britânicos (ou americanos segundo as versões). Depois de analisar os registos, ele recomendou o reforço precisamente para os lugares onde não teve registo de grandes danos!
A RAF ficou confundida. Podem explicar?
Mensagens
47 Bitaites:
Bom, assim de repente e sem pesquisar nada sobre o assunto, poderá ter sido que, como foi um estatístico resolveu reforçar sítios onde ainda não havia falhas, dado que poderia considerar que a probabilidade de elas existirem seria maior do que zero, logo as falhas ainda não teriam acontecido, mas teriam maiores probabilidades de acontecer, não?
Agora, depois de googlar a questão, já poderia com certeza ganhar a Erdinger.
Não a meto já, para ver se mais alguém a quer pesquisar ou mandar bitaites, mas para que me possas atribuir desde já a cervejola (guardada para o Verão, claro), podes só confirmar que o gajo em causa morreu com 48 anos, algures a Oriente. Certo?
É esse man mas não é essa razão (se calhar não foi colocada da melhor forma, traduzi do inglês e nesta versão perde alguma piada) mas é muito fixe...
Sim, não escrevi a razão certa.
A hipótese que mandei como 1ª resposta foi antes de ter consultado alguma coisa. Depois, meti o 2º post, que foi depois de ter achado a página que a descreve.
Só não escrevi a razão certa no 2º post, para haver mais malta à procura dela, caso houvesse interessados... descrevi qual seria o man, para ter a certeza de ter achado a história certa, sem dar mtas pistas à malta...
Mas então cá vai (e acho mto boa!): o gajo verificou que os sítios onde havia danos significava que o avião voltava, mesmo depois de levar com esses danos. Significava assim, para ele, que os aviões poderiam apanhar danos nesses sítios e continuar a voar. Assim, teriam de ser reforçadas as estruturas que não apresentavam danos nos aviões que voltavam pois poderia significar que se apanhassem danos nesses pontos, iam à vida, nem sequer conseguindo volta à base.
É mesmo isso, ao que parece este é um dos exemplos clássicos dos problemas que podem surgir pela má escolha das amostras (nas perspectiva da RAF)... O mesmo erro, em contextos diferentes, aparece muitas vezes em jornais e revistas
isso é uma palhaçada pegada.... Quer dizer que se uma equipa que consegue ser campea de espanha com um score (golos marcados 30 - Golos Sofridos 1); para atacar a proxima época deve apostar na contrataçao de mais e mais defesas
Tenham juizo !
Le outra vez a explicaç~~ao do Manel...
Eu li a resposta do Manel.... alias, foi ela que me fez perceber a pergunta (no inicio nao percebi nada, e pelos vistos continuo sem percebr)
portanto continuo com a minha versao da palhaçada pegada : ) .... esse estatistico nao deve colher nas simpatias na industria das proteses e das muletas... quando um gajo perde uma perna na guerra, em vez de lhe meter uma protese ou umas muletas para fugir dos alemaes, manda fazer treino especifico à perna que lhe resta para fugir das metralhadoras a saltitar com uma unica perna.
«... quando um gajo perde uma perna na guerra, em vez de lhe meter uma protese ou umas muletas para fugir dos alemaes, manda fazer treino especifico à perna que lhe resta para fugir das metralhadoras a saltitar com uma unica perna»
Continuas sem perceber (e eu sem acentos direitos neste computador)...Onde e que estao os enviesamentos da amostra nos teus exemplos?
a questao esta toda ai...
Sim Tochã, acho que não estás a perceber. A coisa tem toda a lógica e é brilhante!
Se não repara: tal como o Axioma diz, a estatística tem de ter por base uma amostra bem escolhida, para que produza resultados.
Se os gajos queriam melhorar os bombardeiros, tinham de focar-se mais nos que se estoiravam completamente, em vez de se focarem nos que voltavam, mas com "mazelas".
Neste caso, a amostra para a estatística era errada, pois não refletia o verdadeiro problema deles.
Esses que voltavam, vinham com danos, mas voltavam, enquanto que os outros nem sequer voltavam... logo o que eles teriam de conseguir analisar era os danos dos que não voltavam, mas esses não conseguiam eles analisar... ou não se lembraram disso antes do gajo.
Logo, o gajo pode partir, por exclusão de partes, para a teoria de que alguns danos noutras partes dos aviões seriam fatais, enquanto que nas zonas atingidas dos aviões que eles andavam a analisar (os que voltavam), eram danos menos graves.
Não?
Se os danos analisados são comuns à maioria dos aviões q voltam, então faz sentido exclui-los e reforçar outra partes dos aviões, senão esta teoria não é fiável.
Além disso, não acredito q se aplique em qq contexto.
«Se os danos analisados são comuns à maioria dos aviões q voltam, então faz sentido exclui-los e reforçar outra partes dos aviões, senão esta teoria não é fiável.»
Não percebo, reformula isto...
«Além disso, não acredito q se aplique em qq contexto.»
Claro que não e ninguém disse isso... Quando escrevi «O mesmo erro, em contextos diferentes, aparece muitas vezes em jornais e revistas» queria dizer que muitas vezes os jornalistas cometem o erro de não perceber que as amostras estão enviesadas...
Por exemplo, vê esta discussão minha (sou o anónimo dos comentários grandes) com uma jornalista do Público:
http://www.educaremportugues.com/2011/01/os-professores-no-lugar-onde-tem-de.html
ou lê o meu comentário, onde talvez me explique melhor, sobre o assunto (sou o dee dee) aqui:
http://ventosueste.blogspot.com/2011/01/as-escolas-e-o-sucesso-dos-alunos.html
1 - Eu nao tinha visto um enviesamento da amostra, e continuo sem ver. Nao estou a ver onde esta. O gajo com os dados que tinha conseguia inferir as partes "nao frageis" dos avioes. Mais! conseguia saber os que chegavam na boa, os que chegavam à rasca, e os que chegavam mas que se despenhavam na aterragem porque lhe faltavam as rodas ou coisa que o valha. Ora, com estes dados o gajo (e suponho que foi para isso que contrataram um estatistico, caso contrario um mecanico serviria ) conseguia estimar as partes que levando um "estoiro" o aviao caia. Recalco a ideia, se nao fosse para esta estimaçao para que caralho contrataram um estatistico?
Eu percebo que pudesse haver um desvio na amostra se ele so estudasse os avioes que lutavam contra espingardas e nao tivesse acesso ao avioes que lutavam contra canhoes.
2 - O que é que a estatistica tem a ver com a soluçao? (isto é que nao percebo e dai os meus exemplos mendecaptos)
" Depois de analisar os registos, ele recomendou o reforço precisamente para os lugares onde não teve registo de grandes danos! "
Que "lei" estatistica é essa que manda reforçar os pontos fortes e caga nos pontos fracos?
Que genero de estatistica é esta????
ATENCAO: eu suponho que isto seja um exemplo real e nao uma charada. Por essa razao, acho que é real que esse estatistico seja ele proprio uma charada....
Enfim...
«Eu nao tinha visto um enviesamento da amostra, e continuo sem ver»
Enfim... o enviesamento é este:na amostra não constavam os aviões fatalmente atingidos só os aviões que conseguiram regressar. Esta não é uma amostra representativa dos aviões que foram a combate já que muitos deles não regressaram... Temos dois tipos de situações (aviões que sobrevivem ao fogo inimigo e os que não)e na amostra aparece apenas um.... Nem percebo a confusão...
«Ora, com estes dados o gajo (e suponho que foi para isso que contrataram um estatistico, caso contrario um mecanico serviria ) conseguia estimar as partes que levando um "estoiro" o aviao caia. »
Precisamente, esse foi o mérito dele... Antes dele ninguém se lembrou que as partes que não tinham registo de danos seriam precisamente as partes mais sensíveis dos aviões... o pessoal reforçava mais as áreas que vinham mais fodidas, dos aviões que conseguiam regressar e só desses, porque pensavam que os grandes problemas poderiam vi daí... Ninguém falou em «lei estatística» simplesmente, neste contexto, o gajo expôs uma teoria engenhosa e bastante plausível que veio a ser confirmada com o tempo...
«O que é que a estatística tem a ver com a solução? »
Primeiro é um problema de análise e interpretação de dados (objecto de estudo da Estatística) a solução está relacionada com um dos problemas mais comuns deste tipo de abordagem o enviesamento das amostras...
Aliás este assunto nem admite discussão, são vários os artigos em revistas cientificas de prestigio sobre isto, o tempo deu razão ao gajo, etc. É cloro que há aqui alguma simplificação mas a ideia fundamental subsiste... Se achas que está mal, publica um artigo sobre isto: podes ganhar uma dose razoável de fama cientifica...
«Que "lei" estatistica é essa que manda reforçar os pontos fortes e caga nos pontos fracos?»
Li agora melhor o teu comment e encontrei isto... Tochã continuas sem perceber: a ideia é reforçar os pontos mais fracos, claro, foi isso que o man fez...
"«Se os danos analisados são comuns à maioria dos aviões q voltam, então faz sentido exclui-los e reforçar outra partes dos aviões, senão esta teoria não é fiável.»
Não percebo, reformula isto..."
Quis dizer que a teoria do gajo só fará sentido, se os estragos q ele observar nos avioes q voltaram, forem os MESMOS estragos nos MESMOS sítios. Porque, se os avioes q voltaram, tiverem mazelas diferentes em sítios diferentes, ele não saberá que zonas dos aviões reforçar.
«
Quis dizer que a teoria do gajo só fará sentido, se os estragos q ele observar nos avioes q voltaram, forem os MESMOS estragos nos MESMOS sítios. Porque, se os avioes q voltaram, tiverem mazelas diferentes em sítios diferentes, ele não saberá que zonas dos aviões reforçar.»
Não, os estragos podem em sitios diferentes, desde que, em geral, existam nos aviões que regressaram um conjunto de zonas em comum que quase nunca estejam danificadas...
Eu estava a pensar que os gajos estavam numa perspectiva de consertar os avioes e nao de desenvolver novas carcaças. Mas no essencial é quase o mesmo.
"Esta não é uma amostra representativa dos aviões que foram a combate já que muitos deles não regressaram"
Certo, só que no caso dos estudantes que linkaste eles nao sabiam da existencia nem se interessam a esses MUITOS.
Ora, os aliados sabiam quantos esses MUITOS eram.
Aliás, o objecto de estudo eram precisamente esses MUITOS. Mas eles nao tinham esses muitos.
No entanto, eles disponham de um grupo "complementar" de que tinham toda a população e não uma simples amostra
Ora, qual é a população do estudo dos aliados?
Os aviões que voltam, é sobre esses que vão fazer a estatística..
Onde esta o enviesamento quando nem de amostra podemos falar?
Portanto, até aqui não vejo nem enviesamento nem génio. Uma população inteira para facilmente saber onde os tiros podem bater sem fazer cair o avião.
Ora, onde é que poderia estar eventualemente a magia do gajo ?
Em perceber que nao precisava do outro grupo para nada !!!!!
Nao percebo como é que a RAF que é capaz de colocar avioes a lutar com altas estrategias (suponho eu) nao seja capaz de perceber isto :
O objectivo do estudo da RAF é identificar os orgaos vitais do aviao. Nada mais do que isto e disto eles estavam conscientes !!
Para isso dispoe de toda uma populaçao. Os avioes que foram atingidos e nao morreram. Ora, se nao morrerram é porque este orgao nao é vital.
« o gajo expôs uma teoria engenhosa e bastante plausível que veio a ser confirmada com o tempo... »
de tao plausivel que de engenhoso nao tem nada !!!
Se esta furado e nao morreu -> nao é um orgao vital ja os romanos (e bem antes) tinham percebido à seculos…basta olhar para a configuracao das armaduras dos gajos
Ok ok, os romanos perceberam isso vendo os coraçoes jorrar sangue e a RAF nao viu de vivo olho …. Teve de o prever vendo de vivo olho quais nao eram vitais … GENIAL
Tochã, nem te dás ao trabalho de ler o que é escrito assim não é possível...
Li e reli... Nao consigo perceber o objecto dos tais aclamados resultados cientificos sabendo que sao recentes... Ou entao nao estas à explicar bem onde esta o gato. Mas essa do enviesamento manifestamente nao percebo. Conscientes da existencia e da cardinalidade do grupo de que nao dispoem de amostras custa-me a crer que tenham caido nessa do enviesamento.
Basicamente, o que descreveste foi o raciocinio do gajo (coisa que o Manel fez a n tempo ) com um erro, eles analisaram uma amostra larga dos dados dos aviões não os analisaram todos, é assim que se fazem todos os estudos para largas populações ( são muito mais rápidos e baratos e chegam resultados similares). Procura qualquer página séria sobre controlo de qualidade industrial.
As considerações sobre o objecto de estudo também estão erradas, o objecto de estudo eram todos os aviões os que chegaram e os que não chegaram... Lógico, até pq a um dos objectivos da RAF provavelmente era diminuir o tempo e custo que os
aviões perdem em reparaçõess e não só o aspecto dos aviões abatidos (se calhar até era a principal motivação deles até o insight do gajo)...
De qualquer forma, e mais uma vez, perdeste-te no teu raciocionio, no inicio a ideia era « é isto é uma estupidez não faz sentido nenhum, está errado»... Depois, e depois de eu o Manel termos de explicar várias vezes, «obvio que isto é assim o, os gajos da RAF eram todos estupidos»...Enfim
olha se quiseres discutir sobre isto isto vai a este link (o blog de economia mais lido do mundo) e mostra-lhes o quão estupidos eles são todos, não vão deixar de reconhecer o teu talento superior...
http://marginalrevolution.com/marginalrevolution/2011/09/the-importance-of-selection-effects.html
Eu por mim estou fora...
Ate o facto da descoberta do nao enviesamento (pois nao precisava dos avioes abatidos para nada) me parece muito fraquinho para à epoca
"olha se quiseres discutir sobre isto isto vai a este link (o blog de economia mais lido do mundo) e mostra-lhes o quão estupidos eles são todos, não vão deixar de reconhecer o teu talento superior..."
No post do teu blog de referencia tens como
palavra chave: "SELECTION EFFECT"
Num artigo cientifico publicado de facil acesso depois do teu link de referencia tens;
palavra chaves: survivability, MISSING DATA, APPROXIMATIVE METHODS, MAXIMUM LIKEHOOD.
Portanto, nao me parece que as tuas referencias tenham identificado bem o problema.
E a ver pelas palavras chave MISSING DATA nao me parece que o SELECTION EFFECTS ou o ENVIESAMENTO se tenham posto para o caso.
Seleccionou-se o que? dados que nao dispunham e dados que dispunham? Evidente que nao
podemos ler no artigo que o trabalho do gajo tem tres interesses:
historico (visto que estas questoes ja nao se poem nas guerras de hoje)
gives another example of great mind in action (WHAT A FUCK!!!)
recent developments in isotonic regression (um metodo de regressao) and missing data problem
A leitura do artigo mostra bem que tanto tu como o teu tal post (a ver pela palavra chave ja que sao parcos em explicacoes) nao viram bem o "gato" da cena.
Viva o controlo parental !!!
A unica cena que podera cheirar a Selection Effect é que ao contrario do outros, ele apercebeu-se que os dados que dispunha era so dos avioes que voltavam... ora, isso nao me parece uma issue cientifica (nao conta sequer do artigo como isssue), apenas uma falta de comunicacao entre quem recolheu os dados e quem os tratou
Se leres o artigo, que está aqui a ultima secção é «sample errors»
http://people.ucsc.edu/~msmangel/Wald.pdf
Primeiro o teu problema era: isto não faz sentido, depois isto é estupido e depois afinal não é enviesamento da amostra (errado nos três) venha a quarta...
«A unica cena que podera cheirar a Selection Effect é que ao contrario do outros, ele apercebeu-se que os dados que dispunha era so dos avioes que voltavam...»
Finalmente! Não é bem isso, percebeu a importância dos que não vinham (a tal missing data) e como tentar recuperar isso...
É mesmo isso...
Ou de outra forma, com ele a amostra deixou de estar enviesada (isso nc foi o problema dele ou do trabalho, foi do pessoal que trabalhou no assunto antes que ele)
«Seleccionou-se o que? dados que nao dispunham e dados que dispunham? Evidente que nao»
Claro que sim... O cambate selecionava os aviões que regressavam eram os únicos dados disponiveis o resto era missing data...
P.S- só respondipq agora apareceram argumentos mais sérios...
Quem nao é serio é o teu artigo de referencia mundial.
DEFINITIVAMENTE o feito nao é directamente relacionado com o "SELECTION EFFECT" (ou nada mesmo) como o titulo do artigo diz.
"Se leres o artigo, que está aqui a ultima secção é «sample errors»"
Se tu leres a seccao do artigo com esse nome rapido chegas à conclusao que nada tem haver com os avioes abatidos. Esta seccao diz respeito ao facto de o aviao surpreendemente nao cair depois de levar trezentos balazios. Esta seccao é feita para os casos em que os trezentos balazios tenham caido no mesmo buraco.
E como poderia ter haver se os avioes abatidos nao fazem parte da amostra?
"the operational problem can be stated as follows. Aircraft returning from missions have hits by enemies weapons distribuated over various part of the plane. The operational commander must decide (a) what tactics would imorove survivability and (b) how to reinforce varuoius parts of the aircraft"
E como disseste e bem era o combate que seleccionava os avioes, e nao o estatistico. O estatistico trabalhava com os dados disponiveis e tentava estimar os dados indisponiveis. Dai o DATA MISSING. O DATA MISSING nao tem nada haver com algum tipo de metodo para avaliar a qualidade da amostra (no sentido que inclua os avioes abatidos) como tu deixas fazer crer (na minha opiniao).
"Primeiro o teu problema era: isto não faz sentido, depois isto é estupido e depois afinal não é enviesamento da amostra (errado nos três) venha a quarta..."
"isto nao faz sentido"
O teu post nao faz sentido pois acho que ninguem consugue perceber nada, mas tambem nao é grave.
"depois isto é estupido"
O post do blog de referencia mundial é estupido. A palavra chave nada tem haver com o problema e a soluçao avançada nada tem haver com enviesamento nenhum
"nao é enviesamento da amostra "
pois nao, como a leitura do artigo e o comment anterior bem mostram
Curiosamente, a unica afirmaçao minha com que concordas é quando eu chamo bananas à RAF.
Quem é que se mete num trabalho destes registando as mazelas sem saber se os avioes cairam ou nao. Sem esse tipo de informaçao onde é que eles queriam chegar?
ok, agora estás lá !
Vamos por partes:
«Esta seccao diz respeito ao facto de o aviao surpreendemente nao cair depois de levar trezentos balazios. Esta seccao é feita para os casos em que os trezentos balazios tenham caido no mesmo buraco.»
Acho que não,há aqui alguma confusão, não diz nada disso no artigo (i think)... Transcreve a secção que diz ou insinue isso...Aliás, se isso acontece, os 300 balázios, onde está o erro da amostra?... Esta secção tem a ver com problemas com os dados de um lado experimental do artigo do gajo onde ele simulou efeitos de dummy bullets... (Repara que eu sempre disse que a ideia era simplicada mas no fundamental era aquilo). Só falei nisto para não restar dúvidas que era uma amostragem
«DEFINITIVAMENTE o feito nao é directamente relacionado com o (ou nada mesmo) como o titulo do artigo diz. »
Aqui é que está confusão, como já disse 2 ou 3 comments em cima, não foi o trabalho do wald que abordou o selection effect... Todos os trabalhos antes dele é que tiveram essse problema e foi a surpresa dos gajos da RAF perante as novas conclusões (ou da US Navy) que evidencia o problema da
"SELECTION EFFECT". Portanto ele não sofreu/abordou esse efeito, a perpléxidade dos seus chefes (e nossa a 1ª vez que ouvimos o problema) é que é um sintoma deles...
Repara, que como viste, muita gente linkou artigos que abordam o assunto com profundidade e mais ninguem disse que não havia um problema deste género (embora muitos outros comentadores acham que o problema é do mesmo género mas de outro tipo)
«O DATA MISSING nao tem nada haver com algum tipo de metodo para avaliar a qualidade da amostra (no sentido que inclua os avioes abatidos) como tu deixas fazer crer (na minha opiniao).»
Nunca falei em avaliar a qualidade da amostra, o que eu disse é que a amostra original leva às confusões dos directores militares e pode ser perniciosa ... O grande mérito do man foi ter percebido logo a importância dos dados que faltavam e ter desenvolvido os métodos para os estimar...Criando assim um conjunto de dados robustos passiveis de servir os fins militares a que se propunha...
Ah... E não é meu blogue de refência nenhuma...Até tem uma linha ultraliberal...
«Curiosamente, a unica afirmaçao minha com que concordas é quando eu chamo bananas à RAF. »
Again, isso está escrito onde?
Bem, agora respostas só no Sábado...
Bom, o que eu quero acrescentar a esta discussão, é que, só para lembrar, o título deste post é "Erdiguer Contest" e por isso, quem a ganhou fui eu :))
Le a seccao do sampling. Comeca por dizer que lida com os tiros (e nao avioes) que caem no mesmo sitio. Alias, jà te transcrevi o research point que diz explicitamente que lida apenas com avioes que voltam
E eu o que sei é que o post de referencia padece do mesmo problema que os estudos dos estudantes que o dread falou, enviesam à realidade de quem os lê.
Falam de problema de amostragem "sélection effect" quando o problema cientificamente nunca se pos. O artigo nao faz nenhuma referencia à isso.
Isto é uma caso pratico, nao é uma charada matematica tipo enchè o copo, esvazia o copo para fazer trintra litros no garrafao.
Parece-me naïf demais que alguem tenha lidado com o problema do enviesamento.
Onde este isso escrito? Que o merito foi descobrir à natureza da amostra?
Em parte nenhuma do artigo!!!!!!
Eles tentam fazer uma charada ( um claro jogo de palabras) depois de um caso real com à historia da conclusao : se tivessem escrito que à conclusao do gajo foi proteger os orgao vitais o post nao tinha feito tanto sucesso
«Le a seccao do sampling. Comeca por dizer que lida com os tiros (e nao avioes) que caem no mesmo sitio.»
Tinha-te pedido para trancrever secção do sampling errors onde vem essa ideia dos 300 tiros no memo sitio que são erros...
Além disso, o gajo estimou a possibilidade de sobrevivencia, precisando de fazer estimações (mesmo que implicitaas)sobre os aviões que não voltam...
«
Onde este isso escrito? Que o merito foi descobrir à natureza da amostra?
Em parte nenhuma do artigo!!!!!!»
Já respondi a isso mais de que uma vez... Vou repetir «(isso nc foi o problema dele ou do trabalho, foi do pessoal que trabalhou no assunto antes que ele)» ou «Portanto ele não sofreu/abordou esse efeito, a perpléxidade dos seus chefes (e nossa a 1ª vez que ouvimos o problema) é que é um sintoma deles»...
Claro que tens razão em dizer que há uma grande simplificação (já tinha dito isso há muito, antes de aparecer o tal artigo ) e que se tentou tornar o trabalho do man mais sexy, sem dúvida...Agora grande parte das conclusões do trabalho do gajo apontam para quê: reforçar as áreas em que normalmente têm menos registos de danos ou colisões, isso para NóS parece estranho e porquê: porque estamos a pensar em termos de uma amostra enviesada, esquecendo que muitos aviões não regressam sequer...
E agora, fui-me mesmo, de vez...
A transcricao do sampling é: eles estudam os qi nos casos em que q1 é igual a q2. Ora se vires o grafico, qi corresponte ao "i hit" e portanto nada tem haver com os avioes que nao voltaram. Repito o que ja transcrevi:
"the operational problem can be stated as follows. Aircraft returning from missions have hits by enemies weapons distribuated over...."
Portanto o artigo nao aborda nem enviesamnto nem sélection effect
Quem invoca inviesamento e sélection effect é o teu blog de referencia...
E porque? Porque eles aproveitam o trabalho do gajo para construirem uma fabula, uma charada matematica.
E final rematam:
Thé RAF was surprinsing!!!!!
Uuiaaauuuuuu....parece um filme americano de guerra
Nao ha nenhuma evidencia que houve estudos anteriores nem surpresa da RAF.
Isso provavelmente faz parte da charada dos gajos
Portanto vem dai à minha surpresa inicial quando dizia que se tratava de um caso real.
Manifestamente nao.
É uma chatada como tantas outras que envolvem um portugues, um ingles e um frances.
Sao duas visoes diferentes matematico/engenheiro.
A questao de fundo da genese da piada "RAF surprised" é uma questao que na realidade nao faz sentido
Dizes que à fabula faz a historia mais sexy. Esqueces portanto que todos os enviesamentos propositados tambem sao feitos para fazer as historias mais sexy
Mandar um Bitaite