The most important statistical ideas of the past 50 years

By Andrew Gelman and Aki Vehtari:

The eight ideas below represent a categorization based on our experiences and reading of the literature and are not listed in chronological order or in order of importance. They are separate concepts capturing different useful and general developments in statistics.

Each of these ideas has pre-1970 antecedents, both in the theoretical statistics literature and in the practice of various applied fields. But each has developed enough in the past fifty years to havebecome something new.

The ideas are:

  • counterfactual causal inference
  • bootstrapping and simulation-based inference
  • overparameterised models and regularisation
  • multilevel models
  • generic computation algorithms
  • adaptive decision analysis
  • robust inference
  • exploratory data analysis

We consider the ideas listed above to be particularly important in that each of them was not so much a method for solving an existing problem, as an opening to new ways of thinking about statistics and new ways of data analysis.

To put it another way, each of these ideas was a codification, bringing inside the tent an approach that had been considered more a matter of taste or philosophy than statistics[.]

There is also a section on the most important ideas of the next few decades.

Article here. Gelman’s post here.

Racists’ statues: five articles on the controversy

Months ago there was a big controversy about the felling of statues that honour racists. These are five of the best articles I have read on the subject.

Ross Douthat, in the New York Times:

Our civil religion, back when it had more true believers, sometimes treated departed presidents like saints. But our monuments and honorifics exist primarily to honor deeds, not to issue canonizations — to express gratitude for some specific act, to acknowledge some specific debt, to trace a line back to some worthwhile inheritance.

Thus when you enter their Washington, D.C., memorials, you’ll see Thomas Jefferson honored as the man who expressed the founding’s highest ideals and Abraham Lincoln as the president who made good on their promise. That the first was a hypocrite slave owner and the second a pragmatist who had to be pushed into liberating the slaves is certainly relevant to our assessment of their characters. But they remain the author of the Declaration of Independence and the savior of the union, and you can’t embrace either legacy, the union or “we hold these truths …” without acknowledging that these gifts came down through them.

To repudiate an honor or dismantle a memorial, then, makes moral sense only if you intend to repudiate the specific deeds that it memorializes.


But just as Jefferson’s memorial wasn’t built to celebrate his slaveholding, the Woodrow Wilson School of Public and International Affairs wasn’t named for Wilson to honor him for being a segregationist. It was named for him because he helped create precisely the institutions that the school exists to staff — our domestic administrative state and our global foreign policy apparatus — and because he was the presidential progenitor of the idealistic, interventionist worldview that has animated that foreign policy community ever since.


Or consider a different example, one raised by puckish conservatives in the last few weeks: The case of Yale University, named for a 17th-century merchant, official and dealer in slaves named Elihu Yale. What is honored and memorialized in the school’s name (and this is true of many schools) is exactly one deed from Yale’s often wicked and dishonest life — the donation of his money to the young college. The name “Yale” doesn’t honor old Elihu’s slaving; it simply pays the school’s debt to him, acknowledging that Yale owes part of its very existence to a rich man’s desire to see ill-gotten money put to better use.


But unless the endgame of New Haven’s removal of Columbus is the expropriation of white property (Yale’s property, I suppose, especially) and its redistribution to the Pequots and Mohegans, then a consistent rejection of Columbus’s legacy isn’t what my city is embracing. Instead, it’s just doing the same thing as Princeton: keeping the inheritance, but repudiating the benefactor. Keeping the gains, but making a big show of pronouncing them ill gotten.


Meanwhile, for now the ingratitude is being presented as a clear moral advance, and it is not. To enjoy an inheritance that comes from flawed men by pretending that it comes from nowhere, through nobody, is a betrayal of memory, not its rectification — an act of self-righteousness that may not bring the revolution, but does make our ruling class that much less fit to rule.

Mary Beard, in the Times Literary Supplement:

There is no one (or almost no one) who thinks that there are no exclusions at all for statues that belong in the public realm. There would, I imagine, be very little public debate about the taking down of a statue of Goebbels or Jimmy Savile. It is, however, rather like Free Speech. No one wants it to be completely free, but we disagree on where we draw the line.


The truth is that there is no such simple version of history, or for that matter of the present: people who do good also do bad (and vice versa) and our own heroes and heroines will in due course be found wanting (or worse) too. Maybe it is the act of heroizing that is the problem, not the inevitably flawed individuals themselves.


In the longue durée, statues offer different challenges to our view of history: they ask us to think about what separates us from the heroes of the past, how we can face them down (actually these guys are just lumps of stone), and how they remind us of our own fragility in the judgement of the future.


My view of course is that museums are a source of debate and discussion about the past and the present. But I strongly suspect that those who suggest that these statues should be moved there really think that museums are a useful dumping ground for old things you don’t want, but don’t feel you can actually throw away.

Julian Baggini, in the Times Literary Supplement:

But slippery slope arguments are themselves slippery and need to be treated with caution. They force us to take one of two extreme, polarized positions and do not allow anything more nuanced. When the slope is slippery, the only place to be is safely at the top or right down at the bottom. There is no in-between. In the case of statues it would mean leaving everything as it is or tearing down more than most people would think reasonable.

But that does not exhaust the options. The slope is not slippery, merely craggy. With care, statues can be placed at any number of places between the exalted heights and the ignominious bottom. To do this requires going beyond neat lines, with the pure on one side and the tainted on the other. Instead, we have to make judgements on a case-by-case basis, by asking ourselves some key questions.


Is the achievement for which they are being celebrated intimately or causally tied to their sins? Were they significantly worse than others of their time? How recent was the offence? These questions do not add up to a complete and rigorous set of tests. Issues are too complicated to be settled by any moral algorithm.


By any reasonable test, David Hume should be safe. (He’s not yet listed on Hume’s racism was no more than was sadly normal at the time and it had nothing to do with what made his philosophy great. Colston, however, should go. There are countless other cases where it is not so clear cut and there is a need for considered judgements. There is a kind of slope, in that there are gradations of guilt in the heroes of the past, and very few are entirely blameless. But it is not a slippery one unless we make it so by insisting there is nothing between the moral high ground and the abyss of iniquity.

Simon Schama, in the Financial Times:

Statues are not history; rather, its opposite. History is argument; statues brook none. The whole honour of history lies in its contrarian irrepressibility; its brief to puncture the pieties of power, should they belie the truth. Those horrified by the de-pedestalisations of recent days — the Black Lives Matter protests have led to the felling of statues from the slave trader Edward Colston in Bristol to the brutal colonialist Leopold II in Belgian cities — claim that such acts “erase” history. But the contrary is true. It is more usually statues, lording it over civic space, which shut off debate through their invitation to reverence.


Let them disappear, then, but not into canals, ponds or rubbish dumps, since arbitrary acts of destruction shut down debate quite as much as uncritical reverence. Better, surely, to relocate them to museums where, properly curated, they can trigger genuine debate and historical education. One thing that the pandemic caesura has wrought is a confrontation with big historical matters: who are we as a nation, what we have been, and where we are going? If the Men in Stone (and they are overwhelmingly men) can deepen that understanding they will have served their purpose better than ever they did up on their pigeon-stained plinths.

Tyler Cowen, in Bloomberg (2007):

I can think of at least three practical reasons for erecting public statues. First, we may wish to create an incentive for future behavior, as we do with Nobel Prizes and Halls of Fame.


Statues and monuments also create focal points to help groups organize.


Third, statues and public monuments help drive tourism and establish the identities of regions.


The striking feature of these motivations is how much they are about the present and the future, not the past. So instead of obsessing over the worthies and unworthies of history, we would do better to consider which future causes statues are likely to support.


So if you’re considering the worthiness of a particular statue, here are three pointers: Pretend you’re from some very distant foreign country and view the dispute through that more objective lens. Second, focus on the future, and third, don’t be afraid to make some changes.

Estátuas de racistas: dois textos sobre a polêmica

Meses atrás tivemos a polêmica da derrubada de estátuas que homenageiam racistas. Estes são dois dos melhores textos brasileiros que li sobre o assunto.

Demétrio Magnoli, na Folha de S.Paulo:

Uma estátua erguida no passado não representa uma celebração presente de um personagem ou de uma ideologia, mas apenas a prova material de que, um dia, em outra época, isso foi celebrado.


A transferência das estátuas malditas para museus ou parques temáticos, retirando-as de seus contextos, tem efeito similar. Num caso, como no outro, trata-se de higienizar os lugares de circulação cotidiana, reservando o exercício da memória a uma elite de especialistas da memória.

Rhodes, o pecador, não está só. De Pedro, o Grande, a Thomas Jefferson, de Marx a Churchill, de Machado de Assis a Monteiro Lobato, ninguém passa no teste contemporâneo dos valores.

A lógica férrea do vandalismo do bem conduz a um programa de terra arrasada. O rastilho de fogueiras purificadoras nada poupará, a não ser as novas estátuas esculpidas pelos próprios vândalos do bem, que virão a ser derrubadas por seus futuros seguidores. O presente perpétuo —eis a perigosa ambição dessa seita de iconoclastas.


Quem tem o direito moral de suprimir os lugares da memória? Se concedermos esse direito aos vândalos do bem, como negá-lo a governos eleitos democraticamente?

Paulo Pachá e Thiago Krause, na Época:

As respostas encontradas nos jornais frequentemente têm sido negativas, argumentando que a derrubada de estátuas significaria a vitória do revisionismo por meio da tentativa de apagar a história e reescrever o passado, projeto supostamente autoritário e anacrônico, pois fundado em uma visão que julga o passado com os olhos de hoje.

O que esses argumentos ignoram são os fundamentos da própria historiografia, aqui entendida como a escrita da história baseada em metodologias e evidências aceitas pelos profissionais da área. Assim, a prática historiográfica é essencialmente revisionista: nós estamos sempre revisando nossos conhecimentos e interpretações sobre o passado. Essa revisão é determinada pelas relações sociais do presente, pois a sucessiva reescrita da história a partir do desenvolvimento de novas questões e interpretações está no cerne do trabalho dos historiadores.


Assim, a remoção dos monumentos também expressa uma transformação das relações e dos valores sociais. Erigir uma estátua é fazer história, derrubá-la também. Esses momentos são exatamente o contrário do apagamento, pois suscitam debates que geralmente permanecem adormecidos quando se discute o que a sociedade quer valorizar e comemorar.

Já a ideia de que seria anacrônico condenar personagens históricos erra em outra frente, pois ignora que havia outras moralidades possíveis na própria época em que essas figuras viviam. […] O espantalho do anacronismo frequentemente não passa de uma adoção irrefletida da perspectiva dominante que perpetua a negação da alteridade.


A constante reavaliação do passado nacional e a progressiva crítica de seus mitos é uma das marcas de uma democracia madura. O reconhecimento da inadequação de homenagens públicas realizadas no passado não significa apagamento, mas reparação de alguns dos muitos equívocos cometidos por nossos antepassados. […] O verdadeiro projeto de apagar a história é aquele que a vê como estática e pretende nos manter presos às visões superadas de uma historiografia laudatória dos heróis e mitos nacionais, que excluem e violentam a memória de diversos grupos sociais — em especial negros, indígenas e mulheres — reproduzindo no presente as desigualdades herdadas do passado.

VGDensetsu on the Gigaleak and video game preservation

This wonderful article by Dom Auffret (VGDensetsu) is full of interesting information – so much, in fact, that it is difficult to choose what to highlight.

Here is one sad bit:

At Square Enix, on the other hand, some files could not be saved in time and some games’ source codes were lost. In addition to the Mana series previously mentioned, we know that the source code of the PlayStation version of Final Fantasy VIII has disappeared, forcing the developers of the HD version to fall back on the code of the PC version whose music is slightly different. Same with the first episode of Kingdom Hearts; the developers of the 1.5 HD Remix version had to analyze in depth a commercial copy and recreate many assets. An example that echoes the story a developer posted in 2010 in which he explained that, as part of a port of various Midway arcade games, the editor in charge of the project was unable to get his hands on the source code of Spy Hunter, so he had to download the game’s ROM in order to extract the graphics via MAME and retrieve the sound files from a fan site, among other things.

I rarely play video games nowadays, but I enjoy reading about it once in a while – especially on history.

Sobre ‘negacionismo’ e ‘negacionista’

Segundo o Houaiss,1 a palavra “negacionismo” começou a ser usada no Brasil em 13 de julho 1993, na Folha de S.Paulo. Ela aparece no texto “Autor escreve sobre ‘negação dos fatos’” (recorte), de Bernardo Carvalho, sobre Paul Virilio.

Voltou a aparecer em abril de 1994 e, depois, apenas em março de 2005.

Em O Estado de S. Paulo, ela foi usada pela primeira vez em 23 de abril de 1996, no texto “O venerável Abade Pierre põe Holocausto em dúvida” (recorte), de Gilles Lapouge.

Veja abaixo o número de vezes em que a palavra foi usada em cada jornal:

Década Folha Estadão
1990 2 2
2000 10 1
2010 58 20
2020 4 18
Total 74 41

Ainda segundo o Houaiss, “negacionista” apareceu pela primeira vez em 9 de junho de 1996, também na Folha.

Curiosamente, a edição eletrônica 3.0 para Windows inclui “negacionista”, mas não “negacionismo”.

Nenhuma das duas palavras está no Vocabulário Ortográfico da Língua Portuguesa.

  1.  O Houaiss merecia um site bem melhor. Sua experiência de uso é horrível.

Guia metodologicamente incorreto

Apenas recentemente tomei conhecimento da polêmica envolvendo a série Guia Politicamente Incorreto, do canal History.

RIO – Historiadores e escritores acusaram o canal History de incluir, sem o seu consentimento, trechos de entrevistas feitas com eles para o programa “Guia politicamente incorreto da História do Brasil”, cujo primeiro episódio foi ao ar neste sábado.

Lira Neto, Lilia Schwarcz e Laurentino Gomes afirmam ter sido entrevistados por uma produtora contratada pelo canal sem serem informados de que as declarações seriam utilizadas no programa em questão.

Lira Neto foi um dos que mais reclamaram publicamente sobre o ocorrido e chegou a abordar o assunto em sua coluna na Folha:

Estupefato, na semana passada, fiquei sabendo que minha fala seria incluída, de modo ardiloso, em uma série intitulada “Guia Politicamente Incorreto”, baseada nos livros do jornalista Leandro Narloch. Se tivesse sido informado disso previamente, não teria concedido a entrevista.

Considero tais livros um desserviço ao público jovem, alvo prioritário deles. São simplórios na argumentação, falaciosos na utilização das fontes, pródigos em promover estereótipos e sedimentar preconceitos contra minorias historicamente marginalizadas.

Imediatamente, tratei de exigir explicações dos responsáveis. Após apelar para o cinismo e tentar dizer que tudo não passara de um “mal-entendido”, o diretor foi desmascarado pelos fatos. Outros entrevistados, como as historiadoras Lilia Schwarcz, Isabel Lustosa e Mary Del Priore, assim como o jornalista Laurentino Gomes, revelaram que tinham sido vítimas da mesma armadilha. […]

O próprio Narloch sentiu-se compelido a vir a público, pelas redes sociais, para dizer que estava “frustrado” com a história. Afirmou não saber que havíamos sido enganados. Concordava com o pedido dos atingidos para que fossem retiradas as respectivas entrevistas do programa. Contudo, alegou, tudo havia sido feito em nome de promover “um debate elegante sobre temas delicados”.

Quem assistiu aos primeiros episódios constatou que não há elegância ou debate naquilo. A presença e o nome de pesquisadores sérios estão sendo utilizados, na edição, apenas para legitimar e corroborar uma narrativa tendenciosa, “politicamente incorreta”. Por si só, a palavra “guia”, do título, não deixa margem para dúvidas: sugere condução, viés, predefinição de rumo.

Reinaldo José Lopes, que já trabalhou com Leandro Narloch (autor do Guia Politicamente Incorreto da História do Brasil) e foi entrevistado para a série, falou sobre a polêmica em seu blog e em sua coluna (o trecho abaixo é retirado desta):

O problema central da série é que, embora a proposta declarada seja desmontar clichês e visões ideologicamente motivadas de figuras da nossa história, o que de fato ocorre é substituir um clichê por outro. […]

Como talvez o leitor saiba, dá para contar uma mentira imensa contando apenas verdades –ou pedacinhos dessas verdades.

Gostei especialmente dos textos de Lira Neto e José Lopes porque eles incluem boas críticas ao livro de Narloch e à série nele baseada.

O grande problema desse tipo de obra não são suas conclusões em si, mas a metodologia adotada para chegar a elas. O fato de a tese ser “politicamente incorreta” ou “politicamente correta” é o de menos. O importante é a qualidade da pesquisa – que, nesse tipo de trabalho, costuma ser muito baixa.

Não me refiro a livros de história escritos por não historiadores – afinal, não é necessário ser historiador para escrever bons livros de história. Minha crítica é direcionada a certas obras de não ficção simplistas e sensacionalistas, com título provocativo (e geralmente meio bobo). Uma estratégia comum de seus autores é defender teses polêmicas usando argumentação fraca, baseada em evidências ou interpretações de pouca relevância.

E Narloch “adora uma evidência anedótica – ou seja, ‘causos’, histórias individuais sobre uma situação específica”, diz José Lopes, antes de completar: “Causos são legais, mas quando a gente está falando de história, é preciso deixar muito claro se eles são representativos ou não.”

Para piorar, quando autores dessas obras são alvo de críticas, eles frequentemente tentam desqualificá-las sem rebater seus argumentos, como neste trecho:

A respeito das críticas de Lira Neto, Narloch afirmou à Folha que as considera personalistas e motivadas mais por divergência política do que pelas informações da série ou do livro.

Respostas assim deveriam deixar claro que o criticado se considera incapaz de responder devidamente aos argumentos da crítica. Infelizmente, não é isso o que ocorre.

Como já nos mostrou Paulo Maluf (entre tantos outros políticos), responder a uma crítica sem rebater seus argumentos é uma tática de retórica que funciona bem. E os fãs de autores como Narloch são mais uma amostra disso.

Para finalizar, um comentário sobre a cobertura da mídia. Uma leitura rápida das matérias sobre o caso pode dar a impressão de que se tratou de mais uma batalha em uma eterna guerra entre historiadores e jornalistas ou algo assim. Títulos usados pelos veículos contribuem para isso.

Mas, como é evidente, as reclamações não vieram apenas de historiadores. Lira Neto, Laurentino Gomes e Reinaldo José Lopes, entre outros, não são historiadores – e nem dizem ser; quem comete esse erro é a mídia.

Ricardo Coimbra:

"Startup Wars V", Ricardo Coimbra

FHC: eu queria fazer socialismo, não sociologia

Um dos vídeos que subi no YouTube é a entrevista de Fernando Henrique Cardoso para o projeto “Memória das Ciências Sociais no Brasil”. Abaixo, destaco alguns trechos.

Socialismo, não sociologia:

Na verdade, quando eu fui para a sociologia, o que eu queria fazer era socialismo, não era sociologia, não é?! E a ideia era mudar o Brasil. […]

O primeiro trabalho que eu escrevi foi sobre Parmênides. Você imagina, [risos] para quem está querendo mudar o mundo, escrever sobre Parmênides não é propriamente gratificante, não é?! [risos] Bom… E até quem dava essa aula sobre os pré-socráticos era um professor que era comunista, ou próximo, ele era muito interessante. Tentava dar uma coisa viva.

Aposentadoria precoce:

Eu fui aposentado em abril de 1969. Eu ganhei a cátedra em outubro, fiquei seis meses. Comecei a dar um curso, e acabou. Fui receber a minha aposentadoria lá, e depois a moça do guichê disse: “Esse já morreu.” Eu disse: “Como, morreu? Eu estou aqui.” Tinha morrido um outro Fernando Henrique, Mendes de Almeida, da faculdade de direito. Aí ela me deu o meu salário lá, correspondente ao tempo de serviço, não sei o quê… Olhou para mim: “Tão moço, já aposentado” – não é “já catedrático”, não – “já aposentado”… Que é a glória de todo mundo, não é?! “Como é que conseguiu?” [Risos] Eu digo: “Ah, não é tão fácil assim, não [risos].”

Volta no tempo:

C.C. –Se o senhor tivesse dezessete anos de novo, o senhor faria ciências sociais ou faria outra opção? […]

F.C. –Provavelmente sim [faria ciências sociais], com ênfase em história e em economia. Eu acho que a história ensina mais. E entendida história não como événement, mas uma história para valer. [Isso] por causa do meu sentido histórico-estrutural. […] Ainda mais agora no mundo de hoje… Sim.

Mais intelectual do que político:

No limite eu sou mais intelectual do que político. Se não fosse, eu teria continuado a exercer a liderança efetiva, e eu não quis, quando deixei a presidência, não é? Não quis por razões pessoais e também por razões que… Bom, precisa ter outros que, enfim, assumam. Infelizmente não fui tão feliz assim na minha expectativa de que pudesse haver outro que se impusesse naturalmente como líder. Porque o líder natural, sucessor natural meu, morreu – era o Mário Covas, não é? Então houve um buraco aí, de geração. Depois o outro seria o Serra, mas o Serra não assumiu.

O depoimento foi gravado em 2011, e os entrevistadores foram Helena Bomeny e Celso Castro (o “C.C.” na citação acima). A transcrição pode ser lida no site do projeto.

A entrevista toda é bem legal, apesar da jactância de FHC – que, na verdade, é até engraçada.

Angeli que o diga.

"Esta É a Sua Vida", Angeli, Folha de S.Paulo, 1995

"Histórias de Amor", Angeli, Folha de S.Paulo, 1996

"Fernando Vai a Roma", Angeli, Folha de S.Paulo, 1997

"Discurso à Nação", Angeli, Folha de S.Paulo, 1997

"O Príncipe e os Miseráveis", Angeli, Folha de S.Paulo, 1998

Lula e o punho cerrado

Igor Gielow, na Folha:

Após o previsível “sacode”, Lula fez o que sabe melhor: envergou a armadura do oprimido por elites e partiu para o ataque, dobrando uma aposta cantada. Com direito a punho cerrado, imagem imortalizada pelos tresloucados comunistas alemães da década de 1920, aqueles cujo radicalismo ajudou a colocar os nazistas ao poder. Ah, e também dos mensaleiros condenados à prisão e afins.

O punho cerrado tem uma longa história e múltiplas interpretações possíveis. O gesto de Lula, portanto, pode ser relacionado a diversos momentos da história, mas Gielow listou apenas um – o qual, segundo ele, teria imortalizado a imagem.

Algumas questões:

1) Por que Gielow citou justamente esse momento da história? Parece até que ele o escolheu a dedo, unicamente a fim de estabelecer uma conexão negativa entre Lula e os “tresloucados comunistas alemães”.

2) Por que Gielow diz que a imagem foi “imortalizada” pelos comunistas alemães? Há algum tipo de consenso entre historiadores a respeito disso, ou é apenas uma conclusão rasa – em outras palavras, chute? O uso do punho cerrado pelo Partido Comunista da Alemanha foi indubitavelmente importante, mas afirmar que foi isso que imortalizou o gesto me parece no mínimo questionável.

As escolhas de Gielow ficam ainda mais estranhas quando consideramos que, em fevereiro de 2014, ele escreveu um texto contando um pouco da história do punho cerrado. Nele, o jornalista reconhecia não ser “fácil precisar historicamente a criação do gesto” e relatava diversos momentos em que a imagem foi utilizada.

Será que Gielow explicitaria essa relação do punho com os comunistas (que não eram apenas comunistas, mas “tresloucados”) – e só com eles – se o tema da coluna fosse Nelson Mandela ou o futebolista Sócrates? Ou seria mais um caso de dois pesos, duas medidas? Não quero comparar Lula a esses dois personagens, apenas lembrar que eles também usavam o gesto.

O bom jornalismo é, em geral, crítico ao poder. Mas é necessário tomar cuidado para que, no afã de ser crítico, não seja injusto ou desnecessariamente maldoso.