How NLP became a tool of villains

and how to get the genie back into the bottle

Written for the farewell workshop of Franciska de Jong

Franciska de Jong played a deciding role in my life and career. The first time that she – unknowingly maybe until today – influenced my career was around the year 1993. I was a student computer science at the University of Twente. I was busy living the student live as an active member of the “studentenvakbond SRD” (the union for students), but less active studying. After four years, I only managed to pass the courses of year two; I had doubts about computer science, and I thought about quitting. Two courses of Franciska de Jong removed my doubts completely: Computer Science and Language, and Language Technology (in Dutch: Informatica en Taal and Taaltechnologie) .

The courses discussed the important transition in the field of Natural Language Processing (NLP) that happened in the early 1990’s. Statistical approaches were outperforming symbolic approaches in every application of NLP. I thought this was really exciting. In the courses, we discussed symbolic approaches like those based on Noam Chomsky’s hierarchy of grammars, as well as statistical approaches. For instance, we implemented a simple statistical language model that use letter tri-grams, combinations of three letters. Such a model may generate text like the following:

But the men.
He diperse pre sidevider the siscrat andly is ord the thabbas.
Whall the of thise his de forter he the that's hisell prouressay by inlipothe ever the feer.

What language is this? Surprisingly, this very simple statistical model of language is able to fool our minds. It produces utter nonsense, but it easily convinces people that the nonsense is English. I reimplemented the assignment for this presentation and trained it on Moby Dick. This is English, right?

Also, in the course, we discussed ELIZA, a chatbot developed by Joseph Weizenbaum in the 1960’s. ELIZA is inspired by Rogerian psychiatrists, she reflects back the words of the user as a follow-up question. ELIZA is clearly not intelligent, not in anyway, but people that chatted with ELIZA were easily manipulated into believing that ELIZA was intelligent. This to great frustration of Weizenbaum: he said: “Only people who misunderstood ELIZA called it a sensation.”

YOU: Men are all alike.
ELIZA: Can you think of a specific example ?
YOU: Well, my boyfriend made me come here
ELIZA: Is it important to you that your boyfriend made you come here ?

Now, about 25 years later, we are again witnessing a major transition in the field of Natural Language Processing. Again, these are really exciting times. This time, deep neural approaches are consistently outperforming the statistical models of the 90’s in every conceivable application, including chatbots.

Also, this time, people are easily manipulated into thinking that they talk to an intelligent computer, for instance by chatbots like chatGPT. But chatGPT, like ELIZA, is clearly not intelligent. ChatGPT is based on a model that, like the tri-gram model above, produces the most likely sequence of words. Franciska’s courses were an excellent preparation on calling bullshit on the intelligence of chatGPT.

No, chatGPT is not hallucinating: it’s bullshitting.

No, we are not anywhere near to so-called “Artificial General Intelligence”: bullshit!

No, you cannot prepare a court case using chatGPT: What are you DOING?!

Now, you may wonder, if researchers have known for a long time that people are easily manipulated into thinking that machines are intelligent: Why is this again happening, and why on such a large scale? The answer is simple but frightening: Some of us researchers are not very nice people. Some of us researchers are evil. Some of us researchers want to manipulate people. They are like the villains that we know from fiction and cartoons.

Here, you see one of the papers that Franciska gave me when I asked for a master thesis topic: The topic? Statistical Machine Translation. I loved this topic. I considered machine translation a wonderful application that may bring together people from different cultures and backgrounds. I also considered machine translation to be a knowledge intensive application, so it is amazing that a statistical system may learn how to translate by just feeding it lots of text.

One of the authors of this paper, however, decided that he would not pursue machine translation further. Instead he went all in on manipulating people. This person was Robert Mercer.

Robert Mercer was one of the driving forces behind Cambridge Analytica. The company that openly bragged about its ability to influence elections. It cooperated with Facebook to manipulate the Brexit vote, it tried to manipulate the election in the USA in 2020, and it claimed to have manipulated many other elections.

Like villains in fiction, people like Mercer are open about their intentions: They do not only want to make money from manipulating people: They actually believe that most people alive today have not much value. They claim that it is more important to achieve a utopian world in the far future than to solve today’s pressing problems.

Seriously, many of today’s influential techno-optimists are inspired by views like Transhumanism, Effective Altruism, and Longtermism. Timnit Gebru and Émile Torres coined the abbreviation TESCREAL to summarize these views (and some other as well):

  • Transhumanism
  • Extropiansim
  • Singularitarianism
  • Cosmism
  • Rationalism
  • Effective Altruism
  • Longtermism

In these views, achieving artificial general intelligence, or achieving colonies on other planets is the ultimate goal of humanity. Achieving these goals is prioritised over immediate problems such as cutting down on carbon emissions to counter climate change. Also, it is perfectly okay to let workers in Kenya label your data for less than 2 Euro a day (one of the “secrets” behind the success of chatGPT). More on climate disaster and labor exploitation in a minute, but first…

Using language models for IR

… let me go back to my journey with Franciska. In 2001, I defended my PhD thesis supervised by Franciska: “Using Language Models for Information Retrieval”. We may call these statistical language models: small language model today, as opposed to the large language models like GPT. Together with Wessel Kraaij, Arjen de Vries, and Thijs Westerveld, I showed that these models can be implemented using a traditional index. Like the index in the back of a book, such an index lists for each term the pages that contain the term, and it can be used to retrieve documents very efficiently. Web search using small language models therefore takes no more energy than running any other classical search engine.

The system inspects the index, and … done! What does search using large language models look like? Let me show the architecture of one of the most popular BERT rerankers of today. BERT is a transformer-based large language model released by Google in 2018.

First, large language models cannot actually retrieve information, so this approach starts with the same index as above. Then it uses BERT, which consists of 12 layers of transformers where each word or word piece is represented by 768 numbers. Then the system needs an actual reranker, another small neural network.

At ACL 2019 Emma Strubell presented an approach to estimate the energy that is needed to train and use BERT, and at SIGIR 2022, Harry Scells used that approach to estimate the energy needed to use BERT as a reranker and he compared it to the energy needed by the traditional index. It turns our the using a reranker like this takes a staggering 138,000 times more energy than using the index alone. So, for every query that is processed by the BERT large language model ranker, we can process 138,000 queries using the index!

Let me try to give this presentation a positive ending by explaining how to get the genie back into the bottle. I call on researchers to do the following:

  1. Teach about the dark side of AI and NLP: Big corporations are using this technology to manipulate people on a very large scale;
  2. As a researcher, always try simple baselines: Run and optimize a baseline system that uses the index and nothing more. You may still use small language models;
  3. If you use crowd workers, pay them well;
  4. If you do use LARGE language models: Measure energy consumption and estimate carbon emissions.

Finally, In your conclusion: Make a trade-off. If you improved search quality by 20%, but you increased carbon emissions more than 100,000 times … then maybe conclude it is not worth it!

Beyond research and teaching: on the role of universities in our society

(a thread on Mastodon U. Twente.)

In the essay The Fragmentation of Truth danah boyd makes the following important point: To combat increasing polarisation in our society, we need to rely on organisations that actively and intentionally let people with fundamental differences work alongside one another.

Boyd mentions the military as an example of an organisation that brings together people from different social backgrounds and political views to work on a common goal. To “intentionally bridge gaps in the social graph, to intentionally connect people and communities.”

I see schools and universities as another major power to combat polarisation in our society. Our university brings together people from different backgrounds, politcal views and cultures. Creating a sense of common purpose and a sense of a university community is important to fight polarisation and populism in our society.

That’s why our campus, our study associations, our sport, cultural and other student associations, are so important. That’s also why we need democratic institutions and self-government. They do not only shape our university now, they shape our future society.

We need to work harder to shape our universty as a community. If international students feel disconnected, then we completely failed as a university, no matter how excellent our educational programs are. This U-Today story, International bachelors: psychological and social problems, breaks my heart: (“One in three non-European bachelors had study problems in the previous academic year due to psychological, medical or social circumstances.”)

Danah boyd discusses in depth how platforms like Youtube and Facebook harm our society; how they directly threaten the important role that schools and universities play in creating a peaceful society. From this view point it is clear: Youtube should not be the primary channel for our online lectures; Facebook should not be the primary channel for our events.

Finally, services like search engines may be harmful, however well-intended and well-implemented. I find this hard to say as an Information Retrieval researcher, but search is easily manipulated, and you might not want powerful search in some applications. Boyd’s concept of ‘data voids’ is really insightful. Maybe we should teach students about search engine optimization in our courses too… #FIR

How Twente may lead the fight against global heating

(a thread on Mastodon U. Twente)

I signed the Klimaatbrief Universiteiten. Our university does not have an ambitious climate agenda. A common approach among universities is lacking. With this letter, we call upon university management to develop and implement policies to drastically reduce the universities’ carbon emissions.

Frankly speaking, the policies that this letter calls for should not be controversial at all. Universities have a moral duty to work on the big problems of the world, and a duty to advance approaches that may solve these problems. In fact, the University of Twente can build a campus that is CO2 neutral now. Let me give a few examples.

Let’s build, on campus, the state-of-the-art wind mills that use generators developed at the University of Twente. The superconductors developed by Marc Dhallé and colleagues, Lighter windmills thanks to superconductivity, replace the heavy magnets inside the generators of conventional wind mills. As a result, the weight and size of the new generator is significantly reduced while at the same time, it is capable of delivering the same output power. Another advantage is the minimal use of rare earth metals.

Let’s put solar panels on every roof and turn everyday objects on campus into solar panels using luminescent solar concentrator (LSC) photovoltaic technologies that Angèle Reinders and colleagues experiment with. The typical material properties of LSCs — low cost, colorful, bendable, and transparency — offer a lot of design freedom.

Let’s use the additional energy generated on campus to generate solar fuels. This involves the direct conversion of energy from sunlight into a usable fuel (in this case, hydrogen). Using only earth-abundant materials, Han Gardeniers, Jurriaan Huskens and colleagues developed the most efficient conversion method to date: UT boosts efficiency of solar fuels.

The high school children that are on strike for the climate now will be our future students. Let’s give them the world — and the campus — they protested for.

Een open email aan de rector

Published today in the UT Nieuws (in Dutch).
With response (also at the UT Nieuws).

Aan: Prof. dr. Ed Brinksma
Van: Dr. Djoerd Hiemstra
Datum: Do, 6 Dec 2012 10:32:04 +0100
Onderwerp: TOM is als Windows zonder browser

Geachte prof. Brinksma, beste Ed,

Ik weet dat verhalen uit de Informatica je na aan het hart liggen, en het volgende verhaal kun je je ongetwijfeld herinneren: In 1995 lanceerde Microsoft het besturingssysteem Windows 95 zonder een web browser, en Bill Gates gaf later toe dat de opkomst van het world wide web hem had verrast. Maar Microsoft was groot en rijk, en de competitie te klein om de fout af te straffen.

Je diesrede van vrijdag j.l. was inspirerend. Je stond ook stil bij het lanceren van een nieuw product: TOM 2013, ons Twentse Onderwijs Model. Net als in 1995 voor Microsoft is inmiddels het world wide web ook voor de universitaire onderwijswereld een belangrijke rol gaan spelen, zoals je treffend aangaf in je rede. Bekende universiteiten zoals Stanford en MIT bieden hun beste colleges en studiemateriaal aan op het web, gratis, voor iedereen te volgen op de on-line leeromgevingen van bijvoorbeeld Coursera en Udacity. Ze geven certificaten af, en onze studenten zijn al bij je geweest met de vraag: “Hoeveel studiepunten is dit on-line Stanford certificaat waard, meneer de rector?” Ik ben benieuwd naar wat je de studenten gezegd hebt, want net als Bill Gates bij Microsoft ben jij ons boegbeeld. Hoe gaan we hier als Universiteit Twente mee om? Waar willen we staan over 5 jaar?

Je antwoord heeft me teleurgesteld. Je zei dat de UT zich zal richten op: “het opdoen van ervaring, het ontmoeten van mensen, persoonlijk contact, kortom het creëren van een leerervaring.” Met andere woorden, we gaan ons niet richten op het internet, maar juist op die dingen die het internet niet bij de universiteit weg kan halen – nog niet in elk geval. De UT lanceert dus TOM 2013 zonder open studiemateriaal, zonder open leeromgeving, zonder ondersteuning aan ons docenten om te concurreren met onze collega's van Stanford: TOM is als Windows zonder web browser. Over vijf jaar zullen we misschien nog steeds 10.000 studenten hebben, maar onze studenten zullen on-line colleges van andere universiteiten volgen, on-line opgaven van andere universiteiten doen, en wij docenten zullen met persoonlijk contact een leerervaring creëren. Zijn dat echt onze ambities?

Waar zouden we kunnen zijn in vijf jaar? Over vijf jaar zouden miljoenen studenten over de hele wereld de vakken van de Universiteit Twente kunnen volgen, met on-line colleges, on-line opdrachten, en on-line certificaten van de UT. Sommige van onze professoren zullen bekend zijn bij studenten over de hele wereld. En als ik ooit nog eens bij Stanford solliciteer, dan wil ik ze met trots kennis laten nemen van mijn open, on-line TOM studiemateriaal.

In deze email vraag ik: laat ons alsjeblieft weten dat de opkomst van on-line cursussen je verrast heeft. Wellicht dat Bill Gates daarbij een inspirator kan zijn, want zonder open, on-line cursussen zullen we als Universiteit Twente voor altijd worden ingehaald door onze internationale concurrenten. Laten we een ambitieuze stap maken naar uitdagend, eigentijds en *open* onderwijs in TOM 2013. Ik, collega's en studenten van onze universiteit zijn van harte bereid hierbij te helpen.

Met vriendelijke groet,
Djoerd Hiemstra
(Lid van de Jonge Akademie van de Universiteit Twente)

English Wikipedia off-line as protest

Yesterday, the Wikipedia community announced its decision to black out the English-language Wikipedia for 24 hours, worldwide, on Wednesday, January 18. The blackout is a protest against proposed legislation in the United States – the Stop Online Piracy Act (SOPA) and the PROTECT IP Act (PIPA). See:

If I understand things right, the Stop Online Piracy Act will allow a U.S. court to legally demand to take off-line, just because a student or professor published a link to circumvent internet censorship on his/her University of Twente web page, for instance a link like:


Gisteren kwam ik aan bij gebouw Zilverling, en tot mijn verbazing was het gebouw leeg en gesloten. De ramen waren geblindeerd, en op de glazen schuifdeur was een briefje geplakt: “We zijn verhuisd. Gratis vervoer naar onze nieuwe locatie…” Maar voordat ik kon lezen waarnaar de faculteit verhuisd was, werd ik aangesproken door een man in een auto. De auto had daar blijkbaar al geruime tijd gestaan. “Ik rij je er wel heen!” zei de man, “Service van de UT.” “Waarheen dan?” vroeg ik hem. De man mompelde een adres dat me vaag bekend voor kwam, `knooistroate' ofzo. Of klonk het alleen maar bekend? “Heb je een momentje?” vroeg ik hem, want ik vertrouwde het niet. “Ik moet eerst even bellen”, riep ik er gauw achteraan. Op het zelfde moment kreeg Peter al aan de lijn. Hij had wel iets van een verhuizing gehoord, maar wat het nieuwe adres was wist hij niet. Het adres wat de man noemde was voor hem ook nieuw. Maar half gerust gesteld belde ik vlug een bekende die bij extrene betrekkingen van de TU Delft werkt. Zij wist dit soort dingen altijd als eerste. “Wat-voor-stroat?” zei ze verbaasd. Dat klinkt niet als een straat van internationale allure. Ik kan me niet voorstellen dat de UT naar zo'n straat zou verhuizen. “Ik bel je later nog terug”, zei ik haar. De twijfel sloeg nu toe. Terwijl ik probeerde te bedenken wie ik nu zou bellen kwam Jan naast me staan. “Nou ja, we zijn verhuisd!” riep hij verbaasd uit. “Heb je het door: naar de knooistroate, of zoiets,” antwoorde ik hem. De man van de auto was nu uitgestapt en zei opnieuw: “Ik breng jullie er zo heen. Service van de UT.” Jan keek me aan. “Dat nieuwe adres ken ik volgens mij wel,” zei hij. Laten we dan gauw instappen zei ik. We stapten in de auto, en reden naar het nieuwe adres van de UT.

Zo'n onaangekondigde, plotselinge verhuizing zonder goede aanleiding lijkt nogal bizar, maar vindt nog wel eens plaats, met name op het world wide web. Sinds september j.l. vinden aspirant studenten die de UT op het adres proberen te vinden een verwijzing naar Je wordt automatisch naar het nieuwe adres gebracht, dat wel: service van de UT. Bij de kritische internet gebruiker hoort er dan meteen een alarmbel af te gaan, dat wil zeggen, bij de internet gebruiker die naar Postbus 51 spotjes kijkt en luistert: “Controleer altijd het webadres voor u iets betaalt“: Hee, is niet het adres dat ik doorgekregen heb! Het klinkt ook lang niet zo internationaal als “utwente”: dat past immers mooi in een rijtje van Amerikaanse universiteiten, zoals “ucla“, of “umass“. Waarom een Nederlands klinkende naam? Zou de UT zich met name op de binnenlandse student en nationaal onderzoek richten? Is internationlisering van ondergeschikt belang bij de UT?

Een beproefde methode om het belang van een web site te bepalen is te kijken wie er naar de site linkt. Is de nieuwe site bekend bij andere sites? Zijn er veel hyperlinks van andere sites naar en, de sites die naar linken, zijn dat belangrijke sites waar veel naar wordt gelinkt? Om het belang van websites mee te nemen in hun zoekmachine Google, stelden Sergey Brin en Larry Page daarom PageRank voor. PageRank is een algoritme dat de hyperlinks tussen webpagina's gebruikt om de pagina's op het world wide web te ordenen van belangrijk naar onbelangrijk. Een belangrijke pagina is altijd maar enkele kliks verwijderd. Een onbelangrijke pagina is vrijwel onbereikbaar via het klikken van hyperlinks. Door PageRank is Google in staat om voor algemene zoekvragen de belangrijkste pagina's terug te vinden. Voor een algemene zoekvraag als “studeren”, of “techniek studeren” vindt Google belangrijke universiteiten, en niet een weblog over techniek studenten van een willekeurige UT student. Omgekeerd geldt dus ook: zonder goede PageRank, daalt jouw pagina in de resultaten van vrijwel elke zoekvraag. Onderstaande tabel laat de PageRank zien van enkele voorbeeldpagina's in oktober 2009.

PageRank Voorbeelden van websites
9 (Massachusetts Institute of Technology) (University of Cambridge)
8 (voorheen Universiteit Twente) (University of California, Los Angeles)
7 (Informatica aan de UT)
6 (Gemeente Enschede) (Twente Solar Team)
5 (Djoerds webpagina) (Atak: Poppodium Enschede)
4 (Nieuwe adres van de UT) (Studenten-dansvereniging UT)
3 (Bassischool het Palet) (Cafe Rocks)

Google PageRank in oktober 2009

Vlak na de verhuizing schatte Google het belang van ongeveer gelijk in met de studenten dansvereniging 4 Happy Feet. Nu, bijna twee maanden verder, is de PageRank van gestegen tot 7, bijna weer op het oude niveau, maar toch nog een punt minder dan had. Bij vrijwel elk internetbedrijf dat ik ken, leidt een punt dalen in PageRank tot de hoogste alarmfase: De directeur wordt om zeven uur 's ochtends uit zijn bed gebeld, en alle ontwikkelaars komen nog diezelfde ochtend op kantoor voor spoedoverleg. Een lagere PageRank betekent minder internetverkeer, minder klanten, en minder omzet. PageRank kan het verschil maken tussen een succesvol internetbedrijf en faillisement.
Gelukkig is de UT geen internetbedrijf.

Wordt vervolgd…