July 14, 2022

(This post is published in English and Spanish. Leer en español.)

Ten years ago, the concept of real-time fact-checking may have been a pipe dream. The process takes time and effort, from identifying claims from hours of broadcasts, cross-referencing them with available data and interviewing experts to establish facts.

But very soon, live fact checks may flash in chyrons under the faces of politicians and pundits debating on TV, all carried out with minimal human input.

The United Kingdom-based fact-checking organization, Full Fact, has been implementing forms of automated fact-checking since 2013. The outlet currently uses an alpha version of three automated tools that work in tandem to detect and categorize claims real time, cross reference them with existing fact checks and even display relevant figures for statistical claims to aid fact-checkers in rapidly assessing their veracity. While the tool is mostly internal for now, Full Fact is collaborating with other fact-checking organizations to expand its use across languages, regions and cultures.

“Our intention is to really take these tools to as many users as possible, and especially take them to language users who have historically been underserved in automated fact-checking because of the difficulties that are associated with multilingual tools,” said Kate Wilkinson, senior product manager at Full Fact.

The first tool deals with claim detection. Users select a channel, whether it’s BBC News or a number of others, and can watch a live transcription of whatever’s being broadcasted. As soon as a sentence appears which contains a claim — verifiable or not —  the tool recognizes and labels it as belonging to one or multiple categories: quantity, support, rules, correlation, personal (someone doing or believing something), predictions and voting.

“The problem we’re trying to solve is that we want to make it as easy as possible for fact-checkers to identify the most important things to fact check on any given day,” Wilkinson said.

The second tool addresses the problem of how to increase the reach of existing fact checks. This tool cross-references claims identified from the claim detection tool with existing fact checks done by Full Fact. Here’s an example from last week of the tool in action; it instantly alerted fact-checkers when U.K. Prime Minister Boris Johnson repeated a false claim.

“Anyone who is involved in fact-checking knows that a fact check can take 15 minutes or it could take two weeks depending on how easy it is to find the data that you need,” Wilkinson said. “But once all of that effort and work has been invested, the outcome is one fact check. And unfortunately, just publishing one fact check seldom ever kills a false statement.”

Wilkinson compared false statements in information ecosystems to weeds in a garden.

“If you go out into your garden and you’re doing some gardening and you pull out the big weed, that’s not going to stop weeds growing in your garden,” she said. “The moment the next weed pops up, you need to pull it out and pull it out and pull it out until slowly over time the weed no longer comes back.”

The third tool, stats-checker, enables fact-checkers to rapidly cross reference live claims about statistics with official available statistics. For now, this tool is limited to statistics surrounding inflation and unemployment.

“We know there are certain topics of debate, specifically around statistics, where we could dramatically reduce the amount of time it takes to verify a statistical claim,” Wilkinson said. “If you used our tool to monitor statements during a live address, it would identify and show you all the statements that could be factored, it would tell you if any of those statements have been fact-checked before and have been found to be false. And if there was a statistical claim on unemployment or inflation, it would tell you if that claim was correct or incorrect.”

In recent years, with financial backing from Google.org, Full Fact has investigated how artificial intelligence could help tackle false information and made a concerted effort to scale its tools for multilingual, global use.

“A lot of the tools that have been built have been built with one context, social setting, environment or culture in mind,” Wilkinson said. “But what we’re trying to achieve in this project is to serve a global audience.”

Wilkinson said the tools will soon be available to fact-checking organizations around the world and are currently under trial with the office of statistical regulation in the U.K. (It’s using the tool to be alerted when official statistics are being misused.)

The fact-checking outlets Chequeado, in Argentina, and Africa Check, headquartered in South Africa, are implementing versions of the same technology.


¿El futuro de la verificación de hechos será automatizado?

Verificadores de hechos en Londres han desarrollado una herramienta de verificación para comprobar falsedades con el objetivo de implementación global.

Hace diez años, la idea de verificar hechos en tiempo real parecía un sueño imposible. El proceso toma tiempo y esfuerzo, incluyendo la identificación de afirmaciones viendo horas de televisión, la búsqueda de data disponible, y entrevistas con expertos para establecer los hechos.

Pero muy pronto, la verificación de hechos instantánea podría aparecer en imágenes bajo las caras de políticos y periodistas, prácticamente de forma automática.

La organización de Reino Unido, Full Fact, ha estado usando formas de verificación de hechos automáticas desde 2013. La publicación implementa una versión “alfa” de tres herramientas automáticas que funcionan juntas para detectar y clasificar afirmaciones en tiempo real. Estas se comparan con hechos de verificaciones ya existentes y muestran las cifras relevantes por cada afirmación de datos para ayudar a los verificadores de hechos a evaluar su veracidad rápidamente. Por ahora, la herramienta es principalmente interna, Full Fact está trabajando con otras organizaciones para expandir esta herramienta, traducirla a otras lenguas, así como llegar a otras regiones y culturas.

“Nuestro motivo es traer estas herramientas a tantos usuarios como sea posible, especialmente traerlas a usuarios de lenguas que han estado desatendidas históricamente en verificación de hechos de forma automática por las dificultades que están asociado con herramientas plurilingües”, dijo Kate Wilkinson, gerente sénior de productos con Full Fact.

La primera herramienta se trata de la detección de afirmaciones. Usuarios eligen un canal, BBC, por ejemplo, y pueden ver una transcripción en tiempo real de lo que se está transmitiendo. Tan pronto como una frase que contiene una afirmación aparece — verificable o no — la herramienta la reconoce y clasifica como perteneciente a una o más categorías: cantidad, apoyo, reglas, correlación, personal, votación y predicción.

“El problema que estamos tratando resolver es que queremos facilitar el proceso de los verificadores de hechos para identificar las cosas más importantes que se deben verificar cada día”, dijo Wilkinson.

La segunda herramienta aborda la pregunta de “¿Cómo podemos aumentar el alcance de verificaciones de hechos ya existentes?” Esta herramienta compara afirmaciones identificadas con la primera herramienta mencionada anteriormente de Full Fact. Aquí está un ejemplo de la herramienta en acción, utilizada hace una semana; la verificadora advirtió instantáneamente cuando el primer ministro Boris Johnson repitió una afirmación falsa.

“Cualquier persona que esté involucrada en verificación de hechos sabe que una comprobación puede tomar 15 minutos o puede tomar dos semanas dependiendo de qué tan fácil se encuentren los datos que necesitas”, dijo Wilkinson. “Pero una vez que todo el esfuerzo se ha invertido, el efecto es sólo una comprobación de hecho. Y desafortunadamente, solo una es insuficiente para matar el rumor”.

Wilkinson comparó frases falsas en ecosistemas de información sobre hierbas dañinas para jardines.

“Si vas a tu jardín y sacas las malas hierbas dañinas, no es suficiente parar el crecimiento de hierbas dañinas”, dijo Wilkinson. “Necesitas seguir sacar y sacar y sacar hasta, que lentamente con el tiempo, no hay más”.

La tercera herramienta, stats-checker, permite a los comprobadores de hechos comparar las afirmaciones sobre datos con datos oficiales en tiempo real. Ahora, esta herramienta está limitada a datos sobre inflación y desempleo.

“Sabemos que hay temas de discusión, especialmente sobre datos, que podríamos reducir la cantidad de tiempo si se verificar una afirmación estadística”, dijo Wilkinson. “Si usaste nuestra herramienta para leer declaraciones durante un discurso de un político en tiempo real, la herramienta te mostrará todas las declaraciones en el discurso, y te avisará si cualquiera de las anteriores ya fue verificada y determinada como falsa. Y si hubiera una afirmación estadística sobre desempleo o inflación, te informaría si fuera correcto o incorrecto”.

Recientemente, con apoyo de Google.org, Full Fact ha investigado cómo la inteligencia artificial podría ayudar a combatir la propagación de falsedades y ha hecho un esfuerzo por aumentar y adaptar su herramienta para uso mundial y plurilingüe.

“Muchas de las herramientas que se han construido para su contexto social, cultural o ambiental”, dijo Wilkinson. “Pero estamos tratando lograr la meta de servir al público mundial”.

Wilkinson dijo que las herramientas estarán disponibles pronto por organizaciones de comprobación de hechos alrededor del mundo y actualmente están siendo probadas por la oficina de regulación de datos en el Reino Unido. (Se usa la herramienta para alertar cuando los datos estadísticos están siendo mal utilizados.)

Las publicaciones de comprobación de hechos Chequeado, en Argentina, y Africa Check, con sede en Sudáfrica, están implementando versiones de la misma tecnología.

Support high-integrity, independent journalism that serves democracy. Make a gift to Poynter today. The Poynter Institute is a nonpartisan, nonprofit organization, and your gift helps us make good journalism better.
Donate
Seth Smalley is a reporter at Poynter and the IFCN. Get in touch at seth@poynter.org or on Twitter @sethsalex.
Seth Smalley

More News

Back to News