Monthly Archives: December 2020

How to read the result of a double-blind study, for laypersons

Covid-19 Education

Now, with the introduction of vaccines for Covid-19, quite some people want to scrutinize the tests which have been performed for checking safety of those vaccines.
These tests are generally done in the form of a double-blind study.
Here I show you how you can read and interpret the reports of such a test properly.

First, a brief introduction what a double-blind study is:

A double-blind study is a statistical experiment.
You randomly split the set of participants in two (or more) groups. Random splitting is important to avoid any selection bias!
One group gets the treatment that’s to be tested, and the second group gets a placebo, i.e., something that looks like a treatment but does not actually contain the drug or vaccine.

Then you observe certain things for each participant, e.g., whether some symptoms are present.
For each thing, you count how many participants are affected in each group.

This gives you a table like this:

Taken from https://www.nejm.org/doi/suppl/10.1056/NEJMoa2034577/suppl_file/nejmoa2034577_appendix.pdf

This table has three columns.
The first column describes the thing that has been observed.
The second column describes for how many participants of the group which got the treatment this thing occurred, and its percentage in parentheses.
The third column describes for how many participants of the group which got the placebo this thing occurred, and its percentage in parentheses.

If this thing occurs roughly with the same percentage for each group, then this shows that the occurrence of this thing does not depend on the actual treatment. I.e., it has probably happened independently.
If there is a significant difference between the percentages, then this shows an effect of the treatment. (either a desirable effect or an adverse effect. It works both ways)

Now, the terms “roughly” and “significant” are quite fuzzy. And we can do better than that.
There is a mathematical method to determine how significant such a difference actually is. The measure of significance is called “confidence”.
This depends on the difference of the percentages and on the absolute number of such events.
(That’s why we need many participants in a study to have more certainty about the result.)

Luckily, you don’t need to understand the math behind it.
There are software tools which can do the math for you.
And, the math is the same for all kinds of statistical experiments,
such as the statistical experiments done in direct response marketing, e.g., pay per click marketing.
Luckily there is a free tool to do that math for you:
E.g. SplitTester
I show you how to interpret the numbers from the double-blind study using SplitTester:

Let’s for example check the “life-threatening” under “Any event”. This occurred for 21 out of 21621 participants for the vaccine, and for 24 out of 21631 participants for the placebo.
This is about 0.1% on both sides as stated in the report. (or 0.0971% vs 0.1110% when rounded to 4 digits: 21*100/21621 is 0.0971%, …)

Now we enter those numbers into the splittester tool.
In the “Number of Clicks” field, we enter the number of events. For the math it does not matter whether we have “clicks” or any other form of event.

This shows that we cannot be certain which “ad” is the winner. Instead of ads, we test treatments here, but the math is the same.

Even when adding the more precise percentages, it shows the same:

That’s why the percentages in those reports are rounded to only one digit. It is usually not relevant to have more precision when the number of participants is roughly 20000 for each group.
Though in corner cases, using the exact percentage may make a difference. So, in doubt, use the exact percentages.

Now, lets look at another event that shows more difference, e.g., “Any event/Severe”, which has 240 (1.1%) for the treatment and 139 (0.6%) for the placebo:

This results in “There is an approximately 99% chance that the ads will have different long term response rates.”
This means that we can be 99% sure that the treatment causes at least some events of the category “Any event/Severe”.

This does not yet show how often these events are caused by the treatment.
There is more math needed to compute the confidence that this events is caused with a certain probability. We don’t go into that sophistication here.
But you can get a rough gauge if you just subtract the two percentages.
I.e.. 1.1% – 0.6% which is 0.5%.
This means that probably about 0.5% of those getting the treatment will experience an event of type “Any event/Severe” that is actually caused by the treatment.
And there are probably an additional 0.6% of those getting the treatment which will experience the same event, but for them it is not caused by the treatment.

Please note that based on the statistical stuff, it is not possible to tell for which of those people specifically the event was caused by the treatment, and for which is was independent of the treatment. This needs other methods, and it may be difficult or impossible to do so.

I hope this explanation helps you to read and interpret those reports.
If you have any questions, please leave a comment below.
If you spot any errors in my explanation, please leave a comment, too.

Risikovergleich zwischen Impfung und Medikament bei Covid-19

Covid-19 Risk Assessments

Die Risikobewertung von Impfung und Medikament ist sehr stark vom Alter abhängig.
Grundsätzlich gilt, dass eine Impfung viel sicherer sein muss als ein Medikament, weil eine Impfung ja an eine viel größere Menge an Menschen verabreicht wird, d.h. auch an solche, die nie ein Medikament brauchen würden, wenn sie mit Covid-19 infiziert werden.

D.h. wenn zB bei 20-29-jährigen ca 1% der Infizierten das Medikament brauchen, dann muss die Impfung 100-mal so sicher sein wie das Medikament, damit die Impfung dasselbe allgmeine Risiko wie das Medikament darstellt. Oder andersrum: Ein Medikament kann bis 100x häufigere Nebenwirkungen haben als die Impfung, und noch immer sicherer als die Impfung sein.

Da die Rate von Menschen, die ein Medikament benötigen würden, stark altersabhängig ist, ist davon auszugehen, dass oberhalb eines gewissen Alters die Impfung das geringere Risiko darstellt, und unterhalb dieses Alters das Medikament das geringere Risiko darstellt. Bzw wenn man noch weiter nach Vorerkrankungen differenziert, dass ab einer gewissen Wahrscheinlichkeit, einen schweren Covid-19 Verlauf zu haben, die Impfung das geringere Risiko derstellt.

Wo diese Grenze konkret liegt, hängt vom Nebenwirkungsprofil der Impfung und des Medikaments ab, bzw des Bereichs, wo bzgl Nebenwirkungen noch keine Informationen vorhanden sind.

ZB können bei einer Studiengröße von 30000 Menschen nur Nebenwirkungen sicher festgestellt werden, die mit Wahrscheinlichkeit 0,1% oder häufiger innerhalb des Zeitraums der Studie auftreten. Seltenere Nebenwirkungen können nicht festgestellt werden. Und: Alle Nebenwirkungen, deren Beginn eine längere Zeit nach der Anwendung als die Studiendauer auftritt, können gar nicht festgestellt werden, auch solche nicht, die mit sehr hoher Wahrscheinlichkeit dann auftreten (bis zu 100% Wahrscheinlichkeit!).

Aufgrund der vorerst unbekannten längerfristigen Nebenwirkungen sowohl bei Medikament als auch Impfung ist vorerst wohl das Medikament für fast Alle die sicherere Variante. Je länger der Beobachtungszeitraum ist, umso mehr verschiebt sich das zugunsten der Impfung, unter der Annahme, dass die Rate an langfristige Nebenwirkungen der Impfung viel kleiner ist als beim Medikament.

Diese Überlegungen gelten ab Verfügbarkeit eines Medikaments, und wenn die Wirkung des Medikaments ähnlich gut ist, wie die Wirkung der Impfung (95%).
Ein Medikament ist schon ziemlich weit: COR-101.
Eine Studie soll Ende April 2021 abgeschlossen sein.

Hier eine Tabelle, die altersabhängig folgendes angibt:

  • wieviel mal sicherer die Impfung im Vergleich zum Medikament sein muss, um dasselbe Risikoniveau zu haben,
  • und wie viele Teilnehmer die Studie für die Impfung haben muss, um dieses Risikoniveau überhaupt festellen zu können, unter der Annahme, dass das Medikament in einer Studie mit 3000 Teilnehmern getestet wird.
  • Wie hoch das Risiko der unbekannten Langzeitnebenwirkungen maximal sein kann.

Alle Risiken bzgl derselben Gruppe. D.h. auch diejenigen mit eingeschlossen, die nie das Medikament bekommen würden, aber schon geimpft würden. Nur dann kann das Gesamtrisiko verglichen werden.
Hospitalisierungsrate nach https://www.usnews.com/news/health-news/articles/2020-03-30/odds-of-hospitalization-death-with-covid-19-rise-steadily-with-age-study

Maximale Wahrscheinlichkeit unbekannter Langzeitnebenwirkungen
Alter Hospitalisierungsrate = Prozentsatz, derer, die ein Medikament brauchen Wieviel mal sicherer muss die Impfung als das Medikament sein Anzahl Teilnehmer der Studie für die Impfung, damit dieselben Risiken wie für das Medikament festgestellt werden können, wenn das Medikament an 3000 Teilnehmern erprobt wird Impfung Medikament
0-10 0,00000% nahezu unendlich nahezu unendlich 100,00% 0,00000%
10-19 0,10000% 1000,0 3000000 100,00% 0,10000%
20-29 1,00000% 100,0 300000 100,00% 1,00000%
30-39 3,40000% 29,4 88235 100,00% 3,40000%
40-49 4,30000% 23,3 69767 100,00% 4,30000%
50-59 8,20000% 12,2 36585 100,00% 8,20000%
60-69 11,80000% 8,5 25424 100,00% 11,80000%
70-69 16,60000% 6,0 18072 100,00% 16,60000%
80- 18,40000% 5,4 16304 100,00% 18,40000%
Quelle für Infection Hospitalization rate: https://www.usnews.com/news/health-news/articles/2020-03-30/odds-of-hospitalization-death-with-covid-19-rise-steadily-with-age-study

Proposal for an International Interdisciplinary Taskforce for Ending the Pandemic

Covid-19 Taskforce

General

We believe that current methods for managing and ending the pandemic such as lockdowns and vaccines are suboptimal or even dangerous. (see FAQ)
We believe that this situation emerged due to lack of interdisciplinary work.
We try to fix this by using very broad interdisciplinary approach that strives to provide better alternatives that are effective for managing the pandemic, saving lives, and ultimately ending the pandemic.

We are not just against current methods, we provide alternatives.
We do not want to waste our time and energy with conspiracy theories.
If there are in fact conspiracies, they will reveal itself or silently stop when better alternatives are proposed.

How this taskforce is organized:

This taskforce is a non-profit, volunteer-based organization.

This taskforce is a “demilitarized zone”, i.e., we do not engage in polarization and ad-hominem attacks.
We accept professionals from both polarization poles and especially from the silent majority in the middle.
This taskforce is based on science, i.e., evidence based.
Where scientific evidence is missing, we will investigate the situation to find out what really applies, based on evidence and scientific work.

This is a scientific organization and not a political one.
Political activists and activism are NOT welcome and will not be tolerated.

The taskforce should be fast-paced but without compromising scrutiny.
I.e. it should have as little bureaucratic and organizational hurdles, and provide efficient collaboration.

The taskforce is organized in workgroups that tackle specific topics and provide reports with the current result.
Reports are open for public peer review and can be adapted based on that.

Results should be presented in text form, and not in video format because text is more efficient to consume, and therefore will not hog as much resources as video.

Workgroups

Workgroups have a defined set of members in order to avoid information overload.
As far as possible, the discussions of workgroups will be made in public, but only members of a group can participate in the discussion in order to prevent information overload.
If professionals in some relevant discipline think that they have something important to contribute, they can apply for membership of a workgroup, even after the workgroup has started working.
We need to define an application process that does not overwhelm the current members of a workgroup.
We also need to define a process for submitting comments to a workgroup that prevents information overload, i.e., that only lets important comments be passed to the workgroup.

New workgroups can be created at any time.
We will define a process for creating new workgroups.
There will a list of workgroups on the website.

Some examples of workgroups

  • One workgroup will identify technological solutions for reducing indoor transmission, and define technical specifications that such solution have to meet to be considered effective.
    This should have members from at least the following disciplines:
    Virology/Epidemiology/Infectiology, ventilation engineering, physics, chemistry.
  • One workgroup will define improved methods for measuring the current state of the pandemic in countries.
    This involves statistical methods and testing methods.
    Current methods are suboptimal because they are not statistically sound, and because the correlation between a positive PCR-test and being actually infectious gets weaker with higher Ct-values.
    And because some PCR-testing uses primers that do not differentiate between Sars-Cov-2 and other viruses.
    Improved methods will provide us with better quality of data, and therefore allows for more effective decision making.
    This should have members from at least the following disciplines:
    Statistics, Virology/Epidemiology/Infectiology, experts in PCR-tests and other test methods, medical doctors, especially in disciplines like ENT, pulmology, computer scientists, …
  • workgroup identifying other new and existing methods for reducing the spread, i.e., reducing the R-factor
    Then create new workgroups for each of the identified methods, with the aim at working out the details
  • workgroup aiming at analyzing and improving contact tracing methods
  • workgroup identifying prophylactic measures for reducing the susceptibility for a serious form of Covid-19 or death.
    There are some ideas floating around, such as Vitamin-D supplementation.
    We need to gather all relevant ideas, find existing scientific literature about them and/or then check them scientifically.
  • workgroup about treatment methods and medication.
  • workgroup scrutinizing current vaccines, and for finding out whether those vaccines could be useful in limited applications, e.g., for very high-risk groups.

Collaboration Tools:

We need to use collaboration tools that are reliable.

This especially means that they should not be controlled by a single 3rdparty who can take them down or censor at any time.
And everybody has to be able to download a full backup and store it on their device locally, just in case that there is a loss of data.
Or a method that provides ongoing local storage.
We also need to have a way to search all past discussions, so tools that discard old messages are not acceptable.
We may need some compromises at the start, but that’s where we should head pretty quickly.

The central hub for the task force will be the website.

Reports and other documents will be written in Open-Document-Text format because this format seems to be most accessible to everyone, which is important for interdisciplinary work.
The format also supports mathematical formulas: Libreoffice contains a formula editor. (Menu: Insert->Object->Formula in LibreOffice)
It is supported by OpenOffice, LibreOffice, and to some extent also by newer versions of Microsoft Word.
We encourage to use LibreOffice.
All reports will also be published in PDF format.
We will provide a template for writing a report, and instructions for using the formula editor in LibreOffice, and for installing LibreOffice.

FAQ:

Q: Why do you look for alternatives to lockdowns?

A: Lockdowns, while somehow effective short-term, cause huge collateral damage, as is well-known in the meantime.
Therefore they are not a sustainable method for controlling and ending the pandemic.

Q: What is your problem with vaccines?

A: Vaccines are the wrong method to end the pandemic, primarily because of safety considerations:
Vaccines need long-term studies for recognizing long-term effects. Long-term means 5 years or more.
These studies are obviously not possible in the time-frame that’s desirable for ending the pandemic.
Without long-term studies we cannot know whether long term adverse side-effects will occur, how frequently they occur, and which side-effect will occur.

Worst-case, without long-term studies, almost everybody who gets the vaccine will have severe long-term side-effects that render them incapable to work, and possible needing around the clock medical care.
If a large part of the population will have already been vaccinated before such side-effects will be discovered, then this will obviously have devastating consequences, such as a complete break down of the economy, government, infrastructure and food production and supply. And there won’t be anybody who can provide care for those suffering the severe side-effects, i.e., they will all die.

The topic of long-term side effects is especially critical because many auto-immune diseases have a slow onset, i.e., they only start to show clinical symptoms after many years.
Since vaccines mess with the immune system, triggering auto-immune diseases is an important potential side-effect to look at.

On top of that there are other concerns about efficacy, e.g, Vaccines aim at generating antibodies.
But antibodies are not efficient to combat respiratory tract infections above a certain viral load because then, viruses will outnumber antibodies.
Respiratory tract infections can have a high viral load.
T-cell immunity is much more effective to deal with high viral loads because a T-cell can continue doing its work after killing a virus-producing cell.
Whereas an antibody is locked to a virus permanently and can therefore not be reused.
No vaccine aims at inducing T-cell immunity.

There are more concerns.

Open Questions:

  • How should this organization be called?
    its full name and its acronym.
    Domainname probably under .org and using the acronym.
  • Ideas, comments for how this should be organized.
  • Logo, Branding etc
  • Anybody interested to volunteer and help me build and run that organization?

Impfungen sind eine riskante Methode, eine Pandemie zu beenden

Covid-19 Vaccines

Ich denke, dass Impfungen eine riskante Methode sind, eine Pandemie zu beenden.
Der Grund ist, dass für Impfungen Langzeitstudien nötig sind, um auch Nebenwirkungen zu entdecken, die erst später Symptome machen (zB viele Autoimmunerkrankungen entwicklen nur langsam und mit Verzögerung Symptome. Und fallen daher bei Kurzzeitstudien nicht auf.)
Schlimmstenfalls treten diese Langzeitschäden sehr häufig auf.
Da Impfungen ja einem guten Teil der Bevölkerung gegeben werden, könnte das katastrophale Auswirkungen haben.

Stattdessen wären Medikamente sinnvoller, um denjenigen zu helfen, die es schlimm erwischt. Bei Medikamenten ist die Risikoabwägung anders, daher kann man vorerst auf Langzeitstudien verzichten, wenn das Medikament nur für schwere Fälle zugelassen wird.
Es gibt zB so ein Medikament in Entwicklung: https://www.ndr.de/nachrichten/niedersachsen/braunschweig_harz_goettingen/Corona-Medikament-aus-Braunschweig-weckt-Hoffnung,medikament150.html

Und dazu begleitend: Immunsystem stärken (gesunder Lebensstil, Vitamin D, …), moderate Hygienemassnahmen ohne Kollateralschäden (zB gute Lüftungstechnik in Geschäften, Schulen, Altersheimen), …

Impfungen können langfristig, nach Abschluss der Langzeitstudien als Vorbeugung dienen, dass die Krankheit nicht wieder aufflammt.
Und: Eventuell könnte es Sinn machen, Impfungen vorerst nur für Hochrisikogruppen zuzulassen. Da könnte man aufgrund der Risikoabwägung vorerst auf Langzeitstudien verzichten.

Indoor air disinfection with UV light and with quick air turnaround

Covid-19 Technology

This is one of many alternatives to lockdowns and vaccines that reduces virus transmission:
See this draft design.

How much will this reduce virus transmission?
Can we keep shops and restaurants open that use such a device even during a lockdown?
Would this make sense in elderly homes, too?
E.g. in the dining hall?
In schools?

Feel free to let yourself be inspired by this draft to design, to manufacture and to sell a device if you have a business that is capable to do so.
The draft drawing is under Creative Commons Attribution-ShareAlike 4.0 International License.

Vertical cross-section of an Air disinfection device to reduce indoor virus transmission

Zusätzliche Ideen zur Beendingung der Covid-19 Pandemie

Covid-19

Idee 1: Ansteckungsgefahr in Innenräumen durch Lüftungstechnik minimieren ( Frischluft-Lüftungsanlage mit Wärmetauscher, Umluft-Anlage mit UV-Licht-Desinfektion innerhalb der Anlage )

  • Arbeitsgruppe aus Virologen, Lüftungstechnikern, Phsyiker, Chemikern soll technische Anforderungen definieren.
  • Kosten mit Lockdown vergleichen.
  • Volkswirtschaftliche Auswirkungen ansehen im Vergleich zu Lockdown.
  • Evaluieren, was die Regierung tun kann, das zu unterstützen: zB mit so einer Anlage darf auch während eines Lockdowns geöffnet werden, Förderungen (Direktförderung, Kreditgarantien)

Es ist kürzlich schon etwas ähnliches umgesetzt worden: Frischluft-Lüftungsanlage mit Wärmetauscher kombiniert mit Umluft mit Hepa-filter.
Ich gratuliere dazu!

Idee 2: Prophylaxe gegen schwere Verläufe durch allgemeine Stärkung des Immunsystems ( Vitamin-D Gabe im Winter, gesunde Ernährung, ausreichend Schlaf, Rauchen aufhören, gesunder Lebensstil, … )
Das könnte beitragen, die Hospitalisationsraten und Todesraten zu senken.
Ist natürlich kein Allheilmittel, aber wohl eine sinnvolle Massnahme im Massnahmenmix.
Ausgewählte Massnahmen (wie Vitamin-D Gabe) in Studien untersuchen.

Idee 3: Wirkung von Gamma-Linolensäure Supplementation bei Covid-19 Erkrankten untersuchen, bzw Wirkung als Prophylaxe.
Gedanke dahinter: Es gibt ein Paper, das zeigt, dass der Virus die Linolsäure bindet.
Durch den lokalen Mangel an Linolsäure kann der Körper weniger Gamma-Linolensäure bilden.
Gamma-Linolensäure ist aber relevant für die Synthese von Stoffen, die für das Immunsystem wichtig sind, zB Arachidonsäure. Siehe auch den englischsprachigen Wikipedia Artikel zur Linolsäure.

Idee 4: Aussagekräftigere statistische Kennzahlen unter Einbeziehung des Ct-Werts der RT-PCR-tests.
Dadurch bessere Entscheidungsgrundlage für zielgerichtete Massnahmen. Das kann sowohl helfen, direkte Schäden durch Covid-19 als auch Kollateralschäden der Massnahmen zu reduzieren.

Idee 5: Regelmässiges Durchführen einer Prävalenzstudie mit zufällig ausgewählter repräsentativer Stichprobe. (Wie sie Österreich ein paar mal durchgeführt wurden.)
Dadurch kann ebenfalls ein bessere Entscheidungsgrundlage für zielgerichtete Massnahmen erzielt werden.

Idee 6: Verwendung von mehreren Primers in den PCR-Tests um die Falsch-Positiv-Rate zu reduzieren, und das standardisieren. Das ergibt Zahlen mit höherer Qualität, wodurch Trends früher erkannt werden. Damit kann man Massnahmen zielgerichteter und frühzeitig setzen.

Möglichkeit 7:
Medikamente, die bei einer akuten Covid-19 Infektion helfen, den Verlauf milder zu gestalten und die Heilung zu beschleunigen.
Gegenüber Impfungen haben Medikamente den Vorteil, dass sie nur im Akutfall eingesetzt werden müssen, und in Summe für viel weniger Menschen.
Dadurch ist die Risikoabwägung für Medikamente grundsätzlich vorteilhaft im Vergleich zu Impfungen, denn hier wird dem Risiko des Medikaments eine bereits schwere akute Infektion gegenübergestellt, die ja auch mit erheblichen Risiken verbunden ist. D.h. durch das Medikament werden Risiken reduziert.

(Das gilt insbesondere auch bzgl des Themas der unbekannten Langzeitnebenwirkungen, das ja beim Impfungen einer großen Anzahl von Menschen sehr relevant ist.
Jedoch bei einem Medikament aufgrund der anderen Risikoabwägung und der viel geringeren Anzahl von Menschen, die es bekommen, nicht so relevant ist.)

Beispiele für Medikamente in Entwicklung