Ein automatisiertes Framework zur Bewertung von Deep-Learning-Modellen für Spleißstellenvorhersagen

Jun 07, 2023

Scientific Reports Band 13, Artikelnummer: 10221 (2023) Diesen Artikel zitieren

1085 Zugriffe

2 Altmetrisch

Details zu den Metriken

Es wird ein neuartiges Framework für die automatisierte Bewertung verschiedener Deep-Learning-basierter Spleißstellendetektoren vorgestellt. Das Framework eliminiert zeitaufwändige Entwicklungs- und Experimentieraktivitäten für verschiedene Codebasen, Architekturen und Konfigurationen, um die besten Modelle für einen bestimmten RNA-Spleißstellen-Datensatz zu erhalten. RNA-Spleißen ist ein zellulärer Prozess, bei dem Prä-mRNAs zu reifen mRNAs verarbeitet und zur Herstellung mehrerer mRNA-Transkripte aus einer einzelnen Gensequenz verwendet werden. Seit der Weiterentwicklung der Sequenzierungstechnologien wurden viele Varianten der Spleißstelle identifiziert und mit den Krankheiten in Verbindung gebracht. Daher ist die Vorhersage der RNA-Spleißstelle für die Gensuche, die Annotation des Genoms, krankheitsverursachende Varianten und die Identifizierung potenzieller Biomarker von entscheidender Bedeutung. In jüngster Zeit haben Deep-Learning-Modelle bei der Klassifizierung genomischer Signale eine äußerst genaue Leistung erbracht. Convolutional Neural Network (CNN), Long Short-Term Memory (LSTM) und seine bidirektionale Version (BLSTM), Gated Recurrent Unit (GRU) und seine bidirektionale Version (BGRU) sind vielversprechende Modelle. Bei der Analyse genomischer Daten hilft die Lokalitätsfunktion von CNN dabei, festzustellen, wo jedes Nukleotid mit anderen Basen in seiner Nähe korreliert. Im Gegensatz dazu kann BLSTM bidirektional trainiert werden, sodass sequentielle Daten in Vorwärts- und Rückwärtsrichtung verarbeitet werden können. Daher können 1-D-kodierte Genomdaten effektiv verarbeitet werden. Obwohl beide Methoden in der Literatur verwendet wurden, fehlte ein Leistungsvergleich. Um ausgewählte Modelle unter ähnlichen Bedingungen vergleichen zu können, haben wir einen Entwurf für eine Reihe von Netzwerken mit fünf verschiedenen Ebenen erstellt. Als Fallstudie verglichen wir die Lernfähigkeiten von CNN- und BLSTM-Modellen als Bausteine ​​für die Vorhersage von RNA-Spleißstellen in zwei verschiedenen Datensätzen. Insgesamt erzielte CNN eine bessere Leistung mit \(92\%\) Genauigkeit (\(6\%\) Verbesserung), \(89\%\) F1-Score (\(8\%\) Verbesserung) und \(96\%\) %\) AUC-PR (\(4\%\) Verbesserung) bei der Vorhersage menschlicher Spleißstellen. Ebenso eine überragende Leistung mit \(96\%\) Genauigkeit (\(11\%\) Verbesserung), \(94\%\) F1-Punktzahl (\(16\%\) Verbesserung) und \(99\%\) %\) AUC-PR (\(7\%\) Verbesserung) wird bei der Vorhersage der C. elegans-Spleißstelle erreicht. Insgesamt zeigten unsere Ergebnisse, dass CNN schneller lernt als BLSTM und BGRU. Darüber hinaus ist CNN bei der Extraktion von Sequenzmustern besser als BLSTM und BGRU. Unseres Wissens nach wurde kein anderes Framework explizit für die Bewertung von Spleißerkennungsmodellen entwickelt, um automatisiert das bestmögliche Modell zu bestimmen. Das vorgeschlagene Framework und der Entwurf würden also bei der Auswahl verschiedener Deep-Learning-Modelle wie CNN vs. BLSTM und BGRU für die Spleißstellenanalyse oder ähnliche Klassifizierungsaufgaben und bei unterschiedlichen Problemen helfen.

Die Bemühungen zur Annotation des menschlichen Genoms profitieren von den jüngsten Fortschritten bei der RNA-Sequenzierung und Transkriptomikstudien, während die Erkennung von Spleißstellen zu einer wichtigen Forschungsfrage geworden ist. Es gibt jedoch keine Richtlinie zur Auswahl des besten Modells für diese Aufgabe. Hier präsentieren wir ein neuartiges Framework für die automatisierte Bewertung verschiedener Deep-Learning-basierter Spleißstellendetektoren. Das Framework eliminiert zeitaufwändige Entwicklung, indem es automatisierte Experimente für verschiedene Modelle, Architekturen und Konfigurationen bereitstellt, um das beste Modell für einen bestimmten RNA-Spleißstellen-Datensatz zu erhalten. Die Identifizierung des genauen Standorts ist eine entscheidende Herausforderung bei der Annotation des menschlichen Genoms. Daher ist die Bestimmung der Exon-Intron-Grenzen der Gene für die Identifizierung einer Genstruktur von entscheidender Bedeutung. Spleißstellen bestimmen die Exon-Intron- und Intron-Exon-Grenzen, die das RNA-Spleißen regulieren, einen posttranslationalen Modifikationsprozess, der Prä-mRNA-Moleküle in reife mRNAs umwandelt.

Alternativ können auch alternative mRNAs aus derselben Gensequenz durch den als alternatives Spleißen bekannten Prozess gewonnen werden. Daher ist die korrekte Erkennung der Spleißstelle für die ordnungsgemäße Bildung der Proteinstruktur von entscheidender Bedeutung. Spleißstellen bestehen typischerweise aus vier konservierten Nukleotiden: der Donorsequenz GT (GU für Prä-mRNA) am 5′-Ende (an den Exon-Intron-Grenzen) und der Akzeptorsequenz AG am 3′-Ende (an den Intron-Exon-Grenzen). ) wie in Abb. 11. Die Spleißstellen, die GT-AG-Sequenzen enthalten, werden kanonische Spleißstellen genannt. Ebenso enthalten Spleißstellen keine GT-AG-Dimere, die als nicht-kanonische Spleißstellen bezeichnet werden.

Spleißstellen sind vier konservierte Nukleotide: die Donorsequenz GU am 5‘-Ende und die Akzeptorsequenz AG am 3‘-Ende eines Introns. Nach dem Spleißvorgang wird Prä-mRNA in reife mRNA umgewandelt.

Mutationen in Spleißregionen werden mit einer Vielzahl von Krankheiten in Verbindung gebracht. Bei den meisten dieser Mutationen handelt es sich um Einzelnukleotidsubstitutionen, deren Konsequenzen vom vollständigen Exon-Skipping zu einer nahegelegenen Pseudo-3′- oder 5′-Spleißstelle bis hin zur Erhaltung des mutierten Introns reichen. Darüber hinaus können Mutationen neue Spleißstellen innerhalb eines Exons oder Introns einführen. Frasier-Syndrom, myotone Dystrophie, Retinitis pigmentosa und spinale Muskelatrophie sind nur einige der vielen Krankheiten, die durch Mutationen an der Spleißstelle verursacht werden2,3,4. Es wurden mehrere sequenzierungsbasierte Methoden zur Identifizierung von Spleißstellen entwickelt5,6. Allerdings ist die Durchführung von Nasslaborstudien zur Klassifizierung möglicher Spleißstellenvarianten für klinische Anwendungen nicht immer machbar, daher sind schnelle und genaue In-silico-Vorhersagen der Spleißstellen erforderlich. Für die Spleißstellenvorhersage wurden viele Tools entwickelt, es gibt jedoch immer noch kein Goldstandard-Tool für den klinischen Einsatz, um die Auswirkung von Spleißstellenvarianten vorherzusagen. Daher müssen in der Literatur die Methoden verglichen werden.

Viele Spleißstellen-Annotations- und Vorhersagetools kommentieren und prognostizieren Spleißstellen. Viele Tools wurden mit unterschiedlichen Strategien entwickelt, wie zum Beispiel Fruit Fly Splice Predictor, Human Splicing Finder, RegRNA (A Regulatory RNA Motifs and Elements Finder), ESEfinder (Exonic Splicing Enhancers Finder), GeneSplicer und SpliceMachine. GeneSplicer verwendet den Entscheidungsbaum-Algorithmus mit Markov-Modellen, um Signale rund um die Spleißstellen zu trainieren7. SpliceMachine nutzt Support Vector Machines (SVMs), um dieses Problem zu lösen8. Es gibt auch andere Studien, die auf SVMs, künstlichen neuronalen Netzen (ANN) und Random Forest (RF)-Algorithmen zur Identifizierung und Vorhersage von Spleißstellen basieren9,10,11. Darüber hinaus werden Bayes'sche Netzwerke12 und MED-Modelle (Maximum Entropy Distribution)13 auf das Problem der Spleißstellenvorhersage angewendet. Zusätzlich zu diesen Ansätzen wurden auch auf Deep Learning basierende Algorithmen auf die Genomanalyse angewendet.

Bei Deep-Learning-Algorithmen handelt es sich im Allgemeinen um Lernalgorithmen mit einer Ensemble-Architektur, die Daten vor Klassifizierungs-/Regressionsschritten in verschiedene Darstellungen umwandelt. Basierend auf einem zentralen theoretischen Rahmen werden verschiedene Deep-Learning-Algorithmen entwickelt, die in den letzten Jahren komplexe Herausforderungen bei der Mustererkennung effektiv bewältigt haben. Ein tiefes neuronales Netzwerk besteht aus mehreren Schichten von Perzeptronen. Ein vollständig verbundener (dichter) Netzwerkeingang eines Neurons in einer Schicht ist eine lineare Kombination der Neuronenausgänge der vorherigen Schichten. Ein Netzwerk, das Faltungsoperationen zum Aufbau von Schichten verwendet, ist als Convolutional Neural Network (CNN)14 bekannt. CNN ist von Vorteil, wenn die Daten eine gewisse vererbte lokale Korrelation aufweisen. Tiefe neuronale Netze wie die Recurrent Neural Networks (RNNs) können für die Verarbeitung langer sequentieller Datenformate angepasst werden, bei denen Daten mit den vorherigen Informationen verknüpft sind und die Neuronen einen Zyklus bilden. Die Ausgabe einer Schicht bildet eine Eingabe der nächsten Schicht, wodurch der Algorithmus über einen theoretisch unendlichen Speicher der Datensequenz verfügt15. Infolgedessen können RNNs die sequentiellen Daten als Eingabe verwenden und sequentielle Daten als Ausgabe generieren. RNNs bieten einen Prozess mit einem größeren Spektrum an Kontextinformationen. Es gibt jedoch einige Einschränkungen von RNNs, wie z. B. die Anforderung vorsegmentierter Trainingsdaten und verschwindende Gradientenprobleme16,17. Long Short-Term Memory (LSTM) hat diese Probleme erfolgreich überwunden, indem es den konstanten, ungehinderten Fluss von Fehlerinformationen zwischen dem Eingang und Ausgang jeder Zelle ermöglicht18. Bidirektionale LSTM (BLSTM)-basierte RNNs verwenden Vorwärts- und Rückwärtsschichten, die den Zugriff auf einen Kontext mit größerem Bereich in beide Richtungen ermöglichen19,20.

In DNA/RNA-Sequenzen besteht eine lokale positive Korrelation, und die Sequenz ähnelt einem eindimensionalen Bild. Faltungsschichten eignen sich perfekt zum Extrahieren von Informationen in solchen Szenarien. Außerdem steht die Stärke der Basenbeziehung in der Genomsequenz im umgekehrten Verhältnis zu ihren Abständen, was die Verwendung von CNNs rationalisiert21. Im Vergleich dazu sind LSTMs gültige Netzwerkstrukturen zur Verarbeitung sequentieller Daten wie Text und Zeitreihen. BLSTM nutzt also die sequentielle Natur der Genomdaten. Da die DNA/RNA-Sequenz aus beiden Richtungen interpretiert werden kann und zwischen ihnen kein Unterschied besteht, werden BLSTMs als richtungsinvariantes Modell verwendet.

Mehrere Studien verwendeten CNN und RNN, um die genetischen Datenmuster in der neueren Literatur zu analysieren. Jaganathan et al. haben ResNet22-ähnliche Strukturen namens SpliceAI verwendet, um Genomsequenzen mit einer Länge von bis zu 10.000 Nukleotidbasen zu analysieren23. Mithilfe von GENCODE24-Daten für Training und Validierung haben sie eine Top-K-Genauigkeit von 95 % erreicht. Zhang et al. haben einfache CNNs namens DeepSplice verwendet, um die GENCODE24-Daten zur Erkennung von Spleißvarianten mit einer Genauigkeit von 96,1 % zu analysieren25. Ein weiterer einfacher CNN-Ansatz, vorgeschlagen von Zuallaert et al. (SpliceRover) hat auch bei verschiedenen Datensätzen früherer Forschungen eine Genauigkeit von bis zu 96 % erreicht26. Wang et al. haben auch eine CNN-basierte Methode (SpliceFinder) zur Vorhersage von Spleißstellen unter Verwendung der Daten des Ensembl-Genomdatenbankprojekts2728 verwendet. Splice2Deep ist ein weiterer CNN-basierter Ansatz, der die Ensembl-Genomdatenbank29 nutzt. Als Beispiel für bidirektionale RNN-basierte Ansätze haben Sarkar et al. haben verschiedene RNN-basierte Netzwerke wie Vanilla RNN, LSTM und Gated Recurrent Unit (GRU)-Strukturen verwendet, um die Genbank-Daten von NCBI zu analysieren30 und eine Genauigkeit von 99,95 % erreicht31. Dutta et al. haben einen RNN-basierten Ansatz, insbesondere BLSTM, verwendet, um Spleißverbindungen in einem aus GENCODE-Annotationen generierten Datensatz vorherzusagen32. Sowohl CNN- als auch BLSTM-basierte Netzwerke können erfolgreich zur Analyse genomischer Daten eingesetzt werden33. Forscher haben auch eine Kombination aus CNNs und bidirektionalen RNNs (im Folgenden als „Hybridmethoden“ bezeichnet) ausprobiert. Beispielsweise haben Alam et al. einen Hybridansatz ausprobiert, indem sie CNNs und BLSTMs kombinierten34. Sie gaben an, dass ihre höchste Genauigkeit im HS3D-Datensatz 98,8 % betrug35 Außerdem hat sich gezeigt, dass die CNN- und BLSTM-Hybridmethode CNN im HS3D-Datensatz übertrifft36.

Verschiedene Ansätze mit scheinbar unterschiedlichen Architekturen, wie in Tabelle 2 zusammengefasst, liefern signifikante und hochpräzise Klassifizierungsergebnisse für die verschiedenen Datensätze für die Vorhersage von Spleißstellen. Insgesamt zeigen diese Ergebnisse, dass es möglich ist, Spleißstellen mithilfe eines tiefen neuronalen Netzwerks erfolgreich zu klassifizieren. Die Verallgemeinerung dieser Leistungsergebnisse auf alle Modelle ist jedoch schwierig; Erstens sind alle verschiedenen Schichten eines tiefen neuronalen Netzwerks für die Regularisierungseffekte verantwortlich. Wenn jedoch zwei Architekturen tief sind und ihre inneren Strukturen unterschiedlich sind, ist es schwierig, den Beitrag eines bestimmten Teils jedes Netzwerks zu isolieren. Darüber hinaus werden sowohl CNN- als auch BLSTM-modellbasierte Ansätze mit Faltungsschichten und bidirektionalen LSTM-Zellen in Genomstudien und Bioinformatik verwendet, aber die Prinzipien für die Entscheidung über den besten Ansatz basierend auf der internen Struktur des Datensatzes sind nicht klar.

Unter Berücksichtigung früherer CNN- und BLSTM-basierter Spleißstellen-Vorhersagemodelle wollen wir in dieser Studie die Leistungen dieser beiden vielversprechenden Netzwerke vergleichen, um zu beantworten, welcher Deep Neural Network-Ansatz besser für die Spleißstellen-Vorhersage und ähnliche Probleme geeignet ist. Unseres Wissens wurde kein umfassender Vergleich von BLSTM und CNN bei der Erkennung von Spleißstellen für verschiedene Konfigurationen berichtet. Daher bestand die Notwendigkeit, zwei verschiedene Deep-Learning-basierte Methoden anhand von Standarddatensätzen zu vergleichen. Aus diesem Grund haben wir ein Vergleichsexperiment entworfen, um die Entwicklung benutzerdefinierter Deep-Learning-Architekturen auf Basis von CNN, BLSTM oder BGRU zu unterstützen.

Das neuartige Framework für die automatisierte Evaluierung verschiedener Deep-Learning-basierter Spleißstellendetektoren eliminiert zeitaufwändige Entwicklungs- und Experimentieraktivitäten für verschiedene Codebasen, Architekturen und Konfigurationen, um die besten Modelle für einen bestimmten RNA-Spleißstellendatensatz zu erhalten. Daher erleichtert es den Forschern, die an der Analyse der RNA-Spleißstellen arbeiten, die Verwendung der besten Modelle.

Die Funktionsweise des Frameworks wird als Flussdiagramm erläutert, wie in Abb. 2 dargestellt. Das Framework kann verschiedene Deep-Learning-Architekturen wie CNNs, LSTMs und GRUs ausführen, auch wenn diese strukturell unterschiedlich sind. Auch eine Änderung der Netzwerktiefe von 1 auf N im Framework ist möglich. Wie im Flussdiagramm zu sehen ist, wird zunächst eine Netzwerkarchitektur ausgewählt. Anschließend werden alle Experimente für verschiedene Tiefen für die ausgewählte Deep-Learning-Architektur automatisch durchgeführt. Die resultierenden Leistungsdiagramme werden automatisch für jedes Netzwerk zur umfassenden Auswertung erstellt. Die Versuchsreihe wird für die folgende Architektur automatisch wiederholt. Der Prozess ist abgeschlossen, wenn das Experimentieren mit allen tiefen Architekturen und Modellen abgeschlossen ist.

Die verschiedenen Netzwerkkonfigurationen werden anhand derselben Datensätze wie im Abschnitt „Daten“ ausgewertet. Die Leistung von Faltungs- und wiederkehrenden Methoden wird als repräsentative Deep-Learning-Ansätze für das Problem der Spleißstellenvorhersage verglichen. Die Berechnung dieser Modelle kann mit den folgenden mathematischen Ausdrücken erklärt werden.

CNNs bestehen aus Faltungsschichten, die durch eine Eingabekarte, eine Reihe von Filtern und Bias gekennzeichnet sind. b. Die Ausgabe einer Faltungsschicht mit Schritt 1 und einem einzelnen Faltungskern ist:

Hier ist \(o_{i}^{l}=f(x_{i}^{l})\): die Ausgabe einer beliebigen Aktivierungsfunktion, l: ist die l-te Schicht, x: ist eine eindimensionale Eingabe mit der Dimension H , w: ist der Kernel mit der Dimension k und dem Iterator m, \( w_{l}^{m} \): der Gewichtsvektor, der Neuronen der Schicht l mit Neuronen der Schicht \(l-1\), \(b^) verbindet {l}\): Bias auf Schicht l, \(x_{i}^{l}\): der gefaltete Eingabevektor und Kernel auf Schicht l und Bias, \(o_{i}^{l}\): der Ausgabevektor auf Ebene l, f(.): die Aktivierungsfunktion, ReLU für alle Ebenen außer der letzten Ebene, die Softmax verwendet.

Für die Backpropagation werden zwei Aktualisierungen durchgeführt, für die Gewichte und für die Gradienten. Um die Änderung für einen einzelnen Gewichtsparameter \(w_{m^{\prime }}\) zu berechnen, muss \(\frac{\partial E}{\partial w_{m^{\prime }} berechnet werden. ^l}\). Der Fehler wird für E berechnet. Der Fehler wird mit berechnet

In Spleißstellen-Vorhersagemodellen wird die Maximum-Likelihood-Schätzfunktion zur Verlustberechnung im Trainingsprozess von Modellen verwendet. Beim Training von Modellen besteht das Ziel darin, die Verlustfunktion zu minimieren. Im Framework wurde eine Gradientenabstiegsoptimierung verwendet, um den Verlust zu reduzieren. Die Grundidee des Gradientenabstiegs geht davon aus, dass die Verlustfunktionen im Allgemeinen konvexe Funktionen sind. Wenn die Gewichte in der entgegengesetzten Richtung der Gradienten, also in absteigender Richtung, aktualisiert werden, wird erwartet, dass die Gewichte die globalen Minima erreichen. Bei der Rückausbreitung werden die Gewichte aktualisiert, indem der Gradient der Verlustfunktion in Bezug auf die Ausgabe berechnet wird, die rückausgebreitet werden muss.

In ähnlicher Weise werden wiederkehrende Netzwerke mithilfe von LSTM- und GRU-Modellen trainiert. Die Parameter des LSTM-Modells werden wie folgt berechnet. Ein LSTM besteht aus Eingangsgatter, Vergessensgatter und Ausgangsgatter.

Eine Standard-LSTM-Einheit besteht aus einer Zelle, einem Eingangsgatter, einem Ausgangsgatter und einem Vergessensgatter. Die Zelle speichert Werte für beliebige Zeitintervalle und die drei Tore steuern den Informationsfluss in die Zelle hinein und aus ihr heraus. Vergessenstore entscheiden, welche Informationen aus einem vorherigen Zustand verworfen werden sollen, indem sie einem vorherigen Zustand im Vergleich zu einer aktuellen Eingabe einen Wert zwischen 0 und 1 zuweisen. Ein (gerundeter) Wert von 1 gibt an, dass die Informationen beibehalten werden sollen, während ein Wert von 0 angibt weist darauf hin, dass es verworfen werden sollte. Mit dem gleichen Ansatz wie Vergessen-Gates entscheiden Eingabe-Gates, welche neuen Informationen im bestehenden Zustand gespeichert werden sollen. Das LSTM-Netzwerk kann nützliche langfristige Abhängigkeiten aufrechterhalten, indem es selektiv geeignete Informationen aus dem aktuellen Status ausgibt.

Die in Gl. gezeigte Eingangsgatterfunktion. (6). wird verwendet, um die Bedeutung neuer Informationen zu bewerten, die in der Eingabe enthalten sind:

Vergessen Sie die Gate-Funktion in Shon Gl. (7). wird verwendet, um zu entscheiden, ob die Informationen aus dem vorherigen Zeitschritt beibehalten oder vergessen werden sollen:

Die Funktion des Ausgangsgatters ist in ähnlicher Weise in Gleichung dargestellt. (8):

Der Eingabeaktivierungsvektor für die Eingabezelle des LSTM-Modells wird wie folgt berechnet:

Der LSTM-Zellzustandsvektor wird berechnet mit:

Der versteckte LSTM-Zustandsvektor wird auch als Ausgabevektor der LSTM-Einheit bezeichnet:

In den obigen Gleichungen können die Begriffe wie folgt erklärt werden: \(x_t\): Eingabevektor für die LSTM-Einheit, \(f_t\): Vergessens-Gate-Aktivierungsvektor, \(i_t\): Eingabe-/Aktualisierungs-Gate-Aktivierungsvektor, \ (o_t\): Aktivierungsvektor des Ausgangsgatters, \(h_t\): Vektor des verborgenen Zustands, auch als Ausgabevektor der LSTM-Einheit bekannt, \(\tilde{c}_{t}\): Zelleingangsaktivierungsvektor, \( {c}_{t}\): Zellzustandsvektor, \(w_i,w_f,w_o, \): Gewichte, \(b_i,b_f,b_o, \): Bias.

Die GRU ähnelt einem LSTM mit einem Vergessens-Gate, verfügt jedoch über weniger Parameter als ein LSTM, da sie kein Ausgangs-Gate hat. Aufgrund ihrer vergleichbaren Designs und oft ähnlichen Leistung können GRU und LSTM beide als Variationen voneinander angesehen werden. GRU verwendet Update- und Reset-Gates, um das Problem des verschwindenden Gradienten eines regulären RNN zu lösen. Im Wesentlichen gibt es zwei Vektoren, die bestimmen, welche Informationen an den Ausgang übertragen werden sollen. Sie sind insofern einzigartig, als sie darauf trainiert werden können, Wissen von vor langer Zeit beizubehalten, ohne dass es von der Zeit weggespült wird, oder Informationen zu verwerfen, die für die Vorhersage nicht erforderlich sind.

Die in Gl. gezeigte Update-Gate-Funktion. (12) ermöglicht es dem Modell zu bestimmen, wie viel Wissen aus der Vergangenheit (aus früheren Zeitschritten) an die Zukunft weitergegeben werden muss.

Das Reset-Gate des Modells wird verwendet, um zu bestimmen, wie viel des vergangenen Wissens vergessen werden soll. Dies ist in Gleichung (1) dargestellt. (13):

Hier wird der Aktivierungsvektor des GRU-Kandidaten wie folgt berechnet:

Dann gibt der GRU-Ausgabevektor aus:

In den obigen Gleichungen können die Begriffe wie folgt erklärt werden: \(x_t\): Eingabevektor für die GRU-Einheit, \(f_t\): Vergessens-Gate-Aktivierungsvektor, \(i_t\): Eingabe-/Aktualisierungs-Gate-Aktivierungsvektor, \( o_t\): Aktivierungsvektor des Ausgangsgatters, \(h_t\): versteckter Zustandsvektor, auch als Ausgabevektor der LSTM-Einheit bekannt, \(\tilde{c}_{t}\): Zelleingangsaktivierungsvektor, \({ c}_{t}\): Zellzustandsvektor, \(w_i,w_f,w_o \): Gewichtsmatrizen, \(b_i,b_f,b_o \): Bias.

BLSTM- und BGRU-Modelle sind bidirektionale Versionen und bestehen wie unidirektionale Modelle aus LSTM- und GRU-Zellen. Sie verfügen jedoch über eine weitere LSTM-Schicht, nämlich Vorwärts- und Rückwärtsschichten zum Lesen der Eingabesequenz, wodurch die Richtung des Informationsflusses umgekehrt wird. Dies bedeutet, dass die Eingabesequenz in der zusätzlichen LSTM-Schicht rückwärts fließt. Anschließend werden die Ausgaben der Vorwärts- und Rückwärtsschichten durch Mittelung aus den Vorwärts- und Rückwärtsschichten kombiniert.

Um die spezifischen Unterschiede zu reduzieren und die Netzwerkdesigns vergleichbar zu machen, haben wir folgende Grundsätze angewendet:

Automatisiertes Deep-Learning-Modellbewertungsframework für die Spleißstellenvorhersage. Ausgewählte Deep-Learning-Modelle CNN, LSTM, BLSTM, GRU oder BGRU werden für verfügbare Datensätze trainiert.

Die Experimente sind in mehrere Gruppen (basierend auf der Netzwerkfamilie) mit mehreren Ebenen (basierend auf der Komplexität des Netzwerks innerhalb derselben Familie) unterteilt. Jede Ebene ist direkt mit ihrem Gegenstück aus der anderen Familie vergleichbar. Mehrere Ebenen in derselben Familiengruppe sind aufgrund ihrer Komplexität vergleichbar.

Kleinere Netzwerke werden bevorzugt, um die Möglichkeit einer Abweichung zwischen zwei Gruppen zu verringern, die voraussichtlich höher ist, wenn breitere (und tiefere) Netzwerke verwendet werden.

Die Menge der trainierbaren Parameter des Netzwerks für die gleichen Ebenen sollte zwischen zwei Gruppen von Familien ungefähr gleich sein (Tabelle 1). Da die Lernkapazität direkt proportional zur Anzahl der trainierbaren Parameter ist, können wir die Netzwerke vergleichbarer machen, indem wir die Anzahl der trainierbaren Parameter und ihre Wachstumsrate in jedem Netzwerk ähnlich halten.

Neuronale Netze werden aus vielen Komponenten erstellt, von denen jede eine Rolle bei der Regularisierung des Netzwerks spielt. Die wiederverwendbaren Teile der Netzwerke der beiden Familien bleiben zur Steuerung der Architektur gleich.

Die Netzwerke in jeder Gruppe sind strukturell ähnlich, unterscheiden sich jedoch in ihrem Design. Eine Zusammenfassung der Anzahl trainierbarer Parameter für jeden Versuchsaufbau ist in Tabelle 1 dargestellt.

Der endgültige Rahmen des vorgeschlagenen Entwurfs ist in Abb. 3 dargestellt und die Details werden im Abschnitt „Ergebnisse“ erläutert. Diese Netzwerke enthielten eine Maxpooling-Schicht, um die Anzahl der trainierbaren Variablen zu begrenzen. Darüber hinaus haben wir Stochastic Gradient Descent (SGD) als Optimierungsmethode verwendet und die Verlustfunktion ist Kreuzentropie.

Das Framework ermöglicht die Verarbeitung von Blaupausen für verschiedene Netzwerkarchitekturgruppen. Dieser Bauplan ermöglicht den Vergleich von Netzwerken mit Faltungsschichten oder wiederkehrenden Zellen wie BLSTM, die auch mit anderen kompatiblen Methoden verwendet werden können.

Um die Leistungen verschiedener Deep-Learning-Architekturen zu vergleichen, haben wir die am häufigsten verwendeten Architekturen CNN, BLSTM und BGRU identifiziert, die in den Tabellen 2 und 3 aufgeführt sind. Daher haben wir unsere Experimente auf diese Modelle konzentriert. Darüber hinaus haben Sarkar et al. Da wir GRU verwendeten und eine gute Leistung erzielten31, haben wir GRU und LSTM in die experimentellen Modelle einbezogen.

Außerdem passen diese Architekturen gut zu den Merkmalen genomischer Daten. Erstens gibt es in Genomdaten eine lokale Beziehung zwischen einer Base und anderen Basen in ihrer Nähe. Eine CNN-Architektur interpretiert diese lokalen Beziehungen effektiv37. Zweitens sind Genomdaten sequentiell und rekursive Architekturen – wie BLSTMs – sind bei der Interpretation sequentieller Daten effektiv38.

Genomsequenzen können besser analysiert werden, wenn sie in Vorwärts- und Rückwärtsrichtung untersucht werden. Die Verwendung unidirektionaler Netzwerke kann zum Verlust wertvoller Informationen führen. Um diese Erwartung zu bestätigen, haben wir auch mit unidirektionalen Netzwerken experimentiert. Die Ergebnisse der unidirektionalen und bidirektionalen Versionen der GRU- und LSTM-Architekturen werden im Abschnitt „Ergebnisse“ vorgestellt.

Bei der Bewertung unseres Frameworks haben wir mit zwei Spleißvorhersagedatensätzen experimentiert, dem HS3D und dem C. elegans, wobei die Details der Datensätze wie folgt lauten.

Wir haben den HS3D-Datensatz in unserem experimentellen Design35 verwendet. Dieser Datensatz umfasst 609.909 140 Basenpaare (bp) lange Sequenzen, die sich um Spleißstellen befinden. In der wahren Klasse befindet sich die Spleißstelle genau in der Mitte der DNA-Sequenz am 70. und 71. bps und umfasst nur kanonische GT-AG-Motive. Die falsche Klasse wurde erstellt, indem die GT-AG-Paare an nicht gespleißten Stellen ausgewählt wurden. Die falschen Stellen befinden sich im Bereich von ± 60 % von der tatsächlichen Stelle der Spleißstelle entfernt. Der Datensatz kann mit dem im GitHub-Repository verfügbaren Skript über den Link im Abschnitt „Datenverfügbarkeit“ heruntergeladen werden.

Der HS3D-Datensatz ist öffentlich verfügbar und in falschen und echten Spleißstellensequenzen gut definiert. Der HS3D-Datensatz wurde ausgewählt, da er erfolgreich in den CNN- und BLSTM-basierten neuronalen Netzwerkansätzen zur Spleißstellenerkennung verwendet wurde, wie in (Tabelle 3) mit den Leistungsmaßen jeder Studie aufgeführt. Darüber hinaus verwendeten zwei weitere Studien den BLSTM- und den CNN-Hybridansatz unter Verwendung der HS3D-Daten, um Spleißstellen vorherzusagen34,36. Der HS3D wird als geeigneter Benchmark-Datensatz zum Vergleich ausgewählter Netzwerke basierend auf diesen Beobachtungen ausgewählt.

Während der Vorverarbeitung werden die mit der IUPAC-Nomenklatur (A, C, G und T) codierten DNA-Sequenzen in einen Vektor der Länge 4 (One-Hot-Encoding) umgewandelt, ein kompatibles Format für neuronale Netzwerkstudien39. Alle Sequenzen im HS3D-Datensatz werden in vier Klassen eingeteilt: echte Donor- oder Akzeptor-Spleißstellen und falsche Donor- oder Akzeptor-Spleißstellen. In Anlehnung an die Literatur, die die Daten in eine echte Donor-, eine echte Akzeptor- und eine nicht-site28,40 falsche Gruppe aufteilt, werden diese zusammengefasst. Also haben wir die Gruppen falscher Spender und Akzeptoren kombiniert und nach der Vorverarbeitung hatte unser endgültiger Datensatz drei Klassen: echter Spender, echter Akzeptor und Nicht-Site.

Es gab 2796 Sequenzen in der Klasse der echten Spender und 2880 Sequenzen in der Klasse der echten Akzeptoren; Daher waren die Klassen echter Spender und echter Akzeptoren annähernd ausgeglichen. Der Datensatz enthielt jedoch mit 604.233 eine große Anzahl von Sequenzen, die zur Non-Site-Klasse gehörten. Die große Anzahl falscher Sequenzen war die Hauptursache für die unausgeglichenen Klassen. Wir haben den Datensatz durch ein quasizufälliges Downsampling der Mehrheitsklasse (ohne Standort) ausgeglichen. Somit waren alle Klassen ausgeglichen und hatten nach dem Downsampling ungefähr die gleiche Anzahl an Sequenzen.

Der zweite Datensatz, den wir in unseren Experimenten verwendet haben, ist der C. elegans-Datensatz, der öffentlich verfügbar ist41. Der Datensatz besteht aus 17.300 falschen Spender/Akzeptor- und echten 6700 Spender/Akzeptor-Spleißstellen.

Der C. elegans-Datensatz umfasste 141 bp lange Sequenzen, die sich um Spleißstellen herum befanden. Die kanonische Spleißstelle befindet sich am 63. und 64. Basenpaar im Donor-Datensatz, und im Akzeptor-Datensatz befindet sich die kanonische Spleißstelle am 60. und 61. Basenpaar. Falsche Spleißstellensequenzen werden aus intronischen Regionen erhalten und konzentrieren sich auf AG-Dinukleotide und GT-Dinukleotide ohne Spleißstelle.

Während der Vorverarbeitung werden die mit der IUPAC-Nomenklatur (A, C, G und T) codierten DNA-Sequenzen in einen Vektor der Länge 4 (One-Hot-Encoding) umgewandelt, ein kompatibles Format für neuronale Netzwerkstudien. Auch hier werden die Gruppen der falschen Spender und Akzeptoren kombiniert, sodass unser endgültiger Datensatz nach der Vorverarbeitung drei Klassen hatte: echter Spender, echter Akzeptor und Nicht-Site. Da unser Netzwerk außerdem für 140 bp lange Sequenzen trainiert ist, werden die Sequenzen an der richtigen Stelle um eine Base gekürzt. Nach diesem Schritt hatte der C. elegans-Datensatz 140 bp lange Sequenzen. Da die Nicht-Site-Klasse im Vergleich zu echten Donor- und Akzeptor-Sites eine hohe Anzahl an Sequenzen aufweist, ähnlich wie beim HS3D-Datensatz, haben wir den Datensatz durch quasizufälliges Downsampling der Mehrheitsklasse (Non-Site) ausgeglichen. Somit waren alle Klassen ausgeglichen und hatten nach dem Downsampling ungefähr die gleiche Anzahl an Sequenzen.

Es werden mehrere Versuchsgruppen für unterschiedliche neuronale Netze erstellt. Jede Versuchsgruppe umfasst mehrere Netzwerke mit einer bestimmten neuronalen Netzwerkschicht, wie z. B. CNN, BLSTM oder anderen. Die Netzwerke in jeder Gruppe sind strukturell ähnlich, unterscheiden sich jedoch in ihrem Design. Während des Trainings wird eine zehnfache Kreuzvalidierung durchgeführt, um die Daten aufzuteilen, bevor jedes Netzwerk trainiert wird. Im Allgemeinen eliminiert die Kreuzvalidierung die Möglichkeit einer Überanpassung aufgrund einer falsch repräsentativen Datenauswahl. Durch wiederholtes Experimentieren mit Kreuzvalidierung werden außerdem die Auswirkungen der Zufälligkeit eliminiert, die durch die Initiierung der Variablen innerhalb des Netzwerks und von Mini-Batches entstehen. Jedes Netzwerk wurde zehnmal über 300 Epochen trainiert, mit zusätzlichem Training für die BLSTM-Netzwerke. Die BLSTM-Netzwerke mit 1000 Epochen haben sich als Präfix „erweitert“. Die Netzwerke werden mit TensorFlow 2.3.0 erstellt und das Training erfolgt mit der Nvidia RTX 2080 Ti GPU. Die Ergebnisse aller Experimente sind vollständig reproduzierbar und in unserem GitHub-Repository verfügbar, erläutert im Abschnitt „Codeverfügbarkeit“.

Die Klassifizierungsleistung für alle Modelle wird anhand von Genauigkeits- und F1-Score-Messungen als Bewertungsmetriken bewertet. Die Area Under the Curve-Precision-Recall (AUC-PR) wird ebenfalls berechnet, da sie bei der endgültigen Ergebnisberechnung alle Aspekte der Verwirrungsmatrix verwendet42. Da wir darauf abzielen, den Leistungsgewinn auf jeder Ebene und zwischen Netzwerktypen zu vergleichen, haben wir während der Bewertung die Leistung jeder Netzwerkfamilie auf progressiven Ebenen und nicht die Ergebnisse verglichen. Wir erwarten, dass jede Netzwerkfamilie ihre Bewertungsmetrik verbessert, da mehr Schichten für die Merkmalstransformation erstellt werden. Da die entsprechenden Ebenen in jedem Netzwerk vergleichbar gestaltet sind, wird die Gruppe von Netzwerken mit der größten Leistungssteigerung aufgrund einer hinzugefügten Ebene bevorzugt.

In dieser Studie haben wir ein neuartiges Framework für die automatisierte Bewertung von Deep-Learning-basierten Spleißstellendetektoren für einen bestimmten RNA-Spleißstellendatensatz implementiert. Wir haben unser Framework ausgiebig mit zwei verschiedenen Spleißdatensätzen getestet, nämlich HS3D und C. elegans. Als erste Aufgabe haben wir unser Framework getestet, um festzustellen, ob es Unterschiede in der Leistung von CNN- und BLSTM-Architekturen als Bausteinen der Feature-Transformationsstruktur des Netzwerks gibt.

Im ersten Schritt haben wir unser Framework getestet, um festzustellen, ob es einen Unterschied in der Leistung von CNN- und BLSTM-Architekturen als Bausteinen der Feature-Transformationsstruktur des Netzwerks mit dem HS3D-Datensatz gibt. Als nächstes werden die identifizierten leistungsstärksten Konfigurationen während des Trainings mit BLSTM- und CNN-Modellen für den in Abb. 7 gezeigten C. elegans-Datensatz angewendet. Später verwendeten wir das Framework, um andere Architekturen für ausgewählte Konfigurationen wie LSTM, GRU, BGRU zu bewerten.

Wir haben ein Framework vorgeschlagen, das Deep-Learning-Netzwerke evaluiert, die eine Sequenz von DNA-Nukleotiden nehmen und die Wahrscheinlichkeit zurückgeben sollen, dass die Sequenz zu einer Klasse gehört (Klassifizierungsproblem). Der in Abb. 3 dargestellte vorgeschlagene Rahmen besteht aus Netzwerken, die aus vier Hauptteilen bestehen:

Die Eingabedaten: Die Eingabedaten sind eine Sequenz von One-Hot-kodierten DNA-Nukleotidbasen, wobei die Länge jeder Sequenz 140 Nukleotide beträgt.

Merkmalsextraktionsebenen: Kumulativ transformieren diese Ebenen die Daten von einem Raum in einen anderen, wo die Klassifizierung möglich ist. Das Netzwerk besteht aus mehreren sich wiederholenden Schichten, wie z. B. CNN-Schichten oder BLSTM-Zellen.

Nach den Merkmalsextraktionsschichten ist die Ausgabeschicht ein Klassifikator, der aus einem dichten Schichtkonstrukt mit einem Softmax als Aktivierungsfunktion besteht.

Die Ausgabe besteht aus drei Werten, die die Wahrscheinlichkeit der Zugehörigkeit zu einer bestimmten Klasse angeben.

Basierend auf dem vorgeschlagenen Rahmenwerk werden mehrere Experimente mit Netzwerken entworfen und durchgeführt. Obwohl das Framework keine Begrenzung vorgibt, haben wir in den Experimenten die Anzahl der Schichten auf bis zu fünf verschiedene Ebenen in Merkmalstransformationsblöcken begrenzt. Wir haben herausgefunden, dass Netzwerke, die BLSTM-Zellen enthalten, während des Trainings der Verlustdiagramme mehr Epochen benötigen, um einen Plateauzustand zu erreichen. Daher werden diese Netzwerke für eine längere Dauer bis zu 1000 Epochen trainiert. Abbildung 5 zeigt unsere Experimente zum Vergleich von BGRU- und BLSTM-Architekturen. Wie man sieht, gibt es nur minimale Unterschiede in der Leistung, aber wie bereits erwähnt, sind BLSTMs in der Literatur die prominentere Version. Die Abbildungen 6 und 7 zeigen die Leistung pro Epoche für eine Teilmenge der Experimente mit dem HS3D-Datensatz bzw. dem C. elegans-Datensatz. Alle an den Experimenten beteiligten Netzwerke haben nach dem Training ein stabiles Leistungsniveau erreicht und im Training und Test allgemeines Wissen über den Datensatz und die Match-Leistung erlernt. Es gab keine Divergenz zwischen den Trainings- und Validierungsdiagrammen.

Das leistungsstärkste Modell für die CNN-Architektur (basierend auf der Genauigkeit als entscheidendem Maß) wurde bei einer dreischichtigen Konfiguration für den HS3D-Datensatz erhalten (Abb. 8a). Zwischen trainierten einschichtigen und dreischichtigen CNN-Netzwerken wurde eine Genauigkeitsverbesserung von \(6\%\) erreicht, während erweiterte BLSTM-Netzwerke ihre Genauigkeit um \(5\%\) verbesserten (Abb. 8a). Außerdem erreichte die CNN-Architektur im Vergleich zum Basismodell eine maximale Genauigkeit von \(92\%\) und erreichte eine maximale Punktzahl von \(85\%\). Um diese Erwartung zu bestätigen, haben wir auch mit unidirektionalen Netzwerken experimentiert. Die Ergebnisse unidirektionaler und bidirektionaler Versionen von GRU- und LSTM-Architekturen sind in den Abbildungen dargestellt. 4, 5 und 6.

Vergleich der Leistung von GRU- und LSTM-Architekturen für HS3D-Datensätze. Diese Netzwerke erbringen im Vergleich zu ihren bidirektionalen Gegenstücken eine suboptimale Leistung und können in einigen Experimenten auch keine Unterscheidungsmerkmale lernen. Die Spalten von links nach rechts sind (a) Genauigkeit pro Epoche, (b) F1-Score pro Epoche und (c) AUR-PR pro Epoche.

Vergleich der Leistung der BGRU- und BLSTM-Architekturen für HS3D-Datensätze. Es gibt keinen signifikanten Leistungsunterschied zwischen den beiden Architekturen. Spalten von links nach rechts: (a) Genauigkeit pro Epoche, (b) F1-Score pro Epoche und (c) AUR-PR pro Epoche.

Zur Bestätigung wird der Datensatz von C. elegans verwendet, und die Ergebnisse bestätigen, dass CNN die Netzwerkarchitektur mit der besten Leistung ist, Abb. 7.

Leistung pro Epoche für fünfschichtige Netzwerke im HS3D-Datensatz. Die Zeilen von oben nach unten gelten für CNN, BLSTM und erweitertes BLSTM. Die Spalten von links nach rechts sind (a) Genauigkeit pro Epoche, (b) F1-Score pro Epoche und (c) AUC Precision-Recall (PR). Es gibt keine Hinweise auf eine Überanpassung. Das gesamte Training wird erfolgreich abgeschlossen und es gibt keine Lücke zwischen den Validierungs- und Trainingsleistungslinien.

Beispiel für die Leistung pro Epoche für fünfschichtige Netzwerke im C. elegans-Datensatz. Die Zeilen von oben nach unten beziehen sich jeweils auf CNN und BLSTM. Die Spalten von links nach rechts sind (a) Genauigkeit pro Epoche, (b) F1-Score pro Epoche und (c) AUC Precision-Recall (PR). Es gibt keine Hinweise auf eine Überanpassung. Alle Schulungen waren erfolgreich und es gibt keine Lücke zwischen den Validierungs- und Trainingsleistungslinien.

Vergleich der Änderung der Leistungsmetriktypen mit jeder zusätzlichen Ebene. Aus allen Metriken können wir schließen, dass das Hinzufügen von Faltungsschichten die Leistung besser verbessert als bidirektionale LSTM-Zellen. Von links nach rechts: (a) durchschnittliche Genauigkeit pro Epoche, (b) durchschnittlicher F1-Score pro Epoche und (c) durchschnittlicher AUC Precision-Recall (PR) pro Epoche. KS: Kernelgröße, TE: Terminierungsepoche.

Mithilfe des Spleißstellen-Vorhersage-Frameworks haben wir die Zeit angegeben, die für das Training von Modellen in Bezug auf die unterschiedliche Anzahl von Schichten erforderlich ist. Unsere Ergebnisse zeigten, dass CNN am wenigsten Zeit für das Training benötigt.

Außerdem verglichen wir CNN- und BLSTM-Modelle mit der höchsten Lernkapazität sowohl für HS3D- als auch für C. elegans-Datensätze unter Verwendung des F1-Scores und der AUC-PR-Metriken. Die CNN-Architektur verbesserte den F1-Score um \(8\%\) im Vergleich zum Basismodell und erreichte einen maximalen Score von \(89\%\). Das erweiterte BLSTM verbesserte den F1-Score um \(5\%\) und erreichte ein Maximum von \(85\%\) (Abb. 8b). In ähnlicher Weise verbesserte die CNN-Architektur ihre Punktzahl für die AUC-PR-Metrik um \(4\%\) und erreichte ein Maximum von \(96\%\). Das erweiterte BLSTM verbesserte seinen Score um \(3\%\) und erreichte ein Maximum von \(94\%\) (Abb. 8c).

Vergleich der Trainingszeit für verschiedene Netzwerktypen in Bezug auf zusätzliche Schichten (Die Y-Achse ist auf einer logarithmischen Skala). Faltungsnetzwerke sind im Vergleich zu BLSTM-Netzwerken exponentiell schneller zu trainieren und zu verwenden. KS: Kernelgröße, TE: Terminierungsepoche.

Tabelle 4 zeigt die Ergebnisse, wenn das Framework so eingestellt ist, dass alle Modelle für 5 Schichten getestet werden, um höchste Genauigkeit zu erzielen. Es ist ersichtlich, dass das CNN-Modell hinsichtlich Genauigkeit und F1 für den HS3D-Datensatz am besten abschneidet. Da Genomdaten lernbare Merkmale in Vorwärts- und Rückwärtsrichtung aufweisen, schnitten bidirektionale Modelle (BLSTM und BGRU) im Vergleich zu unidirektionalen Modellen (LSTM und GRU) besser ab.

Die Auswahl des besten Modells für eine maschinelle Lernaufgabe ist in Anwendungen der künstlichen Intelligenz (KI) von entscheidender Bedeutung geworden. Die Leistung verschiedener Modelle für maschinelles Lernen kann für einen Trainingsdatensatz unterschiedlich sein, was vor den Experimenten nicht vorhersehbar ist. Hier haben wir ein neuartiges Framework für die automatisierte Bewertung verschiedener Deep-Learning-basierter Spleißstellendetektoren erläutert. Unser Framework macht den mühsamen Prozess der Evaluierung mehrerer Modelle zur Auswahl der besten Architektur und Konfiguration für ein bestimmtes Problem überflüssig.

In dieser Studie haben wir mit einem RNA-Spleißstellen-Datensatz gearbeitet; Da Spleißstellenvarianten mit vielen Krankheiten in Zusammenhang stehen, ist die Identifizierung der Spleißstellenvarianten von entscheidender Bedeutung. Hauptsächlich gelten die kodierenden Varianten als krankheitsverursachende Varianten. Allerdings könnten nicht-kodierende Varianten mit unterschiedlichen Konsequenzen den Phänotyp beeinflussen. Insofern würde die Vorhersage, welche Sequenzen potenzielle Spleißstellen sind, dazu beitragen, Kandidatenvarianten mit pathogenen Folgen vorherzusagen, und die Priorisierung von Sequenzierungsvarianten basierend auf ihrer Auswirkung auf das Spleißen hilft bei der Diagnose genetischer Krankheiten.

Andere Forscher verwendeten Deep-Learning-Methoden zur Vorhersage von Spleißstellen und verschiedene tiefe neuronale Netze wurden in der Literatur ausführlich untersucht, ohne einen generischen Ansatz bereitzustellen. Sowohl die CNN-basierten als auch die BLSTM-basierten tiefen neuronalen Netze können Genomdaten mit erheblicher Genauigkeit lernen. DeepSplice nutzte ein CNN-basiertes Netzwerk und wertete menschliche RNA-seq-Daten aus GENCODE- und HS3D-Datensätzen aus, wobei eine Genauigkeit von etwa \(90\%\)43 erreicht wurde. SpliceRover nutzte ein CNN-basiertes Netzwerk, evaluierte menschliches NN269 und erreichte eine Genauigkeit von etwa \(90\%\)26. DeepSS nutzte ein CNN-basiertes Netzwerk und wertete C. elegans-Daten, menschliche NN269-Daten und menschliche HS3D-Daten aus erreichte Genauigkeit zwischen \(93\)–\(98\%\)44. SpliceFinder nutzte ein CNN-basiertes Netzwerk, wertete den von Ensembl heruntergeladenen menschlichen Datensatz aus und erreichte eine Genauigkeit von etwa \(96\%\)28. Splice2Deep nutzte ein CNN-basiertes Netzwerk und wertete den von Ensembl heruntergeladenen menschlichen Datensatz aus und erzielte Genauigkeiten von etwa \(97\%\)29. Im Gegensatz zu den vorherigen Studien verwendete SpliceAI eine andere Netzwerkarchitektur namens Resnets und wertete den von ENCODE heruntergeladenen menschlichen Datensatz aus, wobei eine Genauigkeit von (95 %) erreicht wurde23. Neben diesen Faltungs-Neuronalen Netzen gibt es BLSTM-basierte oder Hybridstudien. Beispielsweise wurde in einer Studie das BLSTM-Netzwerk anhand des C.parvum-Datensatzes ausgewertet und eine Genauigkeit von \(96\%\) erreicht45. DDeepDSSR nutzte ein CNN plus BLSTM-basiertes Hybridnetzwerk und wertete den menschlichen HS3D-Datensatz aus und erreichte eine Genauigkeit von etwa \(98\%\)34.

Wie oben erwähnt, wurden in der Literatur verschiedene auf Deep Learning basierende Methoden vorgeschlagen. Allerdings stoßen Benutzer auf Schwierigkeiten bei der Auswahl der Deep-Learning-basierten Methode, die sie für ihre Daten anwenden möchten. Daher besteht die Notwendigkeit, die auf Deep Learning basierenden Methoden zur Vorhersage von Spleißstellen zu vergleichen und zu bewerten. Um zu bestimmen, welche Methode ein geeignetes Modell für Spleißvorhersageaufgaben für einen bestimmten Datensatz sein könnte, haben wir einen Rahmen für Experimente zum Vergleich der ausgewählten vielversprechenden Spleißstellenvorhersagemodelle wie CNN, BLSTM und BGRU vorgeschlagen. Der Benutzer kann aufgrund der unterschiedlichen Modelle und Feature-Learning-Ebenen Leistungsunterschiede zwischen den Spleißstellen-Vorhersagemodellen feststellen. Die ausgewerteten Netzwerke verwenden am Ausgang dieselbe Optimierungsmethode, Lernrate und dichte Klassifizierungsschicht.

Als Bewertungsmaßstäbe verwendeten wir Genauigkeit, den F1-Score und AUC Precision-Recall (AUC-PR). Wir haben beobachtet, dass CNN-basierte Netzwerke um Größenordnungen schneller trainieren als BLSTM-basierte Netzwerke (Abb. 9). In gewissem Maße könnte dies auf die Verwendung schneller Faltungsberechnungen zurückzuführen sein, die durch cuDNN C ermöglicht werden und von der TensorFlow-Bibliothek für parallele Berechnungen auf General Purpose GPUs (GPGPUs) verwendet werden. Allerdings verfügen die CNN-basierten Netzwerke auch über weniger trainierbare Parameter (und Verbindungen). ) im Vergleich zu BLSTM-basierten Netzwerken.

Darüber hinaus schlagen wir vor, dass die lokale Korrelation in den Sequenzdaten für die Erkennung ihrer Muster wichtiger ist als die Betrachtung dieser Sequenzen als Sätze, die aus kleineren Blöcken bestehen. Dieses Ergebnis kann durch die bidirektionalen Eigenschaften der DNA- und RNA-Sequenzen erklärt werden. Eine Sprachstruktur gibt eine klare Richtung vor, in der die Sätze aufgebaut und bedeutungsvoll sind. Allerdings können die Genomsequenzen aus jeder Richtung wie eindimensionale Bilder mit Kohäsion in kleiner korrelierter Umgebung verarbeitet werden und eine vollständige Szene darstellen. Daher werden bidirektionales LSTM und GRU bevorzugt, da sie die Verwaltung sowohl von Rückwärts- als auch von Vorwärtsdaten ermöglichen, da sie auch für die Vorhersage von Spleißstellen verwendet wurden45.

Die Genauigkeit für GRU und LSTM wurde mit \(55\%\) und \(62\%\) beobachtet, wie in Abb. 4 dargestellt. Die Ergebnisse in Abb. 5 zeigten, dass bidirektionale Modelle unidirektionale Modelle übertrafen. Da Genomsequenzen besser für bidirektionale Modelle geeignet sind, führt die Verwendung unidirektionaler Netzwerke zu einem Wertverlust. Dies erklärt den Leistungsverlust, der in unseren Experimenten mit den unidirektionalen GRU- und LSTM-Architekturen beobachtet wurde.

In der Literatur gibt es viele Deep-Learning-basierte Spleißstellenprädiktoren mit höherer Leistung, die sich hauptsächlich auf die Verbesserung der Vorhersageleistung der Netzwerke konzentrieren, sodass sie unterschiedliche Architekturen tiefer neuronaler Netzwerke entwerfen. Diese Studie betont jedoch die Notwendigkeit einer automatisierten Auswertung von Deep-Learning-Modellen. Im Gegensatz zu anderen Studien konzentrierten wir uns hauptsächlich auf die Entwicklung eines neuartigen Frameworks zum Vergleich von Deep-Learning-Modellen für Probleme bei der Vorhersage von Spleißstellen und nicht auf den Aufbau eines Netzwerks mit verbesserter Genauigkeit.

Unsere Experimente haben gezeigt, dass das CNN-basierte Modell einen besseren Gewinn hat als das BLSTM-basierte Modell (Abb. 8). CNN-basierte Netzwerke übertreffen bei erweitertem Training sogar die BLSTM-basierten Netzwerke. Neben den Merkmalsextraktionsschichten werden Netzwerke als äquivalent zueinander aufgebaut. Wir kommen daher zu dem Schluss, dass CNN-basierte Netzwerke erfolgreicher darin sind, informative Merkmale aus der Sequenz zu extrahieren, was zu einer höheren Klassifizierungsleistung wie Genauigkeit, F1-Score und AUC Precision-Recall führt.

Die CNN-basierten Netzwerke scheinen die Daten schneller zu lernen und eine höhere Genauigkeit zu erreichen, wenn die Komplexität des Netzwerks zunimmt (Abb. 9). In dieser Hinsicht bleiben BLSTM-basierte Netzwerke hinter den CNN-basierten Netzwerken zurück. Wir haben beobachtet, dass Faltungsschichten in neuronalen Netzen zu besseren Darstellungen führen und eine bessere Leistung im Lernprozess erbringen.

Wir haben die BLSTM-basierten Netzwerke für weitere Epochen trainieren lassen, nachdem wir festgestellt haben, dass 300 Epochen nicht ausreichen, damit diese Netzwerke ihr Potenzial ausschöpfen. Diese Ergebnisse sind in den Abbildungen als „erweitert“ gekennzeichnet. Wir kamen zu dem Schluss, dass sich die BLSTM-basierte Netzwerk-Lernleistung bei ausreichender Komplexität und Zeit verbesserte. Da jedoch beide Modelle zu den Daten passen, lernen CNN-basierte Ansätze schneller und erreichen früher ein stabiles Niveau.

Auch wenn das Sammeln und Verarbeiten der Daten in früheren Iterationen eine Herausforderung darstellte, könnten diese Experimente in Zukunft mit einer breiten Palette von Sequenzen durchgeführt werden, um alle durch die feste Größe des Datenpunkts verursachten Effekte zu eliminieren. Darüber hinaus war die in dieser Studie verwendete zehnfache Kreuzvalidierung anspruchsvoll und zeitaufwändig, da das Training Hunderter neuronaler Netze über einen längeren Zeitraum erhebliche Ressourcen erfordert. Außerdem bestehen beide in dieser Studie verwendeten Datensätze aus kanonischen Spleißstellen, da wir ähnliche Datensätze hinsichtlich Sequenzlänge und Muster auswählen wollten. Daher besteht die einzige Einschränkung dieser Studie darin, dass unser Netzwerk nicht darauf trainiert ist, nicht-kanonische Spleißstellen zu klassifizieren.

In dieser Studie wird unser Deep-Splice-Site-Prediction-Framework für maschinelles Lernen für mehrere Modelle für maschinelles Lernen vorgestellt. Wir haben verfügbare Deep-Learning-Modelle als Bausteine ​​für die Vorhersage der RNA-Spleißstelle einbezogen. Nach unserem besten Wissen wurden keine anderen Arbeiten zur Bewertung von Spleißerkennungsmodellen entwickelt, um auf automatisierte Weise das bestmögliche Modell zu erhalten. Unser Framework kann Forschern dabei helfen, die leistungsstärksten Modelle zu identifizieren, ohne dass der Forscher einen mühsamen Schulungsaufwand für eine genaue Spleißstellenanalyse und ähnliche Klassifizierungsaufgaben aufwenden muss. Außerdem kann das vorgeschlagene Framework verwendet werden, um Deep-Learning-Modelle mit anderen maschinellen Lernaufgaben zu vergleichen.

Unsere Studie hat gezeigt, dass CNN schneller lernt als BLSTM und BGRU und dass CNN beim Extrahieren von Sequenzmustern eine bessere Leistung erbringt als BLSTM und BGRU. Da in der Literatur viele Deep-Learning-basierte Tools zur Vorhersage von Spleißstellen vorgeschlagen werden, können unsere Beobachtungen dabei helfen, eine Auswahl zwischen CNN- oder BLSTM- oder BGRU-basierten Modellen für eine genaue Spleißstellenanalyse und ähnliche Klassifizierungsaufgaben zu treffen. Außerdem kann der vorgeschlagene Entwurf verwendet werden, um CNN, BLSTM und BGRU bei unterschiedlichen Problemen mit unterschiedlichen Datensätzen zu vergleichen.

Unsere Experimente in dieser Studie erforderten eine lange Dauer und verhinderten das Experimentieren mit einigen Parametern. Als zukünftige Arbeit erwägen wir das Hinzufügen der Funktion zum Experimentieren mit verschiedenen Hyperparameter-Tuning-Optionen wie Kernel-/Fenstergröße, Lernraten, Optimiererauswahl, Dropout-Verhältnisse und Pooling-Methoden.

Der im Rahmen der aktuellen Studie analysierte Datensatz ist in unserem GitHub-Repository verfügbar: Data Repository.

Der Code zum Wiederholen der Experimente ist in unserem GitHub-Repository verfügbar und kann von der folgenden URL-Adresse heruntergeladen werden: Code Repository.

McManus, CJ & Graveley, BR RNA-Struktur und die Mechanismen des alternativen Spleißens. Curr. Meinung. Genet. Entwickler 21(4), 373–379 (2011).

Artikel CAS PubMed PubMed Central Google Scholar

Nakamori, M. et al. Spleißen von Biomarkern für die Schwere der Erkrankung bei myotoner Dystrophie. Ann. Neurol. 74(6), 862–872 (2013).

Artikel CAS PubMed PubMed Central Google Scholar

Buskin, A. et al. Eine Störung des alternativen Spleißens für Gene, die am Spleißen und der Ziliogenese beteiligt sind, verursacht prpf31 Retinitis pigmentosa. Nat. Komm. 9(1), 1–19 (2018).

Artikel CAS Google Scholar

Singh, RN & Singh, NN Mechanismus der Spleißregulation von Genen für spinale Muskelatrophie. RNA-Metabol. Neurodegener. Dis. 31–61 (2018).

Adamson, SI, Zhan, L. & Graveley, BR Vex-seq: Hochdurchsatz-Identifizierung des Einflusses genetischer Variation auf die Effizienz des Prä-mRNA-Spleißens. Genombiol. 19(1), 1–12 (2018).

Artikel Google Scholar

Rosenberg, AB, Patwardhan, RP, Shendure, J. & Seelig, G. Lernen der Sequenzdeterminanten des alternativen Spleißens aus Millionen von Zufallssequenzen. Zelle 163(3), 698–711 (2015).

Artikel CAS PubMed Google Scholar

Pertea, M., Lin, X. & Salzberg, SL Genesplicer: Eine neue Berechnungsmethode zur Vorhersage der Spleißstelle. Nukl. Säuren Res. 29(5), 1185–1190 (2001).

Artikel CAS PubMed PubMed Central Google Scholar

Degroeve, S., Saeys, Y., De Baets, B., Rouzé, P. & Van De Peer, Y. Splicemachine: Vorhersage von Spleißstellen aus hochdimensionalen lokalen Kontextdarstellungen. Bioinformatik 21(8), 1332–1338 (2005).

Artikel CAS PubMed Google Scholar

Meher, PK, Sahu, TK, Rao, AR & Wahi, S. Identifizierung von Spenderspleißstellen mithilfe einer Support-Vektor-Maschine: Ein rechnerischer Ansatz basierend auf Positions-, Kompositions- und Abhängigkeitsmerkmalen. Algorithmen Mol. Biol. 11(1), 1–12 (2016).

Artikel Google Scholar

Meher, PK, Sahu, TK & Rao, AR Vorhersage von Spenderspleißstellen mithilfe von Random Forest mit einem neuen Sequenzkodierungsansatz. BioData Min. 9(1), 1–25 (2016).

Artikel Google Scholar

Meher, PK, Sahu, TK, Rao, A. & Wahi, S. Ein rechnerischer Ansatz zur Vorhersage von Spenderspleißstellen mit verbesserter Genauigkeit. J. Theor. Biol. 404, 285–294 (2016).

Artikel ADS CAS PubMed Google Scholar

Chen, T.-M., Lu, C.-C. & Li, W.-H. Vorhersage von Spleißstellen mit Abhängigkeitsgraphen und ihren erweiterten Bayes'schen Netzwerken. Bioinformatik 21(4), 471–482 (2005).

Artikel CAS PubMed Google Scholar

Yeo, G. & Burge, CB Maximale Entropiemodellierung kurzer Sequenzmotive mit Anwendungen auf RNA-Spleißsignale. J. Comput. Biol. 11(2–3), 377–394 (2004).

Artikel CAS PubMed Google Scholar

Gu, W., Gao, F., Li, R. & Zhang, J. Lernen der universellen Netzwerkdarstellung durch Linkvorhersage durch ein graphisches Faltungs-Neuronales Netzwerk. J. Soc. Berechnen. 2(1), 43–51 (2021).

Artikel Google Scholar

Shrestha, A. & Mahmood, A. Übersicht über Deep-Learning-Algorithmen und -Architekturen. IEEE Access 7, 53040–53065 (2019).

Artikel Google Scholar

Ray, A., Rajeswar, S. & Chaudhury, S. Texterkennung mithilfe tiefer BLSTM-Netzwerke. Im Jahr 2015 Achte Internationale Konferenz über Fortschritte in der Mustererkennung (ICAPR), 1–6 (IEEE, 2015).

Huang, H., Zeng, Z., Yao, D., Pei, X. & Zhang, Y. Räumlich-zeitliche Berechnung zur Vorhersage der Fahrabsicht von Fahrzeugen. Tsinghua Sci. Technol. 27(3), 599–609 (2021).

Artikel Google Scholar

Hochreiter, S. & Schmidhuber, J. Langes Kurzzeitgedächtnis. Neuronale Berechnung. 9(8), 1735–1780 (1997).

Artikel CAS PubMed Google Scholar

Graves, A. et al. Ein neuartiges verbindungsorientiertes System zur uneingeschränkten Handschrifterkennung. IEEE Trans. Muster Anal. Mach. Intel. 31(5), 855–868 (2008).

Artikel Google Scholar

Liu, F., Zhang, Z. & Zhou, R. Automatische Modulationserkennung basierend auf CNN und GRU. Tsinghua Sci. Technol. 27(2), 422–431 (2021).

Artikel Google Scholar

Hartpence, B. & Kwasinski, A. CNN- und MLP-Ensembles neuronaler Netzwerke für die Paketklassifizierung und die Abwehr von Gegnern. Intel. Konvergiertes Netzwerk 2(1), 66–82 (2021).

Artikel Google Scholar

He, K., Zhang, X., Ren, S. & Sun, J. Deep Residual Learning für die Bilderkennung. AdRR arXiv:1512.03385 (2015).

Jaganathan, K. et al. Vorhersage des Spleißens aus der Primärsequenz mit Deep Learning. Zelle 176(3), 535–548 (2019).

Artikel CAS PubMed Google Scholar

Harrow, J. et al. Gencode: Erstellen einer Referenzanmerkung für die Kodierung. Genombiol. 7(1), 1–9 (2006).

Artikel Google Scholar

Zhang, Y., Liu, Im Jahr 2016 IEEE International Conference on Bioinformatics and Biomedicine (BIBM), 330–333 (IEEE, 2016).

Zuallaert, J. et al. Splicerover: Interpretierbare Faltungs-Neuronale Netze für eine verbesserte Vorhersage der Spleißstelle. Bioinformatik 34(24), 4180–4188 (2018).

Artikel CAS PubMed Google Scholar

Hubbard, T. et al. Das Ensemble-Genomdatenbankprojekt. Nukl. Säuren Res. 30(1), 38–41 (2002).

Artikel CAS PubMed PubMed Central Google Scholar

Wang, R., Wang, Z., Wang, J. & Li, S. Splicefinder: Ab-initio-Vorhersage von Spleißstellen mithilfe eines Faltungs-Neuronalen Netzwerks. BMC Bioinform. 20(23), 652 (2019).

Artikel CAS Google Scholar

Albaradei, S. et al. Splice2Deep: Ein Ensemble tiefer Faltungs-Neuronalnetze für eine verbesserte Vorhersage der Spleißstelle in genomischer DNA. Gene 763, 100035 (2020).

Artikel Google Scholar

Benson, DA, Karsch-Mizrachi, I., Lipman, DJ, Ostell, J. & Wheeler, DL Genbank. nuklear Säureres. 33 (Ergänzung 1), 34–38 (2005).

Google Scholar

Sarkar, R., Chatterjee, CC, Das, S. & Mondal, D. Spleißverbindungsvorhersage in der DNA-Sequenz unter Verwendung eines mehrschichtigen RNN-Modells. In International Conference on E-Business and Telecommunications, 39–47 (Springer, 2019).

Dutta, A., Dalmia, A., Athul, R., Singh, KK & Anand, A. Splicevisul: Visualisierung bidirektionaler Langzeit-Kurzzeitgedächtnisnetzwerke zur Vorhersage von Spleißverbindungen. BioRxiv, 451906 (2019).

Koumakis, L. Deep-Learning-Modelle in der Genomik; Sind wir schon da? Berechnen. Struktur. Biotechnologie. J. (2020).

Alam, T., Islam, MT, Househ, MS, Bouzerdoum, A. & Kawsar, FA Deepdssr: Deep-Learning-Struktur für die Erkennung menschlicher Spenderspleißstellen. In ICIMTH, 236–239 (2019).

Pollastro, P. & Rampone, S. Hs3d, ein Datensatz der Spleißregionen des Homo sapiens und sein Extraktionsverfahren aus einer großen öffentlichen Datenbank. Int. J. Mod. Physik. C 13(08), 1105–1117 (2002).

Artikel ADS CAS Google Scholar

Naito, T. Vorhersage menschlicher Spleißstellen mit tiefen neuronalen Netzen. J. Comput. Biol. 25(8), 954–961 (2018).

Artikel CAS PubMed Google Scholar

Gunasekaran, H., Ramalakshmi, K., Rex Macedo Arokiaraj, A., Deepa Kanmani, S., Venkatesan, C. & Suresh Gnana Dhas, C. Analyse der DNA-Sequenzklassifizierung mithilfe von CNN und Hybridmodellen. Berechnen. Mathematik. Methoden Med. 2021 (2021).

Zargar, SA Einführung in Sequenzlernmodelle: Rnn, lstm, gru. NEIN. April (2021).

Komm, I.-I. Abkürzungen und Symbole für Nukleinsäuren, Polynukleotide und ihre Bestandteile. Biochemistry 9(20), 4022–4027 (1970).

Artikel Google Scholar

Lee, B., Lee, T., Na, B. & Yoon, S. Vorhersage von Spleißverbindungen auf DNA-Ebene unter Verwendung tiefer rekurrenter neuronaler Netze. arXiv-Vorabdruck arXiv:1512.05135 (2015).

Kamath, U., Compton, J., Islamaj-Doğan, R., De Jong, KA & Shehu, A. Ein evolutionärer Algorithmusansatz zur Merkmalsgenerierung aus Sequenzdaten und seine Anwendung auf die Vorhersage von DNA-Spleißstellen. IEEE/ACM-Trans. Berechnen. Biol. Bioinform. 9(5), 1387–1398 (2012).

Artikel PubMed Google Scholar

Chicco, D. Zehn schnelle Tipps für maschinelles Lernen in der Computerbiologie. BioData Min. 10(1), 1–17 (2017).

Artikel Google Scholar

Zhang, Y., Liu, BMC Genomics 19(1), 1–13 (2018).

Artikel Google Scholar

Du, X. et al. Deepss: Erforschung des Spleißstellenmotivs durch ein Faltungs-Neuronales Netzwerk direkt aus der DNA-Sequenz. IEEE Access 6, 32958–32978 (2018).

Artikel Google Scholar

Canatalay, PJ & Ucan, ON Eine bidirektionale LSTM-RNN- und GRU-Methode zur Exon-Vorhersage mithilfe der Spleißstellenkartierung. Appl. Wissenschaft. 12(9), 4390 (2022).

Artikel CAS Google Scholar

Referenzen herunterladen

Die folgenden Autoren haben gleichermaßen beigetragen: Amin Zabardast und Elif Güney Tamer.

Abteilung für Gesundheitsinformatik, Graduiertenschule für Informatik, Technische Universität des Nahen Ostens, Ankara, Türkei

Amin Zabardast, Elif Güney Tamer und Yeşim Aydin Son

Institut für Datenwissenschaft, Universität Maastricht, Maastricht, Niederlande

Arif Yilmaz

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

EG und AZ haben die Daten erhoben und verarbeitet. AZ konstruierte die Modelle und die Experimente. YAS und AY koordinierten die Forschung. EG, AZ und AY kommentierten die Ergebnisse und verfassten das Papier. YAS und AY haben den Artikel bearbeitet. Alle Autoren haben das endgültige Manuskript gelesen und genehmigt.

Korrespondenz mit Arif Yılmaz.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative-Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht durch gesetzliche Vorschriften zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Zabardast, A., Tamer, EG, Son, YA et al. Ein automatisiertes Framework zur Bewertung von Deep-Learning-Modellen für Spleißstellenvorhersagen. Sci Rep 13, 10221 (2023). https://doi.org/10.1038/s41598-023-34795-4

Zitat herunterladen

Eingegangen: 02. Mai 2022

Angenommen: 08. Mai 2023

Veröffentlicht: 23. Juni 2023

DOI: https://doi.org/10.1038/s41598-023-34795-4

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.