Wissenschaftler bemühen sich, neue Halbleitermaterialien zu entdecken, die die Effizienz von Solarzellen und anderen Elektronik steigern könnten. Das Innovationstempo wird jedoch von der Geschwindigkeit, mit der Forscher wichtige Materialeigenschaften messen können, Engpässe erfolgt.

Ein vollständig autonomes Robotersystem, das von MIT -Forschern entwickelt wurde, könnte die Dinge beschleunigen.

Ihr System verwendet eine Robotersonde, um eine wichtige elektrische Eigenschaft zu messen, die als Photokontanz bezeichnet wird. So ist elektrisch reagiert ein Materials für das Vorhandensein von Licht.

Die Forscher injizieren Wissenswissenschaftswissen von menschlichen Experten in das maschinelle Lernmodell, das die Entscheidungsfindung des Roboters führt. Auf diese Weise kann der Roboter die besten Orte identifizieren, um ein Materials mit der Sonde zu kontaktieren, um die meisten Informationen über seine Photokontanz zu erhalten, während ein spezialisiertes Planungsverfahren den schnellsten Weg findet, sich zwischen den Kontaktpunkten zu bewegen.

Während eines 24-Stunden-Assessments nahm die vollständig autonome Robotersonde mehr als 125 einzigartige Messungen professional Stunde mit mehr Präzision und Zuverlässigkeit an als andere Methoden für künstliche Intelligenz.

Durch dramatisch erhöhtes Erhöhen der Geschwindigkeit, mit der Wissenschaftler wichtige Eigenschaften neuer Halbleitermaterialien charakterisieren können, könnte diese Methode die Entwicklung von Sonnenkollektoren vorantreiben, die mehr Strom erzeugen.

“I discover this paper to be extremely thrilling as a result of it supplies a pathway for autonomous, contact-based characterization strategies. Not each necessary property of a fabric may be measured in a contactless method. If it’s essential make contact together with your pattern, you need it to be quick and also you wish to maximize the quantity of knowledge that you simply acquire,” says Tonio Buonassisi, professor of mechanical engineering and senior creator of a Papier auf dem autonomen System.

Zu seinen Mitautoren gehören der Hauptautor Alexander (Aleks) Siemenn, ein Doktorand; Postdocs basita Das und Kangyu Ji; und Doktorand Fang Sheng. Die Arbeit erscheint heute in Wissenschaft Fortschritte.

Kontakt aufnehmen

Seit 2018 arbeiten Forscher im Labor von Buonassisi auf ein vollständig autonomes Materialentdeckungslabor. Sie haben sich kürzlich auf die Entdeckung neuer Perovskiten konzentriert, bei denen es sich um eine Klasse von Halbleitermaterialien handelt, die in Photovoltaiken wie Sonnenkollektoren verwendet werden.

In früheren Arbeiten entwickelten sie Techniken, um einzigartige Kombinationen von Perovskitmaterial schnell zu synthetisieren und zu drucken. Sie entwarfen auch bildgeboten Methoden einige wichtige Materialeigenschaften zu bestimmen.

Die Photokontanzierung wird jedoch am genauesten durch das Platzieren einer Sonde auf das Materials, das Leiden eines Lichts und die Messung der elektrischen Reaktion charakterisiert.

„Um unserem experimentellen Labor so schnell und genau wie möglich zu operieren, mussten wir eine Lösung finden, die die besten Messungen erzeugen und gleichzeitig die Zeit minimiert, die für die Durchführung des gesamten Verfahrens benötigt wird“, sagt Siemenn.

Dies erforderte die Integration von maschinellem Lernen, Robotik und Materialwissenschaft in ein autonomes System.

Zunächst nutzt das Robotersystem seine Kamera an Bord, um ein Bild von einer Folie mit darauf gedrucktem Perovskitmaterial aufzunehmen.

Anschließend wird Pc Imaginative and prescient verwendet, um dieses Bild in Segmente zu schneiden, die in ein neuronales Netzwerkmodell eingespeist werden, das speziell für die Einbeziehung von Domänenkompetenz von Chemikern und Materialwissenschaftlern entwickelt wurde.

„Diese Roboter können die Wiederholbarkeit und Präzision unserer Operationen verbessern, aber es ist wichtig, noch einen Menschen in der Schleife zu haben. Wenn wir keine gute Möglichkeit haben, das reiche Wissen dieser chemischen Experten in unsere Roboter umzusetzen, werden wir keine neuen Materialien entdecken können“, fügt Siemenn hinzu.

Das Modell verwendet dieses Domänenwissen, um die optimalen Punkte zu bestimmen, für die die Sonde basierend auf der Type der Probe und ihrer Materialzusammensetzung in Kontakt tritt. Diese Kontaktpunkte werden in einen Pfadplaner eingespeist, der die effizienteste Möglichkeit für die Sonde findet, alle Punkte zu erreichen.

Die Anpassungsfähigkeit dieses maschinellen Lernansatzes ist besonders wichtig, da die gedruckten Proben einzigartige Formen haben, von kreisförmigen Tropfen bis hin zu jellybeanähnlichen Strukturen.

„Es ist quick so, als würde man Schneeflocken messen – es ist schwierig, zwei identische zu bekommen“, sagt Buonassisi.

Sobald der Pfadplaner den kürzesten Weg gefunden hat, sendet er Signale an die Motoren des Roboters, die die Sonde manipulieren und an jedem Kontaktpunkt in schneller Folge Messungen durchführen.

Der Schlüssel zur Geschwindigkeit dieses Ansatzes ist die selbstüberwachende Natur des neuronalen Netzwerkmodells. Das Modell bestimmt optimale Kontaktpunkte direkt auf einem Beispielbild – ohne dass markierte Trainingsdaten erforderlich sind.

Die Forscher beschleunigten das System auch, indem sie das Pfadplanungsverfahren verbessern. Sie fanden heraus, dass das Hinzufügen einer kleinen Menge an Rauschen oder Zufälligkeit zum Algorithmus den kürzesten Weg fand.

„Wenn wir in diesem Zeitalter autonomer Labors voranschreiten, brauchen Sie wirklich alle drei Fachkenntnisse – Hardwareaufbau, Software program und ein Verständnis der Materialwissenschaft -, um sich in dasselbe Crew zusammenzubringen, um schnell innovativ zu sein. Und das ist Teil der geheimen Sauce hier“, sagt Buonassisi.

Reiche Daten, schnelle Ergebnisse

Sobald sie das System von Grund auf aufgebaut hatten, testeten die Forscher jede Komponente. Ihre Ergebnisse zeigten, dass das neuronale Netzwerkmodell bessere Kontaktpunkte mit weniger Berechnungszeit als sieben andere KI-basierte Methoden fand. Darüber hinaus fand der Pfadplanungsalgorithmus konsequent kürzere Pfadpläne als andere Methoden.

Wenn sie alle Teile zusammenstellen, um ein 24-Stunden-vollständig autonomer Experiment durchzuführen, führte das Robotersystem mehr als 3.000 einzigartige Photokontanzmessungen mit einer Geschwindigkeit von mehr als 125 professional Stunde durch.

Darüber hinaus ermöglichte der Detailniveau, das durch diesen genauen Messansatz bereitgestellt wurde, den Forschern Hotspots mit höherer Photokonduktanz sowie Bereiche des Materialverschlusses.

„So sammeln Sie in der Lage, solche reichhaltigen Daten zu sammeln, die mit so schnellen Raten erfasst werden können.

Die Forscher möchten weiterhin auf diesem Robotersystem aufbauen, um ein vollständig autonomes Labor für die Entdeckung von Materialien zu schaffen.

Diese Arbeit wird teilweise durch First Photo voltaic, Eni durch die MIT Power Initiative, MathWorks, das Beschleunigungskonsortium der Universität Toronto, das US -amerikanische Energieministerium und die US Nationwide Science Basis unterstützt.

Stellen Sie sich Folgendes vor: Es sind die 1960er Jahre, und Spencer Silver, ein Wissenschaftler bei 3M, erfindet einen schwachen Klebstoff, der nicht wie erwartet hält. Es scheint ein Fehler zu sein. Jahre später findet sein Kollege Artwork Fry einen neuartigen Gebrauch dafür-erstellte Publish-It-Notizen, ein Milliarden-Greenback-Produkt, das Briefpapier revolutionierte. Diese Geschichte spiegelt die Reise von wider Großsprachige Modelle (Llms) in ai. Diese Modelle sind zwar beeindruckend in ihren Fähigkeiten für Textgenerstellungen, sind jedoch mit erheblichen Einschränkungen aus, wie z. Halluzinationen und begrenzte Kontextfenster. Auf den ersten Blick könnten sie fehlerhaft erscheinen. Aber durch Augmentation entwickeln sie sich zu viel leistungsfähigeren Werkzeugen. Ein solcher Ansatz ist Abrufer Technology (LAPPEN). In diesem Artikel werden wir uns mit den verschiedenen Evaluierungsmetriken befassen, die die Leistung von Rag -Systemen messen.

Einführung in Lumpen

RAG verbessert LLMs, indem sie externe Informationen während der Textgenerierung einführen. Es umfasst drei wichtige Schritte: Abruf, Augmentation und Technology. Abrufen extrahiert zunächst relevante Informationen aus einer Datenbank, häufig unter Verwendung von Einbettungen (Vektordarstellungen von Wörtern oder Dokumenten) und Ähnlichkeitssuche. In der Augmentation werden diese abgerufenen Daten in die LLM eingespeist, um einen tieferen Kontext zu schaffen. Schließlich beinhaltet die Erzeugung die Verwendung des angereicherten Eingangs, um genauere und kontextbezogene Ausgänge zu erzeugen.

Dieser Prozess hilft LLMs, Einschränkungen wie Halluzinationen zu überwinden und Ergebnisse zu erzielen, die nicht nur sachlich, sondern auch umsetzbar sind. Um zu wissen, wie intestine ein Lappensystem funktioniert, benötigen wir ein strukturiertes Bewertungsrahmen.

RAG -Bewertung: Bewegung über „sieht für mich intestine aus“ bewegt wird

In der Softwareentwicklung ist „sieht intestine aus für mich“ (LGTM) eine häufig verwendete, wenn auch informelle Evaluierungsmetrik, die wir alle schuldig gemacht haben. Um zu verstehen, wie intestine ein Lappen oder ein KI -System funktioniert, brauchen wir einen strengeren Ansatz. Die Bewertung sollte auf drei Ebenen aufgebaut werden: Zielmetriken, Fahrermetriken und operative Metriken.

• Zielmetriken sind hochrangige Indikatoren, die an die Ziele des Projekts gebunden sind, wie z. B. Return on Funding (ROI) oder Benutzerzufriedenheit. Beispielsweise könnte eine verbesserte Benutzerbindung eine Zielmetrik in einer Suchmaschine sein.
• Fahrermetriken sind spezifische, häufigere Maßnahmen, die die Zielmetriken direkt beeinflussen, wie z. B. Relevanz und Genauigkeit der Erzeugung.
• Betriebsmetriken Stellen Sie sicher, dass das System effizient funktioniert, z. B. Latenz und Betriebszeit.

In Systemen wie RAG (Retrieval-Augmented-Technology) sind Treibermetriken von entscheidender Bedeutung, da sie die Leistung von Abruf und Technology bewerten. Diese beiden Faktoren wirken sich erheblich auf die Gesamtziele wie die Zufriedenheit der Benutzer und die Systemeffektivität aus. In diesem Artikel werden wir uns daher mehr auf Fahrermetriken konzentrieren.

Fahrermetriken zur Bewertung der Abrufleistung

Das Abrufen spielt eine entscheidende Rolle bei der Bereitstellung von LLMs mit einem relevanten Kontext. Mehrere Treibermetriken wie Präzision, Rückruf, MRR und NDCG werden verwendet, um die Abrufleistung von Lappensystemen zu bewerten.

• Präzision misst, wie viele relevante Dokumente in den High -Ergebnissen erscheinen.
• Abrufen Bewertet, wie viele relevante Dokumente insgesamt abgerufen werden.
• Mittlerer wechselseitiger Rang (MRR) misst den Rang des ersten relevanten Dokuments in der Ergebnisliste, wobei ein höherer MRR ein besseres Rating -System anzeigt.
• Normalisierter reduzierter kumulativer Gewinn (NDCG) Betrachtet sowohl die Relevanz als auch die Place aller abgerufenen Dokumente und verleiht den höheren Rangleuten mehr Gewicht.

Zusammen konzentriert sich MRR auf die Bedeutung des ersten relevanten Ergebniss, während NDCG eine umfassendere Bewertung der Gesamtranking -Qualität bietet.

Diese Treibermetriken helfen zu bewerten, wie intestine das System relevante Informationen abruft, was die Zielmetriken wie Benutzerzufriedenheit und Gesamtsystemeffektivität direkt auswirkt. Hybrid -Suchmethoden, wie das Kombinieren von BM25 mit Einbettungen, verbessern häufig die Abrufgenauigkeit in diesen Metriken.

Fahrermetriken zur Bewertung der Erzeugungsleistung

Nach dem Abrufen des relevanten Kontextes besteht die nächste Herausforderung darin, sicherzustellen, dass das LLM sinnvolle Antworten erzeugt. Zu den wichtigsten Bewertungsfaktoren gehören die Korrektheit (sachliche Genauigkeit), Treue (Einhaltung von abgerufenem Kontext), Relevanz (Ausrichtung mit der Abfrage des Benutzers) und Kohärenz (logische Konsistenz und Stil). Um diese zu messen, werden verschiedene Metriken verwendet.

• Token -Überlappungsmetriken wie PräzisionAnwesend AbrufenUnd F1 Vergleichen Sie den generierten Textual content mit dem Referenztext.
• ROUGE misst die längste häufige Subsequenz. Es wird bewertet, wie viel des abgerufenen Kontextes in der endgültigen Ausgabe aufbewahrt wird. Eine höhere Rouge -Punktzahl zeigt an, dass der generierte Textual content vollständiger und relevanter ist.
• Bleu Bewertet, ob ein Lappensystem ausreichend detaillierte und kontextreiche Antworten erzeugt. Es bestraft unvollständige oder übermäßig prägnante Antworten, die die volle Absicht der abgerufenen Informationen nicht vermitteln.
• Semantische ÄhnlichkeitBewertet mithilfe von Einbettungen, wie konzeptionell der generierte Textual content mit der Referenz ausgerichtet ist.
• Inferenz der natürlichen Sprache (NLI) bewertet die logische Konsistenz zwischen dem generierten und abgerufenen Inhalt.

Während traditionelle Metriken wie Bleu und Rouge nützlich sind, verpassen sie oft eine tiefere Bedeutung. Semantische Ähnlichkeit und NLI bieten reichhaltigere Einblicke in die Artwork und Weise, wie intestine der generierte Textual content sowohl auf die Absicht als auch auf den Kontext ausgerichtet ist.

Erfahren Sie mehr: Quantitative Metriken für die Bewertung des Sprachmodells vereinfacht

Reale Anwendungen von Rag-Systemen

Die Prinzipien hinter RAG -Systemen verändern bereits die Industrien. Hier sind einige ihrer beliebtesten und wirkungsvollsten Anwendungen im realen Leben.

1. Suchmaschinen

In Suchmaschinen verbessern optimierte Abrufpipelines die Relevanz und die Benutzerzufriedenheit. Beispielsweise hilft RAG, Suchmaschinen genauere Antworten zu geben, indem sie die relevantesten Informationen aus einem riesigen Korpus abrufen, bevor sie Antworten generieren. Dies stellt sicher, dass Benutzer faktenbasierte, kontextuell genaue Suchergebnisse und nicht generische oder veraltete Informationen erhalten.

2. Kundendienst

Im Kundenunterstützung bieten lagbetriebene Chatbots kontextbezogene, genaue Antworten. Anstatt sich ausschließlich auf vorprogrammierte Antworten zu verlassen, rufen diese Chatbots relevante Kenntnisse aus FAQs, Dokumentation und früheren Interaktionen dynamisch ab, um präzise und personalisierte Antworten zu liefern. Beispielsweise kann ein E-Commerce-Chatbot Rag verwenden, um Bestelldetails zu holen, Schritte zur Fehlerbehebung vorzuschlagen oder zu verwandte Produkte auf der Grundlage des Abfragemestrums eines Benutzers zu empfehlen.

3. Empfehlungssysteme

In Content material -Empfehlungssystemen stellt RAG sicher, dass die generierten Vorschläge den Benutzerpräferenzen und -bedürfnissen übereinstimmen. Streaming -Plattformen beispielsweise verwenden Sie RAG, um Inhalte nicht nur basierend auf dem zu empfehlen, was Benutzer mögen, sondern auch auf emotionalem Engagement, was zu einer besseren Bindung und Benutzerzufriedenheit führt.

4. Gesundheitswesen

In Anträgen im Gesundheitswesen unterstützt Rag Ärzten, indem sie relevante medizinische Literatur, Patientengeschichte und diagnostische Vorschläge in Echtzeit abrufen. Beispielsweise kann ein klinischer Assistent mit KI-betriebener Assistent mit RAG die neuesten Forschungsstudien abrufen und die Symptome eines Patienten mit ähnlichen dokumentierten Fällen überschreiten und Ärzten dabei helfen, fundierte Behandlungsentscheidungen schneller zu treffen.

5. Rechtsforschung

In juristischen Forschungsinstrumenten holt sich Lappen relevante Rechtsgesetze und rechtliche Präzedenzfälle ab, wodurch die Überprüfung der Dokumente effizienter wird. Eine Anwaltskanzlei kann beispielsweise ein Lappen-System verwenden, um die relevantesten früheren Entscheidungen, Statuten und Interpretationen im Zusammenhang mit einem laufenden Fall sofort abzurufen, wodurch die für die manuelle Forschung aufgewendete Zeit verringert wird.

6. Bildung

In E-Studying-Plattformen bietet RAG ein personalisiertes Studienmaterial und beantwortet die Pupil-Abfragen dynamisch auf kuratierten Wissensbasis an. Beispielsweise kann ein AI -Tutor Erklärungen aus Lehrbüchern, früheren Prüfungsarbeiten und On-line -Ressourcen abrufen, um genaue und maßgeschneiderte Antworten auf Fragen der Schüler zu generieren, wodurch das Erlernen interaktiver und adaptiver gestaltet wird.

Abschluss

So wie nach dem Nach-It-Anmerkungen einen fehlgeschlagenen Klebstoff in ein transformatives Produkt verwandelt haben, hat Rag das Potenzial, generative KI zu revolutionieren. Diese Systeme überbrücken die Lücke zwischen statischen Modellen und in Echtzeit, wissensreichen Antworten. Die Realisierung dieses Potenzials erfordert jedoch eine starke Grundlage für Bewertungsmethoden, die sicherstellen, dass KI-Systeme genaue, relevante und kontextbewusste Outputs erzeugen.

Durch die Nutzung fortschrittlicher Metriken wie NDCG, semantischer Ähnlichkeit und NLI können wir LLM-gesteuerte Systeme verfeinern und optimieren. Diese Metriken in Kombination mit einer intestine definierten Struktur, die Ziel-, Treiber- und Betriebsmetriken umfasst, ermöglichen Unternehmen die Leistung von KI- und RAG-Systemen systematisch.

In der sich schnell entwickelnden Landschaft der KI ist die Messung dessen, was wirklich wichtig ist, um das Potenzial in die Leistung zu verwandeln. Mit den richtigen Werkzeugen und Techniken können wir KI -Systeme erstellen, die in der Welt echte Auswirkungen haben.