Blog

Jun 08, 2023

Neue Sensoren und Bildverarbeitungsanwendungen treiben Fortschritte in der Optik voran

Alle Bilder Quelle: A3 Bevor eine Kamera ein Bild eines Objekts aufnehmen kann, muss das Objektiv Streulicht vom Objekt sammeln und es ordnungsgemäß über den aktiven Bereich des Sensors verteilen. Das ist eins

Alle Bilder Quelle: A3

Bevor eine Kamera ein Bild eines Objekts aufnehmen kann, muss das Objektiv das Streulicht des Objekts sammeln und es ordnungsgemäß über die aktive Fläche des Sensors verteilen. Dies ist einer der Gründe, warum Kamerasensoren und neue Bildverarbeitungsanwendungen tendenziell parallele Fortschritte in der Optik vorantreiben und Optiklieferanten sich mit dem Fortschritt der Bildverarbeitungstechnologien kontinuierlich weiterentwickeln müssen.

„Wir sehen immer wieder, dass Bildverarbeitungsanwendungen zu höheren Auflösungen führen“, sagt Nick Sischka, der kürzlich zum Leiter der Bildverarbeitungsproduktentwicklung bei Edmund Optics befördert wurde. „Wir bemerken nicht mehr, dass die Pixel deutlich kleiner werden, sondern sehen stattdessen eine Zunahme der Sensorgrößen.“

Da Unternehmen wie Gpixel und Sony weiterhin immer größere Sensoren (z. B. 152 MP) auf den Markt bringen, besteht die Herausforderung für Optiklieferanten darin, Schritt zu halten. Diese Objektive werden ziemlich groß sein – größer als Vollformatobjektive, die normalerweise in der Fotografie verwendet werden – und bis neue entwickelt werden, könnte ein fotografisches Mittelformatobjektiv die beste Option sein.

„Es müssen Objektive für die sehr großen 60,6-mm-Diagonalsensoren entwickelt werden, die mehr als 150 MP bieten“, sagt Mark Peterson, Mitbegründer und Vizepräsident für Spitzentechnologie bei Theia Technologies. „Leider werden diese Objektive aufgrund der Entwicklungskosten, der Größe des Objektivs und des anfänglich geringen Volumens zu einem Spitzenpreis angeboten.“

Jason Baechler, Präsident von MORITEX North America Inc., stimmt dem zu. „Beim Design von Optiken für immer größere Sensoren gibt es mehrere Herausforderungen, insbesondere wenn die Pixelgrößen/-abstände recht klein sind“, sagt er. „Die beiden größten Herausforderungen bestehen darin, die Größe und die Kosten der Objektive/Optiken zu kontrollieren, die mit solchen neuen Sensoren an die Kameras angepasst werden sollen. Abgesehen von der Herausforderung, alle verfügbaren Kamerasensoren zu berücksichtigen, erhöhen diese beiden Faktoren die Notwendigkeit, Kompromisse bei der Optik einzugehen.“ und mechanische Konstruktionen.“

Bei bi-telezentrischen Objektiven konzipiert MORITEX die Front-/Objektivlinsen so, dass sie das maximale Sichtfeld mit einer angestrebten Auflösung erreichen. Dieser vordere Teil des Objektivs kann dann für eine Vielzahl von Bildsensorformaten geeignet sein, wodurch die Komponentenvariation innerhalb des Portfolios minimiert und die Kosten für die teuersten telezentrischen Objektivkomponenten optimiert werden. Der hintere Linsenteil (Bildseite) variiert jedoch je nach Bildformat und führt dazu, dass die Länge nicht immer optimiert ist.

Aus diesem Grund, so Baechler, „bieten wir für Anwendungen mit geringerem Platzbedarf weiterhin objektseitige telezentrische Objektive unterschiedlicher Formate an.“ Allerdings können diese Objektive (MORITEX MMLs) nur mit einem bestimmten Sensorformat oder kleiner verwendet werden, sofern die Anschlussgröße gleich ist. Bei Fabrikautomatisierungsobjektiven und anderen nicht-telezentrischen Objektiven mit fester Brennweite (bei denen ein großes oder leistungsstarkes Objektiv die Kosten nicht in die Höhe treibt) wachsen die Kompromisse mit der Vielseitigkeit und Kostenwettbewerbsfähigkeit der Produkte.

Durch die Minimierung der Anzahl der Elemente in einem Objektiv und die Vereinfachung der optomechanischen Systeme für Arbeitsabstand (WD), Blende und Fokuseinstellung kann ein Objektiv für einen begrenzten Arbeitsabstandsbereich und/oder eine begrenzte Blendengröße konzipiert werden. Eine andere Möglichkeit, dies zu erreichen, besteht darin, Produkte zu entwickeln, die eine Reihe von Sensorformaten abdecken, und Halterungsadapter anzubieten, die zu verschiedenen Kameras passen.

„Dieser Ansatz hat den Vorteil einer verbesserten Auflösung, da das Sensorbildformat im Vergleich zum maximalen Bildformat des Objektivs kleiner wird“, erklärt Baechler. „Dadurch könnte ein Objektiv, das für eine Bilddiagonale (oder Linie) von 62 mm und 5 µm Pixel ausgelegt ist, mit einem Sensor mit 3 µm Pixeln und einer Diagonale von 43,5 mm mithalten.“

Als Reaktion auf die zunehmende Markteinführung größerer Sensoren hat Navitar Inc. auch Optiken entwickelt, die für die Verwendung mit größeren Kameraformaten optimiert sind. Ein neues Produkt eignet sich für anspruchsvolle Industrieanwendungen wie die Inspektion von Halbleiterwafern, FPD-Inspektion und MEMS sowie für biowissenschaftliche und biomedizinische Anwendungen wie Multiwell-Experimente und Zellbildgebung.

Jeremy Goldstein, Eigentümer und CEO von Navitar, weist darauf hin, dass neue Optiken, die die Vorteile der Kameras mit größerem Format nutzen, es Navitar ermöglichen, ihren Kunden größere Sichtfelder für die Bildgebung zu bieten, sodass der Kunde mehr vom Objekt gleichzeitig sehen kann. Dies erhöht die Verarbeitung Durchsatz und Geschwindigkeit der Datenerfassung, was für alle Branchen, sowohl die Industrie als auch die Medizin, äußerst wichtig ist.“

Insbesondere in der biologischen Forschung und bei Instrumenten verringert die Erfassung einer größeren Oberfläche einer Probe den Zeitaufwand für die Erfassung aussagekräftiger Daten und verringert die Möglichkeit einer Photobleichung markierter Zellen. Laut Goldstein wird die Zeit, die zuvor für das Bewegen der Optik, des Tisches oder das Warten darauf aufgewendet wurde, dass die Software mehrere Bilder zusammenfügt, durch die Verwendung des Systems erheblich reduziert.

Branchenberichte gehen davon aus, dass die nichtsichtbare Bildgebung, einschließlich Ultraviolett, kurzwelliges Infrarot, IR sowie Hyperspektral- und Multispektral, in den nächsten fünf Jahren um mehr als 30 Prozent wachsen wird. Da die Sensor-/Kameraoptionen in den letzten Jahren rasch erweitert wurden, sind die Kosten gesunken, was zu einer Explosion neuer Anwendungen geführt hat – was wiederum die Nachfrage nach einer Vielzahl von Objektiven erhöht hat, die für diese neuen Anwendungen erforderlich sind.

Peterson weist darauf hin, dass Theia in der Vergangenheit reine SWIR-Objektive entwickelt hat, bevor die neuen Hyperspektralsensoren verfügbar waren. „Jetzt evaluieren wir neue Objektivtypen, die mit den fortschrittlichen Vis-SWIR-Sensoren zusammenarbeiten können, die auf Wellenlängen von 400 nm bis 1700 nm reagieren, um ein ultraweites Bild zu liefern und tonnenförmige Verzerrungen ohne Software zu beseitigen.“

Er fügt hinzu: „Die ‚Killer-App‘ für dieses Vis-SWIR-Wellenlängenband wurde noch nicht identifiziert, aber die sinkenden Kosten von Hyperspektralsensoren werden die Verfügbarkeit von Linsen erfordern, die das breite Wellenlängenband ergänzen.“

Im Bereich der hyperspektralen Bildgebung hat Sony Breitband-Bildsensoren eingeführt, aber bis es eine tatsächliche hyperspektrale Beschichtung darüber gibt, werden die meisten Anwendungen laut Sischka ein schmales Wellenlängenband über diesen Sensor verwenden, wie z. B. SWIR.

„Es ist oft sinnvoller, eine Lösung mit mehreren Kameras und verschiedenen Sensoren zu haben, die sich auf unterschiedliche Wellenbereiche konzentrieren, als eine sehr teure Kamera zu haben, die das gesamte breite Spektrum abbilden kann“, sagt Sischka. „Eine Ausnahme hiervon wäre eine Anwendung, bei der die Minimierung des Gewichts im Vordergrund steht, wie etwa Luftaufnahmen einer Drohne.“

Weitere Fortschritte in der Optik, die für den Bildverarbeitungsmarkt von Bedeutung sind, umfassen Zoomobjektive, neue optische Materialien und verbesserte Herstellungsmethoden. Laut Peterson werden beispielsweise Zoomobjektive – die früher aufgrund von Bedenken hinsichtlich Vibrationseffekten auf die motorisierte Mechanik als unerwünscht galten – in größerer Zahl eingesetzt.

Die zunehmende Akzeptanz wird durch Anwendungen vorangetrieben, bei denen das Subjekt nicht nur ein einheitlich geformtes Produkt am Fließband ist, sondern ein Objekt in unbekannter und variabler Entfernung. Ein Beispiel sind mobile Anwendungen, bei denen sich das Objekt, der Bildgeber oder beide bewegen können. Unterdessen benötigen stationäre Roboter und fahrende autonome Roboter die Flexibilität eines Zoomobjektivs, um in einer dynamischen Umgebung zu navigieren und Objekte zu identifizieren.

Peterson sagt außerdem, dass motorisierte Objektive mit einstellbarem Zoom und Fokus eine größere Vielseitigkeit und Bequemlichkeit bieten und die Anpassung an sich ändernde Bedingungen, die Ferneinrichtung und den Betrieb ermöglichen. In Kombination mit hoher Auflösung und NIR-Korrektur sowie KI und maschinellem Lernen kann dieser Linsentyp ein leistungsstarkes Werkzeug sein, um anspruchsvollere Identifizierungs- und Erkennungsaufgaben wie Fehlererkennung, optische Zeichenerkennung (OCR) und automatische Nummernschilderkennung zu ermöglichen .

Eine solche Anwendung sind intelligente Verkehrssysteme (ITS), bei denen die Flexibilität zur Optimierung des Sichtfelds und der Fokusentfernung nach der Erstinstallation und ohne die Notwendigkeit, den Verkehr anzuhalten, durch motorisierten Zoom und Fokus ermöglicht wird. Die Bildoptimierung ist entscheidend, um die beste Leistung bei der Identifizierung von Zielen mithilfe von OCR, KI und maschinellem Lernen zu erzielen.

„Es besteht ein weit verbreitetes Missverständnis, dass ein Bildgebungssystem nur dann nützlich ist, wenn es pixelbegrenzt ist und mit der Nyquist-Frequenz arbeitet“, sagt Sischka. „Bildgebungsobjektive können tatsächlich über die Nyquist-Frequenz hinaus sehr nützlich sein, was bedeutet, dass die Pixelgröße kleiner ist als die fokussierte Punktgröße des Objektivs. Beispielsweise ist das Verschmieren mehrerer Pixel über ein Merkmal hinweg für intelligente Verkehrslösungen nützlich, da sie dadurch kleine Objekte erkennen können.“ Unterschiede zwischen Objekten, die einander relativ ähnlich aussehen.

Wie bereits erwähnt, wird die Einbeziehung von Metamaterialien sehr spannend sein, ist aber noch nicht ganz so weit, sagt Sischka. Die Materialwissenschaft wird für weitere Entwicklungen im Hinblick auf größere Sensoren und breitere Wellenlängenbereiche von entscheidender Bedeutung sein. Computergestützte Bildgebung und die Möglichkeit, diffraktive Elemente zu verwenden, haben ebenfalls zu jüngsten Fortschritten geführt.

Baechler stimmt zu. „Materialoptionen haben dazu beigetragen, die Kosten niedrig zu halten und gleichzeitig die Leistung von Linsen zu steigern, die für IR-SWIR-Sensoren entwickelt wurden“, sagt er. „Flüssigkeitslinsen ermöglichen neuartige Lösungen und erhöhen auch die Vielseitigkeit bestehender optischer Basisdesigns.“

Als Samsung, ein Spezialist für die Herstellung von LCD-Displays, seinen Schwerpunkt von der Herstellung von LCD-Panels auf die Herstellung von QD-OLED-Panels (Quantum-Dot Display Organic Light Emitting Diode) verlagerte, benötigte das Unternehmen neue automatische optische Inspektionsmaschinen (AOI), um diese durchzuführen Inspektion. Die AOI-Lösung erforderte ein modulares Mikroskopsystem zur Durchführung der Inspektion. Samsung evaluierte verschiedene Objektive verschiedener Hersteller, entschied sich jedoch für das Navitar 4X HR-Objektiv, weil es im Vergleich zu einem 5X-Objektiv der Konkurrenz nicht nur ein größeres Sichtfeld bot, sondern auch eine höhere NA bot.

Goldstein sieht auch die weitere Ausweitung der Verwendung „fortgeschrittener Montagetechniken, die die Zentrierung jedes optischen Elements der Linsenbaugruppe sicherstellen, anstatt sich nur darauf zu verlassen, Linsenelemente einfach in Zylinder fallen zu lassen“, und fügt hinzu, dass Navitar an der Spitze dieser Technologie steht. „Durch die Kombination der fortschrittlichen Montagetechniken mit dem erweiterten Einsatz automatisierter Linsen-Sensor-Integrationsgeräte verbessern wir die Linsenleistung und verbessern die Abbildungsleistung des optischen Systems erheblich.“

Während Objektivhersteller versuchen, mit der Einführung neuer Kamerasensoren und der Ausweitung von Bildverarbeitungsanwendungen, bei denen fortschrittliche Lösungen jetzt machbar sind, Schritt zu halten, ergeben sich ständig neue Möglichkeiten – auch im Bereich der Robotik und autonomen Maschinen. Durch die Erhöhung des Dynamikbereichs werden autonome Fahrzeuge wesentlich robuster und Roboter sind nun in der Lage, Multitasking durchzuführen. In Einzelhandelsanwendungen können sie gleichzeitig Produktausfälle, Sicherheitsrisiken und Etikettenabweichungen erkennen. Wie die meisten Roboter automatisieren sie mühsame, sich wiederholende Aufgaben und setzen menschliches Talent für höherwertige Aufgaben frei, die mehr Nuancen und Diskretion erfordern.

Neben neuen Anwendungen profitieren auch bestehende Anwendungen von dem höheren Durchsatz, der durch großformatige Optiken erreicht wird, die die Vorteile der großformatigen Sensoren nutzen. Die Bereitstellung von mehr Daten zur Verbesserung der Bildqualität und Bildverarbeitungsgeschwindigkeit sollte die Effizienz und Leistung der KI verbessern und weitere Fortschritte in der Automatisierung ermöglichen. Präzise Daten und Metadaten zu Optiken und Sensoren sind entscheidend für die Umsetzung von Konzepten wie dem digitalen Zwilling und der Industrie 4.0.

John Lewis ist Marktentwicklungsmanager von Cognex Corp. (Natick, MA). Für weitere Informationen rufen Sie (508) 650-3000 an oder besuchen Sie www.cognex.com.