Europäischen KI-Verordnung

POSITION | DIGITALPOLITIK | KÜNSTLICHE INTELLIGENZ

BDI-Stellungnahme zum Entwurf einer europäischen KI-Verordnung Durch eine innovationfreundliche Ausgestaltung die Wettbewerbsfähigkeit des Industriestandorts Europa sichern.

8. November 2021 Executive Summary Künstliche Intelligenz (KI) zählt zu den wichtigsten Schlüsseltechnologien in der Industrie. Unbürokratische und innovationsfreundliche Rahmenbedingungen für den Einsatz von KI sind vor diesem Hintergrund eine zentrale Voraussetzung, um die Innovations- und Wettbewerbsfähigkeit der deutschen und europäischen Industrie langfristig zu sichern.

Es ist richtig, dass der am 21. April 2021 von der Europäischen Kommission vorgelegte Entwurf für eine europäische KI-Regulierung den Fokus auf KI-Systeme legt, mit denen hohe Risiken verbunden sein können. Bei den vorgeschlagenen Regelungen besteht an vielen Stellen allerdings noch erheblicher Nachbesserungsbedarf. Im Kern kommt es darauf an, eine Überregulierung industrieller Anwendungsbereiche von KI zu vermeiden. Andernfalls besteht die Gefahr, dass die Entwicklung innovativer Anwendungen der Schlüsseltechnologie KI bereits im Ansatz geschwächt wird.

Da die Ausgestaltung des Rechtsrahmens für den Einsatz von KI somit weitreichende Auswirkungen auf die Wettbewerbsfähigkeit europäischer Unternehmen hat, muss die industrielle Anwendungsperspektive von KI im weiteren Rechtsetzungsprozess gleichrangig mitberücksichtigt werden. Dringend geboten ist zudem eine eindeutig von konventioneller Software abgegrenzte KI-Definition. Wenn der Rechtsrahmen für KI in Europa innovationsfreundlich ausgestaltet wird, können sich europäische Unternehmen in Kombination ihrer industriellen Stärke mit den Möglichkeiten der KI im internationalen Wettbewerb einen entscheidenden Vorteil verschaffen.“ Kernforderungen der deutschen Industrie: 1. Die Kategorie der „Hochrisiko-KI-Systeme“ sollte auf KI-Systeme beschränkt werden, die mit hohen Risiken verbunden sind und nicht vom geltenden europäischen und nationalen Produktsicherheitsrecht erfasst werden. Industrielle KI-Systeme, die bereits durch bestehendes Recht reguliert werden, sollten hingegen vom Anwendungsbereich ausgenommen werden.

2. Die Vorgaben für „Hochrisiko-KI-Systeme“ sollten an zahlreichen, in der vorliegenden Positionierung näher ausgeführten Stellen so angepasst werden, dass sie in einem angemesseneren Verhältnis zu den adressierten Risiken stehen und in der Praxis von Unternehmen realistischerweise und mit einem vertretbaren Aufwand umgesetzt werden können.

3. Das innovationsfördernde Instrument der KI-Reallabore sollte so ausgestaltet werden, dass dieses auch für kleinere und mittelständische Unternehmen (KMU) und Startups auf niederschwellige Art und Weise zugänglich ist.

Oliver Klein & Stefanie Ellen Stündel | Digitalisierung und Innovation | T: +49 30 2028-1502 | o.klein@bdi.eu | www.bdi.eu

BDI-Stellungnahme zum Entwurf einer europäischen KI-Verordnung

Inhaltsverzeichnis Executive Summary ............................................................................................................................ 1 Allgemeine Bestimmungen und Rechtssystematik ......................................................................... 3 Räumlicher Anwendungsbereich .......................................................................................................... 4 NLF-Systematik und Verhältnis zu anderen Rechtsakten .................................................................... 4 Verbot bestimmter KI-Anwendungen ................................................................................................ 5 Vorgaben für Hochrisiko-KI-Systeme ............................................................................................... 5 Anforderungen an Hochrisiko-KI-Systeme ............................................................................................ 5 Pflichten für Anbieter von Hochrisiko-KI-Systemen .............................................................................. 7 Pflichten für weitere Marktteilnehmer .................................................................................................... 8 Notifizierte Behörden und Notifizierte Stellen........................................................................................ 9 Konformitätsbewertung ......................................................................................................................... 9 Vorgaben für KI-Systeme der Kategorie „begrenztes Risiko“ ....................................................... 9 Maßnahmen zur Innovationsförderung ........................................................................................... 10 Governance ........................................................................................................................................ 10 Post-Market Monitoring, Informationsaustausch und Marktüberwachung ................................ 11 Beobachtung von Hochrisiko-KI-Systemen nach dem Inverkehrbringen ........................................... 11 Incident-Reporting ............................................................................................................................... 11 Marktüberwachungen .......................................................................................................................... 11 Vertraulichkeitsbestimmungen und Sanktionsregime .................................................................. 12 Vertraulicher Umgang mit von Marktteilnehmern bereitgestellten Informationen ............................... 12 Sanktionen........................................................................................................................................... 12 Ermächtigungen zum Erlass Delegierter Rechtsakte und Durchführungsrechtsakte ............... 12 Schlussbestimmungen ..................................................................................................................... 13 Addendum: Maßnahmen zur Förderung eines europäischen KI-Ökosystems (Coordinated Plan-Review) ...................................................................................................................................... 13 Impressum ......................................................................................................................................... 14

2

BDI-Stellungnahme zum Entwurf einer europäischen KI-Verordnung

Allgemeine Bestimmungen und Rechtssystematik In den Art. 1-7 VO-E werden der Gegenstand und Anwendungsbereich sowie zentrale Rechtsbegriffe der europäischen KI-Verordnung definiert. Von zentraler Bedeutung für die Industrie sind in diesem Zusammenhang die im Nachfolgenden näher betrachteten Definitionen von „KI-System“ und „Hochrisiko-KI-System“. An diesen Punkten besteht aus Sicht der deutschen Industrie noch erheblicher Nachbesserungsbedarf. In Bezug auf die weiteren Legaldefinitionen im Verordnungstext sollte darüber hinaus eine Einheitlichkeit mit den Definitionen in bereits existierenden Rechtsakten auf Basis des New Legislative Frameworks (NLF) sichergestellt werden. Aus rechtssystematischen Gründen sollte im weiteren Verlauf des Rechtsetzungsverfahrens zudem geprüft werden, ob – wie von der EU-Kommission vorgesehen – auch die „Nutzer“ von KI-Systemen von der Verordnung erfasst werden sollten, da das Rechtsinstrument nach Punkt 2.1. der Gesetzesbegründung als „Hauptziel“ das „reibungslose Funktionieren des Binnenmarktes“ verfolgt.

Definition von “KI-System” und “Hochrisiko-KI-System“ Der dem Verordnungs-Entwurf zugrunde liegende KI-Begriff („artificial intelligence system“) wird in Art. 3 Ziff. (1) i.V.m. Anhang I VO-E definiert. Zwar ist es im Grunde begrüßenswert, dass sich die EUKommission an dieser Stelle an der OECD orientiert 1 und somit an eine bestehende Debatte zur Erarbeitung von Definitionskriterien für KI anknüpft. Die von der Kommission im VO-E gewählten Definitionskriterien, insbesondere die im Anhang I aufgeführten Techniken und Konzepte („statistische Ansätze“, „Such- und Optimierungsmethoden“), würden allerdings dazu führen, dass auch konventionelle Software in den Anwendungsbereich der Verordnung fallen würde. Um Rechtsunsicherheiten für Marktteilnehmer zu vermeiden und einen spezifischen sowie klar abgrenzbaren Anwendungsbereich der VO zu gewährleisten, muss die KI-Definition folglich deutlich enger gefasst werden. Zudem sollte im weiteren Verlauf des Rechtsetzungsverfahrens geprüft werden, ob die KI-Definition zur rechtssicheren Anwendung der Verordnung – analog zur Vorgehensweise der OECD – auf die Ebene des „Systems“ (einschließlich Hardware) abstellen sollte.

Darüber hinaus sollten nach Inkrafttreten der Verordnung möglicherweise erforderliche Anpassungen der Legaldefinition nicht – wie in Art. 4 VO-E vorgesehen – über einen delegierten Rechtsakt erfolgen.

Da es sich bei der KI-Definition um eine wesentliche Bestimmung der Verordnung handelt, sollten Anpassungen nur auf dem Wege eines ordentlichen Gesetzgebungsverfahrens erfolgen.

Sehr kritisch ist aus Industriesicht zudem die in Art. 6 VO-E vorgenommene Definition des Begriffs der „Hochrisiko KI-Systeme“ zu bewerten. Die Kommission wählt an dieser Stelle ebenfalls eine sehr weite Definition, mit der KI, die in einer Vielzahl von Bereichen zum Einsatz kommt, der Hochrisiko-Kategorie zugeordnet wird. Diese Begriffsdefinition geht deutlich zu weit, da dadurch auch unkritische industrielle KI-Anwendungen als „Hochrisiko KI-Systeme“ betrachtet werden. Die Folge wären unverhältnismäßige regulatorische Anforderungen an Hersteller und Anwender industrieller KI, die letztlich innovationshemmend wirken würden. Das geltende nationale und europäische Produktsicherheitsrecht legt zudem bereits umfassende Sicherheitsanforderungen fest, mit denen auch Künstliche Intelligenz als Risikoursache abgedeckt wird. Vor diesem Hintergrund besteht an dieser Stelle die Gefahr einer Doppelregulierung. Es sollten daher nur solche Bereiche von der europäischen KI-Verordnung erfasst werden, für die eine Regulierungslücke nachgewiesen wurde. Industrielle KI-Systeme, die bereits durch bestehendes Recht reguliert werden, sollten hingegen vom Anwendungsbereich der Verordnung ausgenommen werden. In jenen Bereichen, in denen eine Regelungslücke besteht, sollten zusätzliche Kriterien für die Einstufung von KI-Systemen in die Hochrisiko-Kategorie herangezogen werden. Dazu

1

Vgl. Definition von „AI system“ unter https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449

3

BDI-Stellungnahme zum Entwurf einer europäischen KI-Verordnung

zählen etwa die menschliche Aufsicht über ein KI-System oder das Vorhandensein technischer Kontrollmechanismen, da diese den Risikograd, der von einem KI-System ausgeht, maßgeblich beeinflussen können.

In Bezug auf die in Art. 7 VO-E geregelten Änderungen der in Art. 6 (Klassifizierungsvorschriften für Hochrisiko-KI-Systeme) referenzierten Anhänge bedarf es aus Industriesicht darüber hinaus einer genaueren Spezifizierung der in diesen Fällen anzuwendenden Übergangsfristen.

Räumlicher Anwendungsbereich Der Verordnungsentwurf erhebt auch einen umfassenden extraterritorialen Geltungsanspruch. So soll nach Art. 2 Abs. 1 lit. c) VO-E die Verordnung auch für Anbieter und Nutzer von KI-Systemen gelten, die in einem Drittland niedergelassen oder ansässig sind, wenn das vom System hervorgebrachte Ergebnis in der EU verwendet wird. Nach dem Willen der Kommission sollen so gleiche Wettbewerbsbedingungen und die Freiheitsrechte in der Union gewährleistet werden (siehe u. a. Erwägungsgrund 10). Insbesondere soll mit dieser Bestimmung aber eine Umgehung der Vorgaben der Verordnung verhindert werden. Diese Zielsetzung ist grundsätzlich begrüßenswert. Gleichwohl fehlt es an einer Konkretisierung, wie diese Vorschrift zu handhaben ist und wie diese sich auf internationale Datentransfers von personen- und nicht-personenbezogenen Daten auswirken könnte. Ferner ist begrifflich nicht klar abgrenzbar, was unter „Ergebnis“ bzw. „Output“ zu verstehen ist, und wie sich diese Vorschrift beispielsweise auf Analyseergebnisse großer internationaler Datensätze auswirken würde. Um in der Praxis die Handhabbarkeit der Bestimmung für Unternehmen zu erleichtern, sollte eine stärkere Konkretisierung dieser Begrifflichkeiten erfolgen. Eine Verpflichtung von KI-Nutzern, in der Wertschöpfungskette die Herkunft eines KI-Ergebnisses nachvollziehen zu müssen, sollte jedenfalls ausgeschlossen werden.

NLF-Systematik und Verhältnis zu anderen Rechtsakten Der BDI unterstützt ausdrücklich den Ansatz der EU-Kommission, die Prinzipien des New Legislative Frameworks (NLF) zu nutzen und sich somit auf existierende Prozeduren zu stützen. Die Stärke des NLF liegt insbesondere im Zusammenspiel von gesetzlichen Vorgaben und harmonisierten Europäischen Normen (hEN), also den von den europäischen Normungsorganisationen auf Grundlage eines Auftrages der Kommission zur Durchführung von Harmonisierungsvorschriften nach Verordnung (EU) 1025/2012 erarbeiteten Normen, die nach Prüfung durch die Kommission im EU-Amtsblatt („Official Journal“) gelistet werden.

Der Prozess steht über nationale Spiegelgremien allen interessierten Stakeholdern offen. Der Fortschritt der Normung ist für alle transparent, sodass eine hohe Planbarkeit auf allen Seiten vorliegt. Die Entscheidungen werden im Konsens getroffen, erfreuen sich breiter Akzeptanz und haben Relevanz für den gesamten Binnenmarkt. Durch diese Arbeitsteilung wird der europäische Gesetzgeber von der Erarbeitung der Detailregelungen entlastet, der Rechtsrahmen wird flexibel gehalten und die so entstehenden Normen sind praxisnah und damit leicht durch Unternehmen zu implementieren. Der BDI ist überzeugt, dass das NLF einen geeigneten Ansatz bietet, um eine regulatorische Basis für KI im EU-Binnenmarkt zu schaffen.

Die Regulierung von KI-Anwendungen, die durch das bestehende nationale und europäische Produktsicherheitsrecht nicht erfasst werden, sollte über allgemeine horizontale Vorgaben erfolgen, die in allen betroffenen Sektoren gleichermaßen berücksichtigt werden müssen. Mit Blick auf die Umsetzung der horizontalen Vorgaben muss allerdings gewährleistet werden, dass diese sektorspezifisch konkretisiert bzw. in bereits bestehende sektorspezifische Regelungen überführt werden können. Im Ergebnis muss

4

BDI-Stellungnahme zum Entwurf einer europäischen KI-Verordnung

sichergestellt werden, dass nur ein einziges Konformitätsbewertungsverfahren durchgeführt werden muss und Doppelungen von Prozessen vermieden werden.

Verbot bestimmter KI-Anwendungen Art. 5 VO-E enthält eine Beschreibung jener KI-Anwendungen, die zukünftig verboten werden sollen.

Wie in Erwägungsgrund 15 dargelegt, sollen damit Anwendungen untersagt werden, die grundlegenden Werten und Rechten der Europäischen Union zuwiderlaufen. Der BDI begrüßt dieses Ziel, um das Vertrauen in den Einsatz Künstlicher Intelligenz nachhaltig zu stärken. Aus Gründen der Rechtssicherheit sollten die von Art. 5 VO-E erfassten KI-Praktiken jedoch eindeutiger spezifiziert werden, da der Artikel bis dato sehr viele unbestimmte Rechtsbegriffe (z. B. „unterschwellige Beeinflussung“) enthält.

Gerade vor dem Hintergrund der hohen Sanktionsandrohungen nach Art. 71 VO-E mit bis zu 6 Prozent des weltweiten Jahresumsatzes ist eine ausreichende Bestimmtheit der Anforderungen zwingend erforderlich, um rechtliche Grauzonen zu verhindern und für Unternehmen Rechtssicherheit zu schaffen.

Vorgaben für Hochrisiko-KI-Systeme Anforderungen an Hochrisiko-KI-Systeme In den Art. 8ff. VO-E werden jene Anforderungen definiert, die für eine Konformität von Hochrisiko KISystemen einschlägig sind. Die von der Kommission vorgeschlagenen Anforderungen sind insgesamt sehr weitreichend und mit einem hohen Bürokratieaufwand verbunden. Die Entwicklung von KI-Systemen für Anwendungsbereiche, die in die Hochrisiko-Kategorie fallen, würde dadurch gehemmt werden.

Zudem geht aus dem Verordnungs-Entwurf nicht eindeutig hervor, in welchem Verhältnis einzelne Anforderungen der KI-Verordnung (z. B. zur Erfassung von Log-Daten) zu den Vorgaben anderer EURechtsakte (z. B. der Datenschutz-Grundverordnung) stehen. Aus Sicht der deutschen Industrie besteht daher auch an dieser Stelle noch deutlicher Nachbesserungs- und Präzisierungsbedarf.

Art. 9 VO-E enthält konkret die Anforderung zur Einrichtung eines Risikomanagementsystems für Hochrisiko-KI-Systeme. Die in Art. 9 Abs. 2 lit. a) VO-E enthaltene Risikodefinition sollte aus Gründen der Rechtsklarheit hinsichtlich der mit dem Risikomanagementsystem zu adressierenden Risikoarten (ausgehend von den übergeordneten Regelungszielen der Verordnung wären dies Gesundheits- und Sicherheitsrisiken sowie Risiken in Bezug auf die Grundrechte natürlicher Personen) spezifiziert werden. In Bezug auf die Umsetzung eines Risikomanagementsystems für entsprechende KI-Systeme ist es Kreditinstituten nach Art. 9 Abs. 9 VO-E erlaubt, das geforderte Managementsystem in Risikomanagement-Prozesse zu integrieren, die durch eine sektorspezifische Richtlinie (RL 2013/36/EU) vorgeschrieben werden. Die Möglichkeit, das Risikomanagement für als Hochrisiko-KI klassifizierte Systeme in bestehende, je nach Unternehmen gegebenenfalls auch weltweit geltende Risikomanagement-Prozesse zu integrieren, sollte allen betroffenen Branchen eingeräumt werden, um unnötigen Bürokratieaufwand zu vermeiden.

In Art. 10 VO-E werden darüber hinaus Anforderungen an Trainings-, Validierungs- und Testdatensätze sowie deren Governance formuliert, die insgesamt sehr weitreichend sind. Einzelne Anforderung wie die in Art. 10 Abs. 3 VO-E geforderte Fehlerfreiheit von Datensätzen sind zudem in der Praxis de facto nicht zu realisieren. Vor diesem Hintergrund sollte an diesen Stellen stärker auf die Implementierung von Prozessen abgestellt werden, die einen systematischen und regelgeleiteten Umgang mit Trainings-, Validierungs- und Testdatensätzen sicherstellen. Aus Sicht des BDI besteht im vorliegenden Kontext zudem ein Spannungsverhältnis mit den Vorgaben des europäischen Datenschutzrechts.

Da für das Trainieren von KI-Systemen möglichst viele Daten erforderlich sind, kommt dem Teilen von

5

BDI-Stellungnahme zum Entwurf einer europäischen KI-Verordnung

Datensätzen in der Praxis eine besondere Bedeutung vor. Die geltenden Datenschutzbestimmungen für personenbezogene Daten erschweren jedoch das Teilen von Daten. Dies gilt insbesondere dann, wenn beispielsweise Mischdatensätze vorhanden sind. Dieses Spannungsverhältnis muss mitberücksichtigt werden, wenn es darum geht, einen innovationsfreundlichen Rechtsrahmen für den Einsatz von KI in Europa zu realisieren.

Zu den wesentlichen Anforderungen in diesem Kapitel zählt auch die in Art. 11 VO-E enthaltene Pflicht zur Erstellung einer Technischen Dokumentation. Die in Anhang IV spezifizierten Inhalte der Technischen Dokumentation sind ebenfalls sehr weitreichend. Ein Beispiel ist die unter Ziff. 2. lit. b) geforderte detaillierte Beschreibung der „Elemente des KI-Systems“, worunter u. a. Algorithmen gefasst werden.

Da entsprechende Informationen Geschäftsgeheimnisse darstellen können, ist an dieser Stelle eine besonders sorgfältige Abwägung des Informationsinteresses des Adressatenkreises der Technischen Dokumentation mit den Schutzbedürfnissen des betroffenen Unternehmens erforderlich.

Art. 12 VO-E enthält darüber hinaus eine Pflicht zur Erfassung von Log-Daten. In Bezug auf die Ausgestaltung der Log-Daten-Erfassung wird in Art. 12 Abs. 1 VO-E auf einschlägige Standards verwiesen, was vom BDI ausdrücklich begrüßt wird. Für in Anhang III Ziff. 1 lit. a) aufgeführte biometrische Identifizierungsverfahren sieht Art. 12 Abs. 4 lit. c) VO-E ferner eine verpflichtende Speicherung von Input-Daten vor. Da mit der Speicherung sensibler Input-Daten selbst Risiken verbunden sein können, sollte hinterfragt werden, ob diese Bestimmung zweckmäßig ist. Darüber hinaus könnten die umfangreichen Anforderungen des Art. 12 VO-E dazu führen, dass KI aus wirtschaftlichen Gründen (Bürokratieaufwände) in bestimmten Bereichen nicht eingesetzt wird. Solche negativen Auswirkungen gilt es zu verhindern, um den Potenzialen von KI in der gesamten Wirtschaft zum Durchbruch zu verhelfen.

In Bezug auf die in Art. 13 VO-E beschriebenen Anforderungen an die Gebrauchsinformationen, die einem als Hochrisiko-KI klassifizierten System beizufügen sind, ist es aus Industriesicht fraglich, ob die teils sehr detaillierten und technischen Informationen (z. B. in Bezug auf eingesetzte Testdaten) tatsächlich einen praktischen Informationswert für die Anwender entsprechender KI-Lösungen bieten.

Um die Gebrauchsinformationen in der Praxis handhabbar und verständlich zu halten, sollte sich der in Art. 13 Abs. 3 VO-E enthaltene Anforderungskatalog auf wesentliche Informationen (z. B. besondere Risiken im Falle eines nicht-bestimmungsgemäßen Gebrauchs des KI-Systems) beschränken. Besonders kritisch sind außerdem die in Art. 13 Abs. 3 lit. b) VO-E Abschnitt ii geforderten Angaben zum Grad der erwartbaren Genauigkeit, Robustheit und Cybersicherheit eines KI-Systems zu bewerten.

Entsprechende Angaben sollten sich auf eine allgemeine Beschreibung der umgesetzten Maßnahmen zur Sicherstellung eines angemessenen Niveaus an Genauigkeit, Robustheit und Cybersicherheit beschränken. Eine Auslobung von Produkteigenschaften wie dem „erwartbaren“ Niveau an Cybersicherheit, die nicht vollumfänglich in der Verantwortungssphäre des Anbieters eines KI-Systems liegen, wird hingegen u. a. aus haftungsrechtlichen Gründen strikt abgelehnt.

Zu den weiteren Vorgaben zählt die in Art. 14 VO-E enthalte Anforderung, Hochrisiko KI-Systeme so zu konzipieren und entwickeln, dass diese „von natürlichen Personen wirksam beaufsichtigt werden können.“ Eine laufende und detaillierte Überwachung von KI-Systemen durch den Menschen ist jedoch nicht in allen Fällen möglich, da die Logik der Entscheidungen nicht immer auf Anhieb nachvollziehbar ist und die Geschwindigkeit von automatisierten KI-Systemen in vielen Fällen zu hoch ist. Denn KISysteme werden insbesondere dort eingesetzt, wo sie menschlichen Entscheidungen in Teilen oder vollständig überlegen sind. Die Regelungsinhalte von Art. 14 sollten sich daher auf grundlegende Anforderungen an die menschliche Aufsicht beschränken. Auf realistischerweise in der Praxis nicht umsetzbare Detailregelungen sollte hingegen verzichtet werden. Zudem ist eine klare Beschränkung der Anforderungen von Art. 14 VO-E auf die entscheidungstragenden Elemente von KI-Systemen geboten.

Technische Systeme, mit denen die in Art. 14 adressierten Schutzziele ebenfalls erreicht werden können, sollten in dem Artikel zudem als gleichwertige Absicherungsmechanismen angeführt werden.

6

BDI-Stellungnahme zum Entwurf einer europäischen KI-Verordnung

Die in Art. 15 VO-E definierten Anforderungen an die Genauigkeit, Robustheit und Cybersicherheit sind generisch beschrieben, sodass Unternehmen grundsätzlich die erforderliche Flexibilität zur Umsetzung der Anforderungen erhalten. Statt auf den unbestimmten Rechtsbegriff des „angemessenen Niveaus“ an Genauigkeit, Robustheit und Cybersicherheit abzustellen, sollte eine Erfüllung der Anforderung an die Genauigkeit, Robustheit und Cybersicherheit von Hochrisiko-KI-Systemen jedoch an eine Umsetzung von – den jeweiligen Risiken angemessenen und im jeweiligen Marktsegment bzw.

Anwendungsfeld der KI üblichen – Maßnahmen nach dem „Stand der Technik“ gebunden sein.

Pflichten für Anbieter von Hochrisiko-KI-Systemen In Bezug auf die in den Art. 16ff. spezifizierten Anbieterpflichten ist zunächst unbedingt eine klare Rollenabgrenzung durch die Verordnung erforderlich. Insbesondere muss vor dem Hintergrund der Komplexität der Wertschöpfungsketten im Bereich der künstlichen Intelligenz (vgl. dazu auch EG 60) eindeutig geregelt sein, wann bzw. unter welchen Voraussetzungen ein Unternehmen als „Anbieter“ eines Hochrisiko-KI-Systems gilt.

In der vorliegenden Fassung deckt der Verordnungs-Entwurf Fallkonstellationen nicht adäquat ab, in denen ein Anbieter von „Hochrisiko-KI“ Technologie (z. B. pre-trained data models) von einem Zulieferer einkauft. In diesem Fall verfügt der Anbieter nicht automatisch über alle notwendigen Daten, um die Anforderungen der Verordnung (z. B. Art. 10) erfüllen zu können. Der Zugriff auf die erforderlichen Daten wäre allein abhängig von der jeweiligen Vertragsgestaltung der Geschäftspartner. Die Verordnung sollte daher auch für solche Fallkonstellationen eine faire Verantwortungsverteilung innerhalb der Lieferkette vorsehen.

Dabei sollte gleichzeitig vermieden werden, dass innerhalb einer Lieferkette mehrere Unternehmen als „Anbieter“ ein und desselben KI-Systems anzusehen sind, was zu einer unnötigen und kostenverursachenden Pflichtenverdopplung führen würde.

Aus Sicht der deutschen Industrie muss außerdem allgemein sichergestellt werden, dass die Pflichten aus Art. 16ff. VO-E für Anbieter in der Praxis tatsächlich erfüllbar sind. Während Art. 16 VO-E auf einzuhaltende Pflichten referenziert, die an anderer Stelle im VO-E festgelegt sind, enthält Art. 17 VOE die Vorgabe zur Umsetzung eines Qualitätsmanagementsystems zur Sicherstellung der Compliance der europäischen KI-Verordnung. Ausdrücklich begrüßt wird die Verhältnismäßigkeitsklausel in Art. 17 Abs. 2 VO-E, nach der die Umsetzung der Vorgaben des Art. 17 VO-E verhältnismäßig zur Größe des jeweiligen Unternehmens sein soll. Das unter Art. 9 VO-E geforderte Risikomanagementsystem stellt nach Art. 17 Abs. 1 lit. g) VO-E einen Bestandteil des Qualitätsmanagementsystems dar. Analog zu den Bestimmungen für Kreditinstitute sollte es auch in Bezug auf die Umsetzung von Art. 17 VO-E branchenübergreifend allen Unternehmen ermöglicht werden, die Umsetzung der geforderten Elemente durch eine Integration entsprechender Prozesse und Maßnahmen in bestehende Qualitätsmanagementsysteme abzudecken.

Art. 20 Abs. 1 VO-E spezifiziert die Aufbewahrungsfrist der nach Art. 12 VO-E zu erfassenden LogDaten für Anbieter von Hochrisiko-KI-Systemen. Die Aufbewahrung von Logdaten muss aus Sicht des BDI in einem angemessenen Verhältnis zum Einsatzzweck des betroffenen KI-Systems stehen, um unverhältnismäßige Aufwände auf Seiten der Unternehmen zu vermeiden. Art. 20 Abs. 1 VO-E sieht eine solche Angemessenheit zwar vor. Die Bestimmung muss allerdings dringend um das Kriterium der technischen Realisierbarkeit ergänzt werden, da in der Praxis technische Restriktionen einer Speicherung von Logdaten in dem vom VO-E geforderten Umfang und Zeitraum entgegenstehen können.

Als Beispiel sei auf das Edge-Computing verwiesen, bei dem die Datenverarbeitung dezentral, d. h. auf der Ebene der einzelnen Komponenten eines Netzwerks (z. B. Endgeräte, Sensoren oder Mikrokontroller) erfolgt. Aus technischen Gründen, insbesondere aufgrund begrenzter Speicherkapazitäten,

7

BDI-Stellungnahme zum Entwurf einer europäischen KI-Verordnung

ist in solchen Fällen eine umfassende Speicherung von Logdaten in der Regel nicht möglich. Die vorgesehenen Anforderungen würden somit Innovationen ausgerechnet in Bereichen hemmen, in denen Europa besondere Stärken aufzuweisen hat – nämlich beim Edge-Computing und der Edge-KI. Analog dazu gibt es auch in Bezug auf die in Art. 29 Abs. 5 VO-E enthaltene Logdaten-Aufbewahrungspflicht für Anwender von Hochrisiko KI-Systemen Nachbesserungsbedarf. Auch diese Anforderung muss so ausgestaltet sein, dass sie in der Praxis realistischerweise erfüllbar ist.

Die von KI-Anbietern gegenüber Aufsichtsbehörden offen zu legenden Informationen werden in Art. 23 VO-E beschrieben. Da an dieser Stelle Geschäftsgeheimnisse berührt werden können, ist auch im vorliegenden Fall eine gründliche Abwägung des Auskunftsinteresses der Aufsichtsbehörden mit den Schutzbedürfnissen der Unternehmen erforderlich. Um diesen Schutzbedürfnissen angemessen Rechnung zu tragen, sollten entsprechende Informationen von Seiten der Aufsichtsbehörden nicht „auf Verdacht“ angefordert werden dürfen. Betroffene Unternehmen sollten vielmehr die Möglichkeit erhalten, im Falle einer berechtigten behördlichen Anfrage zunächst nach eigenem Ermessen jene Informationen bereitzustellen, die aus ihrer Sicht eine Beantwortung des behördlichen Auskunftsinteresses ermöglichen.

Nach Art. 24 VO-E übernimmt der Hersteller eines Produkts, in das ein Hochrisiko-KI-System verbaut ist, „die Verantwortung für die Konformität des KI-Systems mit dieser Verordnung“ und unterliegt in Bezug auf das KI-System zudem den Anbieterpflichten der KI-Verordnung. Produkthersteller sollten in diesen Fällen jedoch von Pflichten ausgenommen werden, die realistischerweise nur durch den Anbieter des verbauten KI-Systems erfüllt werden können. Dazu zählt etwa die in Art. 16 VO-E (Pflichten für Anbieter von Hochrisiko-KI-Systemen) enthaltene Vorgabe zur Erstellung einer technischen Dokumentation zu einem Hochrisiko-KI-System, da die hierfür erforderlichen Informationen (insbesondere aus Gründen des Schutzes von Geschäftsgeheimnissen) in der Regel beim Anbieter verbleiben und nicht an den Produkthersteller weitergegeben werden. Zudem sollte sich aus den Bestimmungen des Art. 24 VO-E kein Erfordernis ergeben, Doppelzertifizierungen von KI-Systemen vorzunehmen.

Pflichten für weitere Marktteilnehmer In Art. 28 VO-E werden Fallkonstellationen definiert, in denen „Händler, Einführer, Nutzer oder sonstige Dritte“ als Anbieter im Sinne der europäischen KI-Verordnung gelten und in der Folge die Anbieterpflichten nach Art. 16 VO-E erfüllen müssen. Die Bestimmung bezieht sich dabei auf die Kategorie der Hochrisiko-KI-Systeme. Um gleiche Wettbewerbsbedingungen herzustellen, sollten auch Händler, Einführer, Nutzer oder sonstige Dritte, die ein bereits in Verkehr gebrachtes oder in Betrieb genommenes KI-System einer anderen Kategorie zu einem Hochrisiko-KI-System im Sinne der europäischen KIVerordnung modifizieren, unter den Geltungsbereich von Art. 28 VO-E fallen.

Zu den von Art. 28 VO-E erfassten Fallkonstellationen zählen u. a. Fälle, in denen die genannten Akteure ein Hochrisiko-KI-System unter „ihrem Namen oder ihrer Marke in Verkehr bringen oder in Betrieb nehmen.“ In der Praxis kommen diese Konstellationen häufiger vor, da Unternehmen ihre KITechnologien auch an Kunden (z. B. KMU) lizenzieren. Die in Art. 28 VO-E vorgesehenen Bestimmungen hätten zur Folge, dass der Lizenzgeber seinem Lizenznehmer umfassenden Zugriff auf die zur Erfüllung der Provider-Anforderungen nach Art. 16 VO-E erforderlichen Daten (z. B. Test- und Trainingsdaten) einräumen müsste.

In Bezug auf die in Art. 29 Abs. 5 VO-E normierte Pflicht zur Aufbewahrung automatisch generierter Logdaten muss die in Abs. 5 enthaltene Angemessenheitsbestimmung analog zu Art. 20 VO-E dringend um das Kriterium der technischen Realisierbarkeit ergänzt werden, da in der Praxis technische Restriktionen einer Speicherung von Logdaten in dem vom VO-E geforderten Umfang und Zeitraum entgegenstehen können (vgl. ausf. Ausführungen zu Art. 20 VO-E weiter oben).

8

BDI-Stellungnahme zum Entwurf einer europäischen KI-Verordnung

Notifizierte Behörden und Notifizierte Stellen Die Notifizierung von Konformitätsbewertungsstellen sowie die Anforderungen an notifizierte Stellen werden in Kapitel 4 VO-E festgelegt. Da ausreichende Prüfkapazitäten auf Seiten der notifizierten Stellen eine zentrale Voraussetzung für einen schnellen Marktzugang von KI-Systemen darstellen, müssen Politik und Wirtschaft frühzeitig darauf hinarbeiten, dass die Anforderungen der KI-Verordnung mit den zur Verfügung stehenden Prüfkapazitäten im Einklang stehen.

Konformitätsbewertung Art. 40 VO-E legt in Bezug auf die Anforderungen an Hochrisiko-KI-Systeme eine Konformitätsvermutung bei der Anwendung harmonisierter Normen fest. Dieses Prinzip wird ausdrücklich begrüßt. Die bestehenden Normen decken aktuell jedoch nur einen Teil der in Kapitel 2 VO-E definierten Anforderungen an Hochrisiko-KI-Systeme ab. Da die Erstellung harmonisierter Normen einen Normungsauftrag der Europäischen Kommission voraussetzt, sollte die Kommission rechtzeitig und mit hoher Priorität vor Inkrafttreten der Verordnung gemeinsam mit der Wirtschaft den konkreten Normungsbedarf in den verschiedenen Bereichen ermitteln und darauf basierend Normungsaufträge vergeben. Denn das Vorliegen harmonisierter Normen ist eine wesentliche Voraussetzung, um die Anforderungen der KIVerordnung auf Seiten der Unternehmen operationalisierbar machen zu können.

Art. 41 VO-E sieht für bestimmte Fälle – u. a. beim Fehlen einschlägiger harmonisierter Normen – eine Ermächtigung der Kommission zur Ausarbeitung gemeinsamer Spezifikationen auf dem Wege von Durchführungsrechtsakten vor. Entsprechende Aktivitäten sollten nicht in Konkurrenz zu bereits laufenden Standardisierungs- und Normungsverfahren treten. Die Erstellung harmonisierter Normen sollte zudem - im Vergleich zur Ausarbeitung gemeinsamer Spezifikationen - immer Vorrang haben bzw. die bevorzugte Handlungsalternative darstellen. Wenn eine Ausarbeitung gemeinsamer Spezifikationen nach dem in Art. 41 Abs. 1 VO-E vorgesehenen Verfahren in begründeten Ausnahmefällen tatsächlich geboten ist, muss die Kommission Sorge dafür tragen, dass alle betroffenen Stakeholdergruppen die Möglichkeit zur Mitwirkung an diesem Prozess erhalten.

Die in Art. 42 Abs. 2 VO-E enthaltene Vermutungswirkung in Bezug auf die in Art. 15 VO-E festgelegten Cybersicherheitsanforderungen sollte nicht ausschließlich für Zertifizierungen gemäß der Verordnung (EU) 2019/881 gelten. Eine entsprechende Vermutungswirkung sollte auch von anderen bereits existierenden oder in Zukunft veröffentlichten europäischen und internationalen Zertifizierungsschemata sowie Normen und Standards ausgehen, die die Cybersicherheitsanforderungen der europäischen KIVerordnung mit abdecken.

Art. 43 Abs. 4 VO-E sieht eine Pflicht zur Durchführung eines neuen Konformitätsbewertungsverfahrens vor, wenn als Hochrisiko-KI klassifizierte Systeme „wesentlich geändert“ werden. Dieser unbestimmte Rechtsbegriff sollte konkretisiert werden, um Unternehmen eine rechtssichere Auslegung der Bestimmung zu ermöglichen. Die in den Abs. 5 und 6 enthaltenen weitereichenden Ermächtigungen der Europäischen Kommission zur Änderung von Elementen und Anwendungsbereichen der Konformitätsbewertungsverfahren sollten jeweils um eine Formulierung ergänzt werden, die eine umfangreiche Stakeholderbeteiligung vorschreibt.

Vorgaben für KI-Systeme der Kategorie „begrenztes Risiko“ Die deutsche Industrie unterstützt das Ziel, dass natürliche Personen erkennen sollten, ob sie mit einem KI-System interagieren, sofern dieser Umstand nicht ohnehin offensichtlich ist. Denn Transparenz an dieser Stelle leistet einen wichtigen Beitrag, um das Vertrauen der Menschen in KI zu stärken.

9

BDI-Stellungnahme zum Entwurf einer europäischen KI-Verordnung

Wichtig ist in diesem Zusammenhang, dass die Anforderungen in Art. 52 VO-E kohärent zu vergleichbaren Anforderungen in anderen Rechtsakten, bspw. den Anforderungen zur Transparenz von Digitalen Services im DSA, ausgestaltet werden.

Maßnahmen zur Innovationsförderung Der BDI begrüßt ausdrücklich den Ansatz der Kommission, die regulatorischen Vorgaben der Verordnung durch innovationsfördernde Maßnahmen zu ergänzen. Diese sind – neben einer innovationsfreundlichen Ausgestaltung des Rechtsrahmens für den Einsatz von KI in der EU – eine weitere wesentliche Voraussetzung, um Europa zu einem weltweit führenden Standort für Künstliche Intelligenz zu entwickeln.

Die von der Kommission in Art. 53 VO-E vorgesehenen KI-Reallabore („Regulatory Sandboxes“) stellen in diesem Zusammenhang ein zentrales Instrument zur Innovationsförderung dar, von dem zahlreiche Unternehmen profitieren werden. Damit das Instrument auch für KMU und Startups auf eine niederschwellige Art und Weise zugänglich ist, werden zudem die in Art. 55 Abs. 1 lit. a) VO-E vorgesehenen Unterstützungsmaßnahmen für KMU ausdrücklich begrüßt.

Die Rechtsgrundlage für die Einrichtung von Reallaboren sollte bereits aus den Art. 53 und 54 VO-E eindeutig hervorgehen. Zudem sollten die Maßnahmen im Einklang mit den Aktivitäten des Rates in diesem Bereich stehen und flexible Experimentierklauseln umfassen. Sofern technische Details über das in Art. 53 Abs. 6 VO-E aufgeführte Verfahren zu regeln sind, sollten Unternehmen und Forschungsinstitutionen umfassend in diesen Prozess einbezogen werden.

Governance Um einer Marktfragmentierung innerhalb der Europäischen Union entgegenzuwirken und Unternehmen die notwendige Rechtssicherheit zu geben, kommt es bei der Umsetzung der in Titel VI VO-E vorgesehenen Governance-Struktur ganz entscheidend darauf an, eine einheitliche Rechtsanwendung der Vorgaben der KI-Verordnung innerhalb der EU sicherzustellen. Öffentliche Behören müssen zudem mit ausreichenden Ressourcen und der notwendigen fachlichen Expertise ausgestattet werden, um die in der VO vorgesehenen Aufgaben angemessen erfüllen zu können. Darüber hinaus ist aus Industriesicht unbedingt sicherzustellen, dass die zuständigen nationalen Behörden eine ganzheitliche Perspektive auf das Thema KI vertreten, d. h. neben einer Überwachung der Einhaltung der regulatorischen Vorgaben der Verordnung auch die darin vorgesehenen innovationsfördernden Instrumente aktiv umsetzen und weiterentwickeln.

Auch der in Art. 56 VO-E vorgesehene Europäischer Ausschuss für Künstliche Intelligenz wird in der Praxis eine wichtige Rolle einnehmen. Da in anderen Rechtsgebieten die Arbeitsergebnisse (Leitfäden u. a.) vergleichbarer Ausschüsse in der Praxis eine hohe Bindungswirkung erzeugen, ist eine umfangreiche Beteiligung von Stakeholdern an der Arbeit des Europäischen Ausschusses für Künstliche Intelligenz von hoher Bedeutung. Die Kann-Formulierung zur Stakeholderbeteiligung in Art. 57 Abs. 4 VO-E sollte daher durch eine verbindliche Vorgabe, interessierte Dritte regelmäßig zu konsultieren, ersetzt werden.

In Bezug auf die durch Art. 59 VO-E eingesetzten „zuständigen nationalen Behörden“ bedarf es aus Sicht der deutschen Industrie noch einer deutlicheren Klarstellung des Verhältnisses zu Aufsichtsbehörden, die durch andere EU-Rechtsakte, insbesondere den in Anhang II VO-E aufgelisteten NLFRechtsakten, eingesetzt werden. Eine entsprechende Klarstellung ist von hoher Bedeutung, um

10

BDI-Stellungnahme zum Entwurf einer europäischen KI-Verordnung

Kompetenzüberschneidungen und damit einhergehende Schnittstellenproblematiken und Parallelaufwände für Unternehmen zu vermeiden.

Post-Market Monitoring, Informationsaustausch und Marktüberwachung Beobachtung von Hochrisiko-KI-Systemen nach dem Inverkehrbringen Anbieter von Hochrisiko-KI-Systemen sollen nach den Bestimmungen des Art. 61 VO-E dazu verpflichtet werden, ein System zur Beobachtung des KI-Systems nach dessen Inverkehrbringens einzurichten, um damit fortlaufend sowohl die Compliance als auch die „Leistung“ (definiert in Art. 3 Ziff. 18 VO-E als „Fähigkeit eines KI-Systems, seine Zweckbestimmung zu erfüllen“) des KI-Systems zu überprüfen.

Aus Sicht des BDI ist diese umfangreiche Anforderung für Anbieter von Hochrisiko-KI-Systemen in der Praxis kaum zu erfüllen, da die in Art. 61 Abs. 2 VO-E aufgeführten Voraussetzungen, insbesondere die Verfügbarkeit der zur Erfüllung der Anforderung benötigten Daten, häufig nicht gegeben sind. Dies trifft beispielsweise auf die häufig anzutreffenden Konstellationen zu, in denen die Betriebsdaten eines KI-Systems zur Umsetzung von Vertraulichkeitsanforderungen vollständig beim Anwender verbleiben.

Dasselbe gilt, wenn ein Produkthersteller ein Hochrisiko-KI-System gemäß Art. 24 VO-E in einem seiner Produkte in Verkehr bringt oder in Betrieb nimmt. In diesem Fall erhält im Regelfall lediglich der Produkthersteller die Felddaten seines Endprodukts, nicht aber der Anbieter des Hochrisiko-KI-Systems. Vor diesem Hintergrund sollten sich die Vorgaben des Art. 61 VO-E auf solche Anforderungen beschränken, die typischerweise von einem Anbieter von Hochrisiko-KI-Systemen erfüllt werden können.

Incident-Reporting Art. 62 VO-E sieht eine Meldepflicht für Anbieter von Hochrisiko-Ki-Systemen im Falle „schwerwiegender Vorfälle oder Fehlfunktionen vor.“ Aus dem Artikel sowie den erläuterten Teilen des Verordnungsentwurfs (z. B. Kapitel 5.1. der Begründung) geht jedoch nicht eindeutig hervor, wie seitens der Aufsichtsbehörden mit entsprechenden Vorfallsmeldungen umgegangen wird und welcher Folgeprozess in diesem Zusammenhang vorgesehen ist. Aus Sicht der Industrie ist es daher im weiteren Rechtsetzungsprozess erforderlich, die Transparenz an diesem Punkt deutlich zu erhöhen.

Marktüberwachungen Art. 64 VO-E, der den behördlichen Zugang zu Daten und Dokumentationen von KI-Systemen regelt, sollte um die Anforderung ergänzt werden, dass die darin aufgeführten auskunftsberechtigten Behörden ihre Auskunftsersuchen gegenüber den Marktteilnehmern begründen müssen. Auf diese Weise soll insbesondere sichergestellt werden, dass nicht mehr sensible Daten (z. B. Informationen der Kategorie Geschäftsgeheimnisse) abgefragt werden, als tatsächlich benötigt werden Das in Art. 67 VO-E vorgesehene Recht der Marktüberwachungsbehörden, unter bestimmten Voraussetzungen Nachbesserungen auch für KI-Systeme zu verlangen, die den Vorgaben der KI-Verordnung entsprechen, ist aus Sicht der deutschen Industrie sehr weitreichend. Besonders die als Handlungsoption vorgesehene Aufforderung, ein KI-System vom Markt zu nehmen, würde zu massiven Rechtsunsicherheiten auf Seiten der Unternehmen führen.

Zur Sicherstellung einer europaweit einheitlichen Anwendung und Auslegung der Bestimmungen der KI-Verordnung muss darüber hinaus aus Industriesicht auch in der Praxis der Ausübung von Marktüberwachungsfunktionen ein einheitliches und abgestimmtes Vorgehen der zuständigen Behörden

11

BDI-Stellungnahme zum Entwurf einer europäischen KI-Verordnung

gewährleistet werden. Dies gilt auch in Bezug auf die in Art. 59 geregelte Benennung nationaler Aufsichtsbehörden in den einzelnen Mitgliedsstaaten.

Vertraulichkeitsbestimmungen und Sanktionsregime Vertraulicher Umgang mit von Marktteilnehmern bereitgestellten Informationen Der vertraulichen Behandlung von Daten, die Behörden und notifizierten Stellen von Seiten der Unternehmen zur Erfüllung der Anforderungen der KI-VO zur Verfügung gestellt werden, kommt eine zentrale Bedeutung zu, um sensible Daten und Geschäftsgeheimnisse zu schützen. Die diesbezüglichen Regelungen im Verordnungs-Entwurf, die Bestimmungen in Art. 70 VO-E, sind jedoch recht unkonkret gehalten, da Art. 70 VO-E abgesehen von der Festlegung allgemeiner Schutzziele (z. B. Schutz von „Rechte[n] des geistigen Eigentums“ in Art. 70 Abs. 1 lit. a) VO-E) keine technisch-organisatorischen Anforderungen vorgibt, welche die empfangende Behörden und notifizierte Stellen in diesem Zusammenhang einhalten müssen. Kritisch zu werten ist aus Industriesicht zudem der in Art. 70 Abs. 4 VOE enthaltene Erlaubnistatbestand zum Informationsaustausch mit Drittstaaten. An dieser Stelle sind die Voraussetzungen für einen Datentransfer ebenfalls sehr vage formuliert (z. B. Kriterium „where necesseary“ in Art. 70 Abs. 4 VO-E), sodass aus Industriesicht ein angemessener Informationsschutz nicht gegeben erscheint.

Sanktionen Nach Art. 71 Abs. 3 VO-E sollen bei Missachtung des Verbots der in Artikel 5 genannten Praktiken sowie bei Nichtkonformität nach Art. 10 VO-E Geldbußen in Höhe von 6 Prozent des weltweiten Jahresumsatzes eines Unternehmens verhängt werden können, bei Verstößen gegen sonstige Anforderungen und Pflichten des VO-E bis zu 4 Prozent des gesamten weltweiten Jahresumsatzes. Da 4 Prozent des Jahresumsatzes die höchstmögliche Strafe gemäß Art. 83 Abs. 5 DSGVO darstellt, wird durch die Sanktionsregeln der KI-Verordnung dieser Sanktionsrahmen nochmals übertroffen. Der BDI sieht keine Rechtfertigung dafür, Bußgelder in einer Höhe, die allenfalls aus dem Wettbewerbsrecht bekannt ist, im vorliegenden Fall für eine völlig neue Innovation zu übernehmen. Die Vorfeldwirkung der Sanktionsandrohung darf auf keinen Fall zur Innovationsbremse für die Entwicklung von KI in Europa werden. Denn die Komplexität der Anforderungen, verbunden mit den hohen Sanktionsandrohungen, könnte auch zum Hemmschuh für kleinere und mittlere Zulieferer werden. Das Bußgeldniveau sollte deshalb angepasst werden. Andernfalls ist zu befürchten, dass die Tendenz zu einer immer strengeren Regulierung in Verbindung mit strengen Durchsetzungsinstrumenten Innovationen ausbremsen und sich als schädlich für den Binnenmarkt erweisen werden. Gerade auch mit Blick auf die hohe Sanktionsandrohung muss die Ausgestaltung des VO-E rechtssicher sein und dabei eine hinreichende Bestimmtheit der Ver- und Gebote geschaffen werden. Ferner ist es zwingend notwendig, eine einheitliche Auslegung und Anwendung der Regelungen in der gesamten Union zu garantieren, um eine Fragmentierung des Binnenmarkts durch unterschiedliche Rechtsanwendung zu vermeiden. In diesem Sinne ist es sinnvoll, wenn der Europäische Datenschutzbeauftragte die Überwachung der nationalen Behörden übernimmt (vgl. Art. 72 VO-E). Auch sollte die Systematik (z. B. die Behandlung von Konzernen/verbundenen Unternehmen) offengelegt werden, auf deren Basis Bußgelder in der Praxis festgesetzt werden. Gleiches gilt für die angedachten Sanktionsstufen unterhalb der im VO-E aufgeführten maximalen Sanktionshöhe.

Ermächtigungen zum Erlass Delegierter Rechtsakte und Durchführungsrechtsakte

12

BDI-Stellungnahme zum Entwurf einer europäischen KI-Verordnung

Der Verordnungsentwurf der Europäischen Kommission enthält an zahlreichen Stellen Ermächtigungen zum Erlass Delegierter Rechtsakte und Durchführungsrechtsakte. Sowohl die Anzahl als auch die Regelungsinhalte, die mit diesen Rechtsakten adressiert werden sollen, sind aus Industriesicht nicht angemessen. Delegierte Rechtsakte dürfen sich nur auf die Ergänzung oder Änderung „nicht wesentlicher“ Bestimmungen in EU-Basisrechtsakten beziehen (Art. 290 Abs. 1 AEUV). Alle zentralen Voraussetzungen der Verordnung müssen damit in der Rechtsordnung selbst definiert werden, damit die Grundsätze der Rechtsstaatlichkeit und der Bestimmtheit gewahrt bleiben und dürfen nicht später durch delegierte Rechtsakte eingeführt oder verändert werden.2 Dies gilt insbesondere für die Definition von KI.

Schlussbestimmungen Laut Art. 83 Abs. 2 VO-E sollen die Bestimmungen der KI-Verordnung auch für Hochrisiko-KI-Systeme gelten, die vor Anwendung der VO in Verkehr gebracht oder in Betrieb genommen wurden, wenn diese „danach in ihrer Konzeption oder Zweckbestimmung wesentlich geändert wurden.“ Der BDI lehnt einen nachträglichen Einbezug bereits existierender KI-Systeme ab, da dieser mit unverhältnismäßig hohen nachträglichen Anpassungsaufwänden für die Anbieter entsprechender KI-Systeme einhergehen würde.

Addendum: Maßnahmen zur Förderung eines europäischen KI-Ökosystems (Coordinated Plan-Review) Der BDI begrüßt ausdrücklich, dass die geplante Regulierung des Einsatzes bestimmter Kategorien von KI-Systemen in der EU durch weitere Maßnahmen zur Förderung der Wettbewerbsfähigkeit europäischer Unternehmen im Bereich der Schlüsseltechnologie KI ergänzt wird.

Der zu diesem Zweck von der Europäischen Kommission zusammen mit dem Regulierungsvorschlag am 21. April 2021 vorgelegte “Coordinated Plan on Artificial Intelligence 2021 Review“, basiert auf dem 2018 von der Kommission veröffentlichten „Coordinated Plan on Artifical Intelligence“ und erläutert, wie Künstliche Intelligenz in der Gesellschaft besser etabliert und deren Einsatz schneller gefördert werden kann. Hierfür werden Initiativen der EU, aber auch die Zusammenarbeit mit den Mitgliedsstaaten sowie die Implementierung von KI-Strategien in den einzelnen Ländern in den Fokus gerückt.

Der BDI begrüßt, dass sich im Coordinated Plan auch zahlreiche Initiativen und Vorschläge zur Förderung von KMU wiederfinden. Insbesondere begrüßt der BDI das ambitionierte Ziel, private und öffentliche Investitionen in KI in der nächsten Dekade im Umfang von bis zu 20 Milliarden Euro jährlich zu mobilisieren.

Nach dem Willen der Kommission soll ein besonderer Fokus auf die Harmonisierung der KI-Strategien in den Mitgliedsstaaten gelegt werden. Hierfür sollte die Kommission die richtigen Rahmenbedingungen setzen, denn gerade bei Themen der Digitalisierung ist ein europaweit einheitliches bzw. kohärentes Vorgehen zentral. Bei allen Maßnahmen es zudem wichtig, die Erfahrungen der Unternehmen frühzeitig in den Prozess mit einzubeziehen. Aus Sicht des BDI wäre es in diesem Zusammenhang ferner sinnvoll, die europäischen und nationalen Strategien und deren Umsetzungsmaßnahmen einem regelmäßigen Effektivitätscheck zu unterziehen, um den Erfolg der einzelnen Maßnahmen besser evaluieren zu können. Ferner sollten rechtliche Hürden für Unternehmen weiter abgebaut werden. Dies

2

Vgl. Urteil des Gerichtshofs der Europäischen Union vom 13. Dezember 2018 (T339/16, T352/16 und T391/16); Rn. 116-120.

13

BDI-Stellungnahme zum Entwurf einer europäischen KI-Verordnung

gilt beispielsweise für wettbewerbsrechtliche Hürden, damit auch Daten- und KI-Partnerschaften rechtssicher von Unternehmen eingegangen werden können.

Auch der Fachkräftemangel stellt die deutsche Industrie vor große Herausforderungen. Der BDI unterstützt daher eine Fortbildungs- und Weiterbildungsinitiative im Bereich KI. Lebenslanges Lernen und die Etablierung einer Fortbildungskultur in den Unternehmen sind wichtige Eckpfeiler, um dem Fachkräftemangel langfristig entgegenzuwirken. Die Einführung des sogenannten Digital Education Action Plans der Kommission ist daher ein guter erster Schritt, um langfristig mehr Fachkräfte in Schlüsseltechnologien auszubilden.

Impressum Bundesverband der Deutschen Industrie e.V. (BDI) Breite Straße 29, 10178 Berlin www.bdi.eu T: +49 30 2028-0 Redaktion Oliver Klein Referent Digitalisierung und Innovation T: +49 30 2028-1502 o.klein@bdi.eu Stefanie Ellen Stündel Referentin Digitalisierung und Innovation T: + +3227921015 s.stuendel@bdi.eu

14

BDI-Stellungnahme zum Entwurf einer europäischen KI-Verordnung

BDI Dokumentennummer: D 1411

15