Daten

Bedingungen für die Weiterverwendung

Die Open Beauty Facts Datenbank ist unter der Open Database License.
verfügbar. Die einzelnen Inhalte der Datenbank sind unter der Database Contents License verfügbar.
Die Produktbilder sind unter der Creative Commons Attribution ShareAlike Lizenz verfügbar. Sie könnten grafische Elemente enthalten, die dem Urheberrecht oder anderen Rechten unterliegen, die in einigen Fällen vervielfältigt werden können (Zitierrechte oder Fair Use).

Bitte lesen Sie die Nutzungs- und Weiterverwendungsbedingungen, bevor Sie die Daten weiterverwenden.

Erzählen Sie uns von Ihrer Weiterverwendung

Wir sind sehr daran interessiert, zu erfahren, wofür die Open Beauty Facts-Daten verwendet werden. Es ist nicht verpflichtend, aber wir würden uns sehr freuen, wenn Sie uns über Ihre Wiederverwendungen informieren würden, damit wir diese mit der Open Beauty Facts-Community teilen können. Sie können auch das Formular ausfüllen, um eine Gelegenheit zu bekommen, dass Ihre App vorgestellt wird.

Open Beauty Facts Datenexporte

Datenbank-Abbildungen und -Exporte werden nächtlich generiert. Die Datenbank ist sehr groß, so dass Sie je nach Exportvariante verschiedene Möglichkeiten zur Nutzung der Daten finden können.

Informationen über die verschiedenen Felder für den MongoDB-Dump und den CSV-Export finden Sie unter https://world.openbeautyfacts.org/data/data-fields.txt

MongoDB-Datenbankauszug

Die Daten für alle Produkte sind in einem MongoDB-Datenbankdump verfügbar.

Herunterladen

https://static.openbeautyfacts.org/data/openbeautyfacts-mongodbdump.gz

SHA-256-Prüfsummen

https://static.openbeautyfacts.org/data/gz-sha256sum

MD5-Prüfsummen

https://static.openbeautyfacts.org/data/gz-md5sum

Delta-Export

Tägliche Delta-Exporte werden für die letzten 14 Tage bereitgestellt. Die Liste der derzeit verfügbaren Delta-Dateien ist zu finden unter https://static.openbeautyfacts.org/data/delta/index.txt.

Jede Zeile steht für eine Datei, die unter https://static.openbeautyfacts.org/data/delta/{filename} verfügbar ist.

Der Dateiname enthält den UNIX-Zeitstempel der ersten und der letzten in der JSON-Datei enthaltenen Änderung, so dass die Deltadateien (nach der Extraktion) mit mongoimport in alphabetischer Reihenfolge importiert werden können.

Bitte beachten Sie, dass die Delta-Dateien aufgrund der Natur von mongoexport nicht über gelöschte Produkte informieren können. Um gelöschte Produkte aus Ihrer Datenbank zu entfernen, müssen Sie den vollständigen MongoDB-Dump importieren.

CSV-Datenexport

Die gesamte Datenbank ist auch im Format JSONL (manchmal auch LDJSON oder NDJSON genannt) verfügbar, wobei jede Zeile ein JSON-Objekt entspricht. Dies entspricht den gleichen Daten wie der MongoDB-Export. Die Datei wird mit gzip komprimiert.

Herunterladen

https://static.openbeautyfacts.org/data/openbeautyfacts-products.jsonl.gz

Ein geeigneter Weg, die Datenbank zu nutzen, ist die Verwendung von DuckDB, einem prozessbegleitenden Analysetool, das große Datenmengen in Sekundenbruchteilen verarbeiten kann. Lesen Sie unseren Blogpost, in dem wir Sie durch die Analyse und Verarbeitung der Open Beauty Facts-Datenbank mit DuckDB führen

Parquet-Datenexport auf Hugging Face

Eine vereinfachte Version des JSONL-Dumps ist auch im Parquet-Format verfügbar. Bei der Konvertierung wurden Spalten herausgefiltert, die doppelte Informationen enthalten, für die interne Fehlersuche verwendet werden oder für die Benutzer einfach irrelevant sind.

Das Parquet-Format hat sich als praktisch erwiesen:

• Die Daten sind spaltenorientiert statt zeilenorientiert organisiert. Dies spart Speicherplatz und beschleunigt Analyse-Abfragen, da gezielt nur die relevanten Spalten auswählen können. So wird die Abfrageleistung selbst auf Einsteiger-Rechnern optimiert.
• Hocheffiziente Datenkomprimierung und -dekomprimierung, die sich für die Speicherung und gemeinsame Nutzung großer Datenmengen jeder Art eignet,
• Unterstützt komplexe Datentypen und tief verschachtelte Datenstrukturen.

Der Datensatz ist auf Hugging Face verfügbar, einem kollaborativen Ökosystem für maschinelles Lernen, in dem Entwickler und Forscher Modelle und Datensätze austauschen können.

Herunterladen

https://huggingface.co/datasets/openfoodfacts/product-database/resolve/main/beauty.parquet?download=true

Weitere Informationen finden Sie im Wiki, einschließlich Leitlinien für die Wiederverwendung von Daten und Beispielabfragen für den Einstieg.

CSV-Daten-Export

Die Daten für alle oder einen Teil der Produkte können im CSV-Format (lesbar mit OpenOffice, Excel und vielen anderen Programmen) über das Formular Erweiterte Suche heruntergeladen werden.

Links

Essen: https://static.openfoodfacts.org/data/en.openfoodfacts.org.products.csv.gz (komprimierte CSV im GZIP-Format: ≈ 0,9 GB, unkomprimiert: ≈ 9 GB)

Kosmetika: https://static.openbeautyfacts.org/data/en.openbeautyfacts.org.products.csv.gz

Tiernahrung: https://static.openpetfoodfacts.org/data/en.openpetfoodfacts.org.products.csv.gz

Alle anderen Produkte: https://static.openproductsfacts.org/data/en.openproductsfacts.org.products.csv.gz

Als Dateikodierung wird Unicode UTF-8 verwendet. Als Trennzeichen für die Felder wird <tab> (Tabellierung) verwendet.

Export von Bilddaten

Die Datenbank ist auch im RDF-Format verfügbar (dies ist ein Experiment und wird nicht mehr aktiv gepflegt). Sie können die Ankündigung auf Französisch lesen.

Herunterladen

https://world.openbeautyfacts.org/data/en.openbeautyfacts.org.products.rdf.gz

Export von Bilddaten

Alle Bilder und OCR-Ergebnisse können entweder von unserem Server oder von AWS (über das AWS Open Data Program) heruntergeladen werden. Lesen Sie unsere Dokumentation, um mehr über das Herunterladen von Bildern zu erfahren

OpenAPI-Dokumentation für die JSON-API

Eine JSON-API ist ebenfalls verfügbar, um die Daten für ein Produkt auszulesen. Diese API wird insbesondere in der mobilen App Open Beauty Facts für iPhone und Android verwendet.

Wir verbessern die API im Laufe der Zeit, achten aber darauf, die Rückwärtskompatibilität zu wahren. Bitte setzen Sie sich mit uns in Verbindung, wenn Sie es verwenden, damit wir Sie über mögliche Änderungen informieren können.

URL zum Lesen der Daten für ein Produkt: https://world.openbeautyfacts.org/api/v2/product/[barcode].json

Beispiel: https://world.openbeautyfacts.org/api/v2/product/3600550578041.json

Wenn die Ausgabe zu umfangreich ist, können Sie sie filtern - wie in der API-Dokumentation beschrieben.

• API V3 - neue OpenAPI-Dokumentation (In Vorbereitung)

OpenAPI-Hilfe gesucht

Wir sind bestrebt, die Dokumentation der API fertigzustellen, Anwendungsfälle hinzuzufügen und die SDK-Generierung zu automatisieren. Wenn Sie ein OpenAPI-Kenner sind, sind Sie herzlich eingeladen, uns zu unterstützen.

Sie können die API gerne für Produktionsabläufe verwenden, sofern 1 API-Aufruf = 1 realer Scan durch einen Benutzer entspricht. Jeder Versuch, die Datenbank auf diese Weise abzuschöpfen, wird sehr wahrscheinlich verhindert, da vollständige tägliche Exporte auf dieser Seite verfügbar sind.

Auch das Senden eines HTTP-Headers mit Ihrem API-Aufruf ist eine gute Möglichkeit, mit uns in Kontakt zu treten, falls irgendwelche Probleme auftreten sollten.

Wenn Sie unsicher sind oder eine Frage haben (es gibt keine dummen Fragen), können Sie sie im #api-Kanal auf Slack stellen 🙂

Experimentelle XML-API

Sie können das Ergebnis auch als XML-Datei erhalten, indem Sie .xml verwenden

Kontakt

Diese API wird nicht aktiv gepflegt und ist nicht offiziell dokumentiert.

Wrappers und SDKs

Wir haben wahrscheinlich einen Wrapper für Ihre bevorzugte Programmiersprache. Wenn wir dies tun, können Sie es nutzen und verbessern. Wenn wir es nicht tun, können Sie uns helfen, ihn zu erstellen.

Sie ermöglichen Ihnen den Verbrauch von Daten und lassen Ihre Nutzer neue Daten beitragen

Allgemeine Grundsätze, um Ihre Nutzer zufrieden zu stellen

• Sie können nach Informationen von Produkten suchen, einschließlich vieler nützlicher Berechnungswerte.
• Wenn Sie die Informationen über ein bestimmtes Produkt nicht abrufen können, können Sie Ihre Nutzer auffordern, Fotos und Daten zu senden, die dann von der künstlichen Intelligenz von Open Beauty Facts und den Mitwirkenden verarbeitet werden, um das berechnete Ergebnis zu erhalten, das Sie ihnen zeigen möchten.
• Sie können zudem den vollständigen Prozess so implementieren, dass die Nutzer trotz eines gewissen Eigenaufwands sofort ein Ergebnis erhalten.

Wenn Ihre Benutzer nicht sofort ein Ergebnis erwarten (z. B. Inventarisierungs-Apps)

• Fotos hochladen (Vorderseite, Nährwerte, Inhaltsstoffe): am einfachsten für Ihre Nutzer
• Die KI von Open Beauty Facts - Robotoff - wird aus den Fotos einige abgeleitete Daten generieren
• Mit der Zeit werden andere Anwendungen und die Open Beauty Facts-Gemeinschaft die Datenlücken füllen

Wenn Ihre Nutzer sofort ein Ergebnis erwarten (z. B. Allergie-Apps)

• Zutaten + Kategorie eingeben > Sie erhalten Zutatenanalyse, Zusatzstoffe, Allergene, normalisierte Zutaten, vegan, vegetarisch …
• Etiketten für Mehrwert übermitteln

Mobile Anwendung für Android/iPhone/Flutter

Die neue plattformübergreifende App wird in Flutter/Dart entwickelt.

Wir wollen die veralteten Kotlin- und Swift-Codebases in Kotlin- und Swift-SDKs umwandeln, Hilfe ist willkommen 🙂 . Die App ermöglicht es den Nutzern, den Strichcode von Produkten einzulesen, sich die Produktinformationen anzeigen zu lassen und Bilder und Daten für fehlende Produkte aufzunehmen und zu übermitteln.

Die App ermöglicht es den Nutzern, den Barcode von Produkten zu erfassen, die Produktinformationen einzusehen und Bilder und Daten zu fehlenden Produkten aufzunehmen und zu übermitteln.

Sie können den Quellcode (es ist Open Source) gerne wiederverwenden und uns helfen, ihn für alle auf der ganzen Welt zu verbessern.

SDKs

Symbol	Sprache / Framework	Ressourcen	Diskussion
	Cordova (alte App)	GitHub	Keine Angaben
	DART	GitHub pub.dev	Keine Angaben
	Elixir	GitHub	Slack-Kanal
	Los	GitHub	Slack-Kanal
	Java	GitHub	Slack-Kanal
	Spring Boot	GitHub	Slack-Kanal
	Kotlin	GitHub	Slack-Kanal
	JavaScript	GitHub	Slack-Kanal
	PHP	GitHub	Slack-Kanal
	PHP (Laravel)	GitHub	Slack-Kanal
	Python	GitHub	Slack-Kanal
	React Native	GitHub	Slack-Kanal
	Ruby	GitHub	Slack-Kanal
	Rostbraun	GitHub	Slack-Kanal
	R	GitHub	Slack-Kanal
	Swift	GitHub	Slack-Kanal
	.NET/C#	GitHub	Slack-Kanal

Über Daten, API und Exportfunktionen diskutieren

Sie können sich allgemeine FAQ-Fragen zur API und zum Datenexport und allgemeine Fragen zu Open Food Facts ansehen

Sie können dem Open Beauty Facts Slack Chatroom beitreten, der der bevorzugte Weg ist, um Fragen zu stellen und die API zu diskutieren. Bitte stellen Sie Ihre Fragen im #api channel

Sie können ein Thema in unserem API-Dokumentations-Repository eröffnen

Bei Fragen zu den Daten können Sie sich unter reuse@openfoodfacts.org an uns wenden