Daten

Bedingungen für die Weiterverwendung

Die Open Beauty Facts Datenbank ist unter der Open Database License.
verfügbar. Die einzelnen Inhalte der Datenbank sind unter der Database Contents License verfügbar.
Die Produktbilder sind unter der Creative Commons Attribution ShareAlike Lizenz verfügbar. Sie könnten grafische Elemente enthalten, die dem Urheberrecht oder anderen Rechten unterliegen, die in einigen Fällen vervielfältigt werden können (Zitierrechte oder Fair Use).

Bitte lesen Sie die Nutzungs- und Weiterverwendungsbedingungen, bevor Sie die Daten weiterverwenden.

Erzählen Sie uns von Ihrer Weiterverwendung

Wir sind sehr daran interessiert, zu erfahren, wofür die Open Beauty Facts-Daten verwendet werden. Es ist nicht verpflichtend, aber wir würden es sehr begrüßen, wenn Sie uns über Ihre Wiederverwendung informieren, damit wir sie mit der Open Beauty Facts-Gemeinschaft teilen können. Sie können auch das Formular ausfüllen, um eine Gelegenheit zu bekommen, dass Ihre App vorgestellt wird.

Open Beauty Facts Datenexporte

Datenbank-Abbildungen und -Exporte werden nächtlich generiert. Die Datenbank ist sehr groß, so dass Sie je nach Exportvariante verschiedene Möglichkeiten zur Nutzung der Daten finden können.

Informationen über die verschiedenen Felder für den MongoDB-Dump und den CSV-Export finden Sie unter https://world.openbeautyfacts.org/data/data-fields.txt

MongoDB-Datenbankauszug

Die Daten für alle Produkte sind in einem MongoDB-Datenbankdump verfügbar.

Herunterladen

https://static.openbeautyfacts.org/data/openbeautyfacts-mongodbdump.gz

SHA-256-Prüfsummen

https://static.openbeautyfacts.org/data/gz-sha256sum

MD5-Prüfsummen

https://static.openbeautyfacts.org/data/gz-md5sum

Delta-Export

Tägliche Delta-Exporte werden für die letzten 14 Tage bereitgestellt. Die Liste der derzeit verfügbaren Delta-Dateien ist zu finden unter https://static.openbeautyfacts.org/data/delta/index.txt.

Jede Zeile steht für eine Datei, die unter https://static.openbeautyfacts.org/data/delta/{filename} verfügbar ist.

Der Dateiname enthält den UNIX-Zeitstempel der ersten und der letzten in der JSON-Datei enthaltenen Änderung, so dass die Deltadateien (nach der Extraktion) mit mongoimport in alphabetischer Reihenfolge importiert werden können.

Bitte beachten Sie, dass die Delta-Dateien aufgrund der Natur von mongoexport nicht über gelöschte Produkte informieren können. Um gelöschte Produkte aus Ihrer Datenbank zu entfernen, müssen Sie den vollständigen MongoDB-Dump importieren.

CSV-Datenexport

Die gesamte Datenbank ist auch im Format JSONL (manchmal auch LDJSON oder NDJSON genannt) verfügbar, wobei jede Zeile ein JSON-Objekt entspricht. Dies entspricht den gleichen Daten wie der MongoDB-Export. Die Datei wird mit gzip komprimiert.

Herunterladen

https://static.openbeautyfacts.org/data/openbeautyfacts-products.jsonl.gz

Ein geeigneter Weg, die Datenbank zu nutzen, ist die Verwendung von DuckDB, einem prozessbegleitenden Analysetool, das große Datenmengen in Sekundenbruchteilen verarbeiten kann. Lesen Sie unseren Blogpost, in dem wir Sie durch die Analyse und Verarbeitung der Open Beauty Facts-Datenbank mit DuckDB führen

Parquet-Datenexport auf Hugging Face

Eine vereinfachte Version des JSONL-Dumps ist auch im Parquet-Format verfügbar. Bei der Konvertierung wurden Spalten herausgefiltert, die doppelte Informationen enthalten, für die interne Fehlersuche verwendet werden oder für die Benutzer einfach irrelevant sind.

Das Parquet-Format hat sich als praktisch erwiesen:

• Die Daten sind nach Spalten und nicht nach Zeilen organisiert, was Speicherplatz spart und die Analyseabfragen beschleunigt, d. h. Sie brauchen nur die Spalten auszuwählen, die für Sie wichtig sind, und können so die Abfrageleistung optimieren, selbst auf Einsteiger-Computern.
• Hocheffiziente Datenkomprimierung und -dekomprimierung, die sich für die Speicherung und gemeinsame Nutzung großer Datenmengen jeder Art eignet,
• Unterstützt komplexe Datentypen und erweiterte verschachtelte Datenstrukturen.

Der Datensatz ist auf Hugging Face verfügbar, einem kollaborativen Ökosystem für maschinelles Lernen, in dem Entwickler und Forscher Modelle und Datensätze austauschen können.

Herunterladen

https://huggingface.co/datasets/openfoodfacts/product-database/resolve/main/beauty.parquet?download=true

Weitere Informationen finden Sie im Wiki, einschließlich Leitlinien für die Wiederverwendung von Daten und Beispielabfragen für den Einstieg.

CSV-Daten-Export

Die Daten für alle oder einen Teil der Produkte können im CSV-Format (lesbar mit OpenOffice, Excel und vielen anderen Programmen) über das Formular Erweiterte Suche heruntergeladen werden.

Links

https://static.openbeautyfacts.org/data/en.openbeautyfacts.org.products.csv.gz (komprimiertes CSV im GZIP-Format: ~ 0,9 GB, unkomprimiert: ~ 9 GB)

Als Dateikodierung wird Unicode UTF-8 verwendet. Als Trennzeichen für die Felder wird <tab> (Tabellierung) verwendet.

Export von Bilddaten

Die Datenbank ist außerdem im RDF-Format verfügbar. Sie können die Ankündigung auf Französisch lesen.

Herunterladen

https://world.openbeautyfacts.org/data/en.openbeautyfacts.org.products.rdf.gz

Export von Bilddaten

Alle Bilder und OCR-Ergebnisse können entweder von unserem Server oder von AWS (über das AWS Open Data Program) heruntergeladen werden. In unserer Dokumentation erfahren Sie mehr darüber, wie Sie Bilder herunterladen können.

OpenAPI-Dokumentation für die JSON-API

Eine JSON-API ist ebenfalls verfügbar, um die Daten für ein Produkt auszulesen. Diese API wird insbesondere in der mobilen App Open Beauty Facts für iPhone und Android verwendet.

Wir verbessern die API im Laufe der Zeit, achten aber darauf, die Rückwärtskompatibilität zu wahren. Bitte teilen Sie uns mit, ob Sie sie verwenden, damit wir Sie über mögliche Änderungen informieren können.

URL zum Lesen der Daten für ein Produkt: https://world.openbeautyfacts.org/api/v2/product/[barcode].json

Beispiel: https://world.openbeautyfacts.org/api/v2/product/3600550578041.json

Wenn die Ausgabe zu umfangreich ist, können Sie sie filtern - wie in der API-Dokumentation beschrieben.

• API V3 - neue OpenAPI-Dokumentation (In Vorbereitung)

OpenAPI-Hilfe gesucht

Wir sind bestrebt, die Dokumentation der API fertigzustellen, Anwendungsfälle hinzuzufügen und die SDK-Generierung zu automatisieren. Wenn Sie ein OpenAPI-Kenner sind, sind Sie herzlich eingeladen, uns zu helfen.

Sie können die API gerne für Produktionsabläufe verwenden, sofern 1 API-Aufruf = 1 realer Scan durch einen Benutzer entspricht. Jeder Versuch, die Datenbank auf diese Weise abzuschöpfen, wird sehr wahrscheinlich verhindert, da vollständige tägliche Exporte auf dieser Seite verfügbar sind.

Auch das Senden eines HTTP-Headers mit Ihrem API-Aufruf ist eine gute Möglichkeit, mit uns in Kontakt zu treten, falls irgendwelche Probleme auftreten sollten.

Wenn Sie unsicher sind oder eine Frage haben (es gibt keine dummen Fragen), können Sie sie im #api-Kanal auf Slack stellen 🙂

Experimentelle XML-API

Sie können das Ergebnis auch als XML-Datei erhalten, indem Sie .xml verwenden

Kontakt

Diese API wird nicht aktiv gepflegt und ist nicht offiziell dokumentiert.

Wrappers und SDKs

Wir haben wahrscheinlich einen Wrapper für Ihre bevorzugte Programmiersprache. Wenn wir dies tun, können Sie es nutzen und verbessern. Wenn wir es nicht tun, können Sie uns helfen, ihn zu erstellen.

Sie können dem Open Food Facts Chatroom auf Slack beitreten, der unser bevorzugter Weg ist, um Fragen zu stellen und die über die API zu diskutieren.

Allgemeine Grundsätze, um Ihre Nutzer zufrieden zu stellen

• Sie können nach Informationen von Produkten suchen, einschließlich vieler nützlicher Berechnungswerte.
• Wenn Sie die Informationen über ein bestimmtes Produkt nicht abrufen können, können Sie Ihre Nutzer auffordern, Fotos und Daten zu senden, die dann von der künstlichen Intelligenz von Open Beauty Facts und den Mitwirkenden verarbeitet werden, um das berechnete Ergebnis zu erhalten, das Sie ihnen zeigen möchten.
• Sie können auch den kompletten Fluss implementieren, so dass sie sofort das Ergebnis mit etwas Aufwand auf ihrer Seite bekommen.

Wenn Ihre Benutzer nicht sofort ein Ergebnis erwarten (z. B. Inventarisierungs-Apps)

• Fotos einreichen (Vorderseite/Nährwertangaben/Zutaten): dies ist für Ihre Nutzer am einfachsten
• Die KI von Open Beauty Facts - Robotoff - wird aus den Fotos einige abgeleitete Daten generieren
• Mit der Zeit werden andere Anwendungen und die Open Beauty Facts-Gemeinschaft die Datenlücken füllen

Wenn Ihre Nutzer sofort ein Ergebnis erwarten (z. B. Allergie-Apps)

• Zutaten + Kategorie eingeben > Sie erhalten Zutatenanalyse, Zusatzstoffe, Allergene, normalisierte Zutaten, vegan, vegetarisch …
• Etiketten für Mehrwert übermitteln

Mobile Anwendung für Android/iPhone/Flutter

Die neue plattformübergreifende App wird in Flutter/Dart entwickelt.

Wir wollen die veralteten Kotlin- und Swift-Codebases in Kotlin- und Swift-SDKs umwandeln, Hilfe ist willkommen 🙂 . Die App ermöglicht es den Nutzern, den Strichcode von Produkten einzulesen, sich die Produktinformationen anzeigen zu lassen und Bilder und Daten für fehlende Produkte aufzunehmen und zu übermitteln.

Die App ermöglicht es den Nutzern, den Barcode von Produkten zu erfassen, die Produktinformationen einzusehen und Bilder und Daten zu fehlenden Produkten aufzunehmen und zu übermitteln.

Sie können den Quellcode (es ist Open Source) gerne wiederverwenden und uns helfen, ihn für alle auf der ganzen Welt zu verbessern.

SDKs

• Cordova: GitHub (alte offizielle App Open Beauty Facts)
• PHP (Lararel): GitHub
• Elixier: GitHub - Diskussionskanal
• Go: GitHub - Diskussionskanal
• Java: GitHub - Diskussionskanal
• Kotlin: GitHub - Diskussionskanal
• NodeJS: GitHub - Diskussionskanal
• PHP: GitHub - Diskussionskanal
• PHP (Laravel): GitHub - Diskussionskanal
• Python: GitHub - Diskussionskanal
• React Native: GitHub - Diskussionskanal
• Ruby: GitHub - Diskussionskanal
• Rust: GitHub - Diskussionskanal
• R: GitHub - Diskussionskanal
• Swift: GitHub - Diskussionskanal
• .NET/C#: GitHub - Diskussionskanal

Über Daten, API und Exportfunktionen diskutieren

Sie können sich allgemeine FAQ-Fragen zur API und zum Datenexport und allgemeine Fragen zu Open Food Facts ansehen

Sie können dem Open Beauty Facts Slack Chatroom beitreten, der der bevorzugte Weg ist, um Fragen zu stellen und die API zu diskutieren. Bitte stellen Sie Ihre Fragen im #api channel

Sie können ein Thema in unserem API-Dokumentations-Repository eröffnen

Bei Fragen zu den Daten können Sie uns unter reuse@openfoodfacts.org kontaktieren.