Data-driven techniques such as artificial intelligence (AI) and deep learning are frequently deployed as part of automotive perception systems. Due to their heavy dependency on data, data quality is at the essence. In particular, in an automotive perception system, data is captured by sensors and transformed into different formats depending on where it is in the AI data processing pipeline. Although data at different stages share similar attributes, the impact of their properties at each individual stage differ significantly from one another. Therefore, data quality requirements need to be defined specifically at each stage. In this project, the objective is to develop an end-to-end quality control toolbox to detect errors and anomalies throughout the entire pipeline. To achieve this objective, we divide the project into three work packages, where the first step is to design a set of data properties and their corresponding requirements as quality specifications for data at each stage. Given these specifications, as a second step, we have developed a toolbox, Qually , to evaluate data quality metrics and detect errors and anomalies throughout the AI pipeline. In the last work package, as a demonstrator, Qually is applied to improve automated annotations.

Datadrivna tekniker som artificiell intelligens (AI) och djup maskininlärning är ofta förekommande som en del av perceptionssystem för fordon. Då dessa system är starkt beroende av data är datakvalitet av yttersta vikt. I ett perceptionssystem för fordon samlas data in av sensorer och transformeras till olika format beroende på var i AI-systemets pipeline för databehandlingen den befinner sig. Även om data i olika stadier delar liknande attribut, skiljer sig effekterna av deras egenskaper i varje enskilt steg väsentligt från varandra. Därför måste krav på datakvalitet definieras specifikt för varje steg. I det här projektet är målet att utveckla ett verktyg för end-to-end kvalitetskontroll för att upptäcka fel och anomalier genom hela AI-pipelinen. För att uppnå detta mål delar vi upp projekt i tre arbetspaket, där det första steget är att designa en uppsättning dataegenskaper och deras motsvarande krav som kvalitetsspecifikationer för data i varje steg. Som ett andra steg, givet dessa specifikationer, har vi utvecklat en verktygslåda, Qually, för att utvärdera datakvalitetsmått och upptäcka fel och anomalier i hela AI-pipelinen. I det sista arbetspaket, som en demonstrator, används Qually för att förbättra automatiserade dataannoteringar.