Skip to content
New issue

Have a question about this project? # for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “#”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? # to your account

False positives report #1

Open
Zaczero opened this issue Aug 9, 2023 · 31 comments
Open

False positives report #1

Zaczero opened this issue Aug 9, 2023 · 31 comments
Labels
bug Something isn't working

Comments

@Zaczero
Copy link
Owner

Zaczero commented Aug 9, 2023

@Zaczero Zaczero added the bug Something isn't working label Aug 9, 2023
@Zaczero
Copy link
Owner Author

Zaczero commented Aug 10, 2023

@Zaczero
Copy link
Owner Author

Zaczero commented Aug 10, 2023

@Zaczero
Copy link
Owner Author

Zaczero commented Aug 10, 2023

@Zaczero
Copy link
Owner Author

Zaczero commented Aug 12, 2023

@Zaczero
Copy link
Owner Author

Zaczero commented Aug 12, 2023

@michalgwo
Copy link

michalgwo commented Aug 14, 2023

Sprawdziłem ostatnie 4 changesety i jest dość dużo false-positive. Z tych 4 changesetów wychodzi mi 89% skuteczności (57 poprawnych, na 64 dodanych), najczęstszy false-positive to chyba cien drzew który przypomina troche przejście dla pieszych.

False-positive:
https://www.openstreetmap.org/node/11113988757
https://www.openstreetmap.org/node/11113617880
https://www.openstreetmap.org/node/11113617874
https://www.openstreetmap.org/node/11113617873
https://www.openstreetmap.org/node/11113074164
https://www.openstreetmap.org/node/11113074165

Sprawdzone changesety:
https://www.openstreetmap.org/changeset/139866510
https://www.openstreetmap.org/changeset/139858861
https://www.openstreetmap.org/changeset/139850963
https://www.openstreetmap.org/changeset/139850270

@Zaczero
Copy link
Owner Author

Zaczero commented Aug 14, 2023

@michalgwo Po prostu zbyt mało danych treningowych i zbieram takie false positive żeby wypuścić nową wersję AI. Nie jest tak prosto znaleźć trudne miejsca, co wyglądają jak przejście, na OSM. Najprościej jest pozwolić AI robić swoje, monitorować, i zobaczyć gdzie sobie nie daje rady. Po prostu czekam na większą ilość FP aby (miejmy nadzieję) raz a porządnie wypuścić aktualizację która poprawi jakość dla tych cięższych przypadków.

@Zaczero
Copy link
Owner Author

Zaczero commented Aug 14, 2023


Do tego momentu zgłoszenia FP zostały już pobrane.

Nowa wersja: 1.4


@Zaczero
Copy link
Owner Author

Zaczero commented Aug 18, 2023


Do tego momentu zgłoszenia FP zostały już pobrane.

Nowa wersja: 1.4.1


@Zaczero
Copy link
Owner Author

Zaczero commented Sep 2, 2023

@michalgwo
Copy link

Sprawdziłem wyrywkowo kilka starszych changesetów i znalazłem 2 false positive:
https://www.openstreetmap.org/node/11180462354
https://www.openstreetmap.org/node/11180462356

@Zaczero
Copy link
Owner Author

Zaczero commented Sep 22, 2023

@Zaczero
Copy link
Owner Author

Zaczero commented Oct 2, 2023

@Zaczero
Copy link
Owner Author

Zaczero commented Oct 4, 2023

Najnowsza wersja 1.6 posiada błąd klasyfikacji (AUC) mniejszy o 28%. Jest to głównie zasługa nowego zestawu 5000 zdjęć, który koncentruje się na trudniejszych, negatywnych przypadkach, takich jak tuje, znaki drogowe poziome, dachy, itp. Nowa wersja rzadziej popełnia błędy i importuje jeszcze większą ilość przejść.

@Zaczero
Copy link
Owner Author

Zaczero commented Oct 4, 2023

@Zaczero
Copy link
Owner Author

Zaczero commented Oct 11, 2023

@Zaczero
Copy link
Owner Author

Zaczero commented Oct 13, 2023

@Zaczero
Copy link
Owner Author

Zaczero commented Oct 14, 2023

@Zaczero
Copy link
Owner Author

Zaczero commented Oct 25, 2023

@kubahaha
Copy link

To chyba jakiś wzór z kostki:

https://www.openstreetmap.org/node/11287471019
Zrzut ekranu z 2023-10-26 00-21-39

@Zaczero
Copy link
Owner Author

Zaczero commented Oct 25, 2023

Były dachy, potem krzewy, teraz przejazdy kolejowe i kostka brukowa 😄

@Zaczero
Copy link
Owner Author

Zaczero commented Oct 26, 2023

Jak skończę pracę nad aktualnym projektem (koniec przyszłego tygodnia), to zabiorę się za korygowanie błędów w AI.

@Zaczero
Copy link
Owner Author

Zaczero commented Dec 8, 2023

@michalgwo
Copy link

@Zaczero
Copy link
Owner Author

Zaczero commented Sep 14, 2024

# for free to join this conversation on GitHub. Already have an account? # to comment
Labels
bug Something isn't working
Projects
None yet
Development

No branches or pull requests

3 participants