Älykäs datan tuonti kuljetusongelman optimoinnissa. Antoine Kalmbach

Transkriptio

1 Älykäs datan tuonti kuljetusongelman optimoinnissa Antoine Kalmbach

2 Sisällys Taustaa Kuljetusongelma Datan tuominen vaikeaa Teoriaa Tiedostojen väliset linkit Mikä sarake on mikäkin? Ratkaisutoteutus laivaston päättely Tähänastiset tulokset

3 Kuljetusongelma, datan tuominen TAUSTAA

4 Kuljetusongelma

5 varikko Kuin kauppamatkustajan ongelma, mutta n eri kauppamatkustajaa, ja kaikki palaavat varikolle.

6 Kuljetusongelmasta

7 Kuljetusongelmasta NP-vaikea ongelma. Tarkan ratkaisun etsintä isoissa tapauksissa toivotonta. Avuksi heuristiikat ja metaheuristiikat. Algoritmien pyörityksen hoitaa laskentaohjelmisto (engl. solver)

8 Tilanne: optimointia palveluna Haluamme myydä optimointia palveluna. Asiakkaat lähettävät ongelmadatan, takaisin ratkaistuna. Esim. Rekka-Pena Oy haluaa optimoida kuljetusfirmansa reittejä. Rekka-Pena Oy lähettää datan jossain muodossa, yleensä ennalta sovittu Exceltiedosto.

9 Mahdollisuus: löysä formaatti Esitäytetyn Excel-mallin täyttäminen ankeaa. Asiakkaalla data yleensä eri muodossa. Helppoa olisi, jos voisimme lukea mitä tahansa dataa. Datan tuontiongelma. Halutaan tukea monta formaattia, joita emme edes etukäteen tunne täysin. Tarvitaan automaattista päättelyä. Miten tämä tehdään?

10 Datan tuontiongelma, liitospäättely, attribuuttiluokittelu, laivastontuonti TEORIAA

11 Datan tuontiongelma Tai, pelkoa ja inhoa relaatioviidakossa

12 TAVOITE: Päättele datasta asiakkaan ajoneuvot ja sijainnit, eli laivasto.

13 Ajoneuvo Yleinen termi. Voi olla rekka, bussi, henkilöauto, helikopteri, laiva, panssarivaunu, tähtilaiva, taisteluplaneetta... Datassa seuraavat asiat: Tunniste (esim. rekisterinumero) Kapasiteetti (jos kapasitoitu VRP) Yleisesti, tunniste i ja rajoitteet.

14 Sijainti Jokin paikka kartalla. Esimerkiksi osoite tai koordinaatti. Sisältää kapasitoidun VRP:n tapauksessa positiivisen tai negatiivisen kuormamäärän, eli tilattu tavara (tai noudettava). Aikaikkuna-rajoitetun VRP:n tapauksessa sisältää aikaikkunan, minkä aikana sijainnissa pitää käydä, sekä käyntiajan.

15 DATA

16 Datan formaatti Tähänastiset asiakastilaukset ovat olleet Excelmuodossa. Toisin sanoen, taulukot, eli CSV. Abstraktimmin: relaatiot. Jokainen sarake on attribuutti, jolla on tietotyyppi.

17 Relaatioiden väliset yhteydet Ensimmäinen ongelma. Dokumentissa monta relaatioita, jotka ovat kytköksissä toisiinsa. Tietokantamaailmasta tuttu primary ja foreign key tapaus. Yksi sarake sisältää rekisterinumeron. Tätä käytetään kahdessa relaatiossa tunnisteena. Yksi relaatio sisältää valmistajan ja kapasiteetin, toinen sisältää huoltotiedot (esim.)

18 Relaatioiden väliset yhteydet Tavoite: Sulauta relaatiot yhdeksi etsimällä sopivat avaintunnisteet. Niin ettei dataa katoa ja tärkeä tieto säilyy. Nimi: join inference eli liitospäättely. Muodostettu relaatio sisältää nyt koko laivaston nätissä paketissa. Mikä attribuutti on mikäkin?

19 Attribuuttien luokittelu Tiedämme, mitä attribuutteja etsitään. Ajoneuvojen kapasiteetteja, osoitteita, tilauksia, tunnisteita Ratkaisu: päätellään attribuuttien datasta, mikä on mikäkin. Esim. kapasiteettiattribuutille tuskin kuuluu sarake jonka tiedot ovat muotoa hevonen tai Mörkökuja 1Y 2B.

20 RATKAISU: Koneoppiminen

21 Koneoppiminen lyhyesti Opetellaan datasta malli ja käytetään sitä ennustamiseen. Käyttötarkoituksena esimerkiksi luokittelu, regressio, suosittelu, klusterointi Oppimistilanteita: Valvottu (supervised learning) Ei-valvottu (unsupervised) Osittain valvottu (semi-supervised) Jatkuva (online) Palautepohjainen (reinforcement)

22 Konseptit & Hypoteesit Tavoite: opettele jokin konsepti. Esimerkiksi mikä on spämmiä ja mikä ei. Yleisesti jokin funktio esimerkeistä X luokkiin Y. Binäärisessä luokitteluongelmassa Y = {0, 1}. Algoritmin tehtävä on muodostaa hypoteesi, joka vastaa opeteltavaa konseptia.

23 Laivastopäättelyn oppiminen 1. Opettele tunnistamaan, mikä sarake linkittää relaatiot toisiinsa. Yksi luokittelija, joka tietää mitä etsiä. 2. Opettele tunnistamaan, mikä sarake vastaa mitäkin laivastotietuetta. Yksi luokittelija per tietue, joista yksi aina antaa positiivisen tuloksen.

24 Menetelmä Päätöspuut. Jakavat avaruuden rekursiivisesti osiin. Päätöspuun oppiminen: Muodosta päätöspuu katselemalla dataa. Edut: nopeita ja intuitiivisia. Ongelmat: saattavat kasvaa liian isoksi.

25 tilannekatsaus TÄHÄNASTISET TULOKSET

26 Liitospäättelyn luokittelija Päätöspuilla tehty. Opetusdataa paljon, koska yleinen ongelma. IMDB, MovieLens, Last.fm, Delicious datasetit opetusdatana ( Kokeiltu omaan testidataan asiakkaille ja se Toimii.

27 Attribuuttien luokittelija Työn alla. Kaksi tietuetta seitsemästä jo rakennettu luokittelijoineen. Opetusdatana esim. kapasiteettien tapauksessa asiakkaiden data, osoitteiden kanssa postin osoitetietokannat.

28 Tehtävää Attribuuttien luokituksen viimeistely ja yhtenäistäminen. Käytettyjen piirteiden listaaminen. Uusia kehitetty. Testaaminen ja tuloksien raportointi. Vertailu. Tämä siis konstruktiivisen osan loppu.

29 Lopuksi Gradun teoriaosasta valmiina 90%. Koodauksen valmistuttua seuraa konstruktiivisen osion dokumentointi. Lopullinen sivumäärä noin sata (nyt 50). Painoarvoa tuloksilla ja menetelmän dokumentoinnilla. Kysymyksiä?