Tym razem nie chodzi o cookies, o których powiadomienia nieustannie terroryzują nas w sieci. Ktoś w Google uznał, że warto poświęcić dwa miesiące pracy wykwalifikowanych inżynierów, żeby stworzyć szatańską machinę do wymyślania przepisów na ciasteczka. Ale zaraz, czyżby gigant z Mountain View chciał teraz zaatakować rynek piekarsko-cukierniczy? Niezupełnie. Ten słodki eksperyment stanowił test systemu Google Vizier, będącego swoistym trenerem sztucznej inteligencji.
Jak trenować AI?
Celem treningu z użyciem dowolnego algorytmu uczenia maszynowego jest znaleźć taki zestaw parametrów dla naszego modelu, by jak najmniej mylił się on przy wykonywaniu powierzonego mu zadania. Mówiąc “model” najczęściej będziemy mieć na mysli sieć neuronową, gdyż to one robią współcześnie największa karierę. Parametrów w modelu może być multum: milion w przypadku sieci neuronowej do rozpoznawanie obrazu nie robi na nikim wrażenia. Przykładowo, wśród powszechnie znanych architektur GoogLeNet ma ich 5 milionów, AlexNet - 60 milionów, a VGG16 stworzona przez Visual Geometry Group z Oxfordu: ponad 138 milionów. Wyobraźmy sobie, że dajemy zaprojektowanej przez nas sieci zadanie, np. każemy jej się nauczyć przemalowywać wszystkie ogórki na zdjęciu na czerwono. Początkowo sieć będzie się często mylić, trafiać kolorem nie tam gdzie trzeba, jednocześnie nie zamalowując w całości podłużnych, zielonych warzyw. Jej parametry będą stopniowo korygowane, aby uzyskać pożądany przez nas efekt. I chociaż trening przebiega w pełni automatycznie, jest on uruchamiany z pewnymi ustawieniami, znanymi jako hiperparametry. Wśród nich, w zależności od modelu, znajdziemy m.in. długość uczenia (wyrażoną nie w jednostkach czasu, a w tzw. epokach, epizodach bądź po prostu iteracjach) czy też jego szybkość (kryjąca się pod nazwą learning rate). Jak sobie dobierzesz hiperparametry, tak Ci się sieć wytrenuje.
"enter image title here")
Sztuka ustawiania hiperparametrów
Jak więc sprawić by nasza sieć dokładnie pomalowała wszystkie ogórki? Musimy drogą powtarzania eksperymentów ustalić najwłaściwszy z możliwych zestaw hiperparametrów. Jeżeli niedaleko szwenda się jakiś bezpański student, zlecamy mu to zadanie (czyli jak mówią anglosaskie zgrywusy, używamy algorytmu grad student descent ; dla niewtajemniczonych: wzięło się to stąd). Jeśli jednak nie mamy się kim wysłużyć, sami sprawdzamy różne kombinacje wartości hiperparametrów, porównując uzyskane wyniki.
Oczywiście, zamiast mozolić się ręcznym dostrajaniem treningu, możemy zautomatyzować ten proces, używając metod takich jak tzw. optymalizacja bayesowska (ang. bayesian optimization). Jest to jedna z technik, na których oparte jest działanie Google Vizier. Narzędzie to jest jednak jeszcze bardziej zaawansowane, i może wykorzystywać transfer learning, czyli uczyć się sztuki ustawiania hiperparametrów na podstawie doświadczenia z wcześniejszych eksperymentów. Google Vizier został już zastosowany do poprawienia działania szeregu produktów Google'a w tym m.in. Google Maps (lepsze zrównoważenia między dopasowaniem a odległością w wynikach wyszukiwania).
Pieczemy ciasteczka
Jak swteirdził Daniel Golovin na blogu Google’a:
W zeszłym roku, grupka reasercherów w Google zaczęła pracować nad nową technologią służącą do przeprowadzania eksperymentów. Aby zaprezentować jej możliwości, zespół wymyślił sobie wyzwanie z realnego świata: stworzenie najlepszego przepisu na kruche ciasteczka z czekoladą, mając do dyspozycji z góry określony zestaw składników.
Początkowo ilości niektórych kluczowych składników zostały ustalone na sztywno, żeby system za bardzo się nie rozhulał np. każąc użyć szczyptę mąki i wiadro proszku do pieczenia.
Cały proces wyglądał w ten sposób, że Google Vizer wymyślał nowy przepis, ciastka były pieczone według niego i próbowane przez testerów. Ci przyznawali im oceny w 5- lub 7-stopniowej skali, przy czym środkowa wartość oznaczała, że ciastko jest porównywalne w smaku z tym zakupionym w sklepie. Na podstawie opinii testerów system poprawiał przepis, a cała procedura była powtarzana. W toku 59 prób wyklarował się ostateczny przepis na ciasteczko czekoladowo-kardamonowe.
Jak smakują cukiernicze wynalazki sztucznej inteligencji? Te pochodzące z pierwszych prób były ponoć okropne, finalny przepis dał jednak całkiem zjadliwe ciasteczka. Szczegółowy opis eksperymentu możecie znaleźć w publikacji _Bayesian Optimization for a Better Dessert_
.
Żródła
- Google's new AI learns by baking tasty machine learning cookies
- Alphabet billionaire Eric Schmidt: Google used A.I. to find the perfect chocolate chip cookie recipe
- Google spent two months using AI to bake the perfect chocolate chip cookie – and it tastes terrible
- The makings of a smart cookie
Obserwuj @glodniwiedzy - znajdziesz tu najciekawsze informacje ze świata.
Artykuł autorstwa: @ignifer, dodany za pomocą serwisu Głodni Wiedzy
haha nie dziwię się, że potrzeba było tyle prób, u mnie jest podobnie, by stworzyć przepis na bezglutenowe i wegańskie danie, które będzie smakować jak to ze sklepu ;))