W tym miesiącu temat został zaproponowany przez naszego praktykanta Amirrezę i zadajemy sobie pytanie, czy ochrona klimatu i wykorzystanie dużych modeli AI są ze sobą kompatybilne.
Każdy, kto ostatnio intensywnie zajmował się zużyciem CO2, z pewnością zauważył również wpływ generatywnej AI na środowisko. Badania wskazują, że zapotrzebowanie na energię elektryczną dla centrów obliczeniowych AI będzie w 2030 roku jedenaście razy wyższe niż w 2023 roku. Przewiduje się również trzykrotny wzrost zapotrzebowania na wodę. Proste zapytanie do ChatGPT wymaga na przykład dziesięć razy więcej energii niż zwykłe „googlowanie”. Im dłuższa jest generowana odpowiedź modelu językowego, tym wyższe zużycie energii. W kwietniu tego roku Sam Altman wypowiedział się na temat ogromnych kosztów powodowanych przez technicznie niepotrzebne zwroty grzecznościowe, takie jak „proszę” i „dziękuję”. Mówi się, że duże koncerny technologiczne planują w przyszłości prowadzić własne elektrownie jądrowe.
To wszystko brzmi tak, jakby firmy dążące do minimalizacji swojego śladu węglowego musiały zrezygnować z generatywnej AI. Ale czy naprawdę nie ma alternatywy?
W rzeczywistości firmy powinny zadać sobie kilka pytań ekonomicznych i ekologicznych przed wdrożeniem generatywnej AI, na przykład: Czy wykorzystanie generatywnej AI jest proporcjonalne? Czy zadania, które ma rozwiązać model, nie mogą być rozwiązane za pomocą innej technologii?
Poza tym istnieją również możliwości wpływania na skutki klimatyczne generatywnej AI. Ważnym czynnikiem jest oczywiście wybór operatora i jego lokalizacji. Istnieją bowiem operatorzy, którzy prowadzą systemy AI w neutralnych klimatycznie centrach danych. My w Splitbot również stawiamy na centra danych, które są zasilane na przykład energią odnawialną i sensownie wykorzystują wytwarzane ciepło odpadowe. Ponadto oferujemy naszym klientom możliwość uruchomienia KOSMO we własnej infrastrukturze. To idealne rozwiązanie, jeśli własne IT lub budynek są już neutralne klimatycznie.
Kolejnym interesującym aspektem jest samo szkolenie modeli. Naukowcy odkryli, że podczas treningu modeli AI części obliczeń są wykonywane niepotrzebnie szybko. Praca obliczeniowa w treningu AI jest rozdzielana na wiele GPU – jednak nierównomiernie. Prowadzi to do sytuacji, gdzie mniej obciążone GPU muszą „czekać” na te bardziej obciążone. Ponieważ ten czas oczekiwania i tak powstaje, szybkie obliczenia są niepotrzebne. Poprzez dostosowanie prędkości obliczeniowej można by zredukować zużycie prądu. Odpowiednie rozwiązanie zostało dostarczone bezpośrednio przez badaczy: oprogramowanie open-source Perseus kontroluje częstotliwość GPU dla każdego pojedynczego obliczenia i utrzymuje zużycie prądu na możliwie niskim poziomie.
Źródła: https://t3n.de/news/ki-stromverbrauch-energie-perseus-1656380/
https://reset.org/sprachmodelle-nachhaltig-nutzen-sparsamer-genai-gruen/
