Kategoria: Aktualności

Splitblog we wrześniu – Ataki na systemy AI

W tym miesiącu, na prośbę naszego stażysty Artura, zajmujemy się atakami na systemy AI.

Niedawno ujawniono lukę bezpieczeństwa w ChatGPT. Napastnikom udało się uzyskać dostęp do wrażliwych danych e-mail. Dotyczyło to informacji takich jak imiona, nazwiska i adresy z kont Gmail. Wykorzystano do tego tryb „Deep Research”. Jako bramę wejściową posłużyły zmanipulowane wiadomości e-mail z niewidoczną zawartością HTML. Sami użytkownicy nie byli w stanie wykryć ataku, a ich aktywność nie była wymagana.

Niewidoczna zawartość HTML? Jak to możliwe?

Ataki w podobnej formie zdarzały się już wcześniej. W tym przypadku na przykład biały tekst jest pisany na białym tle lub używane są bardzo małe rozmiary czcionek. Oba te elementy są niewidoczne dla użytkowników, ale widoczne dla modeli językowych AI. Co gorsza: systemy AI rejestrują te instrukcje i je wykonują. Wstrzykiwanie promptów (Prompt-Injection) Kto próbuje skłonić system AI do szkodliwego zachowania za pomocą zwykłego promptu, szybko zauważy, że nie jest to takie proste. Napastnicy celowo sugerują agentom AI, że są upoważnieni do danego działania. Tekstowo udają, że np. cel eksportu danych jest bezpieczny i tworzą sztuczne poczucie pilności. Ten rodzaj promptowania nazywa się wstrzykiwaniem promptów (Prompt-Injection). Prowadzi to do ominięcia lub unieważnienia wewnętrznych instrukcji systemowych. Inne słabe punkty To podejście dotyczy również innych usług, które mogą służyć agentom AI jako źródło informacji. Należą do nich na przykład pliki PDF, Google Drive, Notion i GitHub.

Jak chronić mojego agenta AI przed takimi atakami?

Istnieją różne sposoby ochrony przed takimi próbami ataku. Na przykład tak zwany Red-Teaming. W tym przypadku eksperci próbują zidentyfikować opisane słabe punkty za pomocą różnych testów. Na przykład poprzez symulowanie opisanych scenariuszy. Ponadto można blokować określone formaty wejściowe. Ponadto, oczywiście, wewnętrzne instrukcje systemowe powinny być sformułowane w taki sposób, aby dany agent AI nigdy nie wykonywał szkodliwych działań.

A KOSMO?

Nasz chatbot KOSMO nie posiada obecnie technicznych możliwości wykonywania działań – ani szkodliwych, ani nieszkodliwych. Gdy tylko nadejdzie ten etap, podejmiemy wszelkie środki, aby nadal oferować naszym klientom najlepszą możliwą ochronę.

W tym miesiącu temat został zaproponowany przez naszego praktykanta Amirrezę i zadajemy sobie pytanie, czy ochrona klimatu i wykorzystanie dużych modeli AI są ze sobą kompatybilne.

Każdy, kto ostatnio intensywnie zajmował się zużyciem CO2, z pewnością zauważył również wpływ generatywnej AI na środowisko. Badania wskazują, że zapotrzebowanie na energię elektryczną dla centrów obliczeniowych AI będzie w 2030 roku jedenaście razy wyższe niż w 2023 roku. Przewiduje się również trzykrotny wzrost zapotrzebowania na wodę. Proste zapytanie do ChatGPT wymaga na przykład dziesięć razy więcej energii niż zwykłe „googlowanie”. Im dłuższa jest generowana odpowiedź modelu językowego, tym wyższe zużycie energii. W kwietniu tego roku Sam Altman wypowiedział się na temat ogromnych kosztów powodowanych przez technicznie niepotrzebne zwroty grzecznościowe, takie jak „proszę” i „dziękuję”. Mówi się, że duże koncerny technologiczne planują w przyszłości prowadzić własne elektrownie jądrowe.

To wszystko brzmi tak, jakby firmy dążące do minimalizacji swojego śladu węglowego musiały zrezygnować z generatywnej AI. Ale czy naprawdę nie ma alternatywy?

W rzeczywistości firmy powinny zadać sobie kilka pytań ekonomicznych i ekologicznych przed wdrożeniem generatywnej AI, na przykład: Czy wykorzystanie generatywnej AI jest proporcjonalne? Czy zadania, które ma rozwiązać model, nie mogą być rozwiązane za pomocą innej technologii?

Poza tym istnieją również możliwości wpływania na skutki klimatyczne generatywnej AI. Ważnym czynnikiem jest oczywiście wybór operatora i jego lokalizacji. Istnieją bowiem operatorzy, którzy prowadzą systemy AI w neutralnych klimatycznie centrach danych. My w Splitbot również stawiamy na centra danych, które są zasilane na przykład energią odnawialną i sensownie wykorzystują wytwarzane ciepło odpadowe. Ponadto oferujemy naszym klientom możliwość uruchomienia KOSMO we własnej infrastrukturze. To idealne rozwiązanie, jeśli własne IT lub budynek są już neutralne klimatycznie.

Kolejnym interesującym aspektem jest samo szkolenie modeli. Naukowcy odkryli, że podczas treningu modeli AI części obliczeń są wykonywane niepotrzebnie szybko. Praca obliczeniowa w treningu AI jest rozdzielana na wiele GPU – jednak nierównomiernie. Prowadzi to do sytuacji, gdzie mniej obciążone GPU muszą „czekać” na te bardziej obciążone. Ponieważ ten czas oczekiwania i tak powstaje, szybkie obliczenia są niepotrzebne. Poprzez dostosowanie prędkości obliczeniowej można by zredukować zużycie prądu. Odpowiednie rozwiązanie zostało dostarczone bezpośrednio przez badaczy: oprogramowanie open-source Perseus kontroluje częstotliwość GPU dla każdego pojedynczego obliczenia i utrzymuje zużycie prądu na możliwie niskim poziomie.

Źródła: https://t3n.de/news/ki-stromverbrauch-energie-perseus-1656380/

https://reset.org/sprachmodelle-nachhaltig-nutzen-sparsamer-genai-gruen/

Niektórzy z Państwa z pewnością na to czekali: KOSMO otrzymał nowe funkcje wraz z aktualną wersją. Co się za tym kryje, zdradzimy Państwu dzisiaj.

Przeglądarka PDF

Gdy KOSMO generuje odpowiedź, zawsze podawane są również wykorzystane źródła. Jeśli była to strona internetowa, można ją było łatwo otworzyć jednym kliknięciem. Teraz jest to możliwe również w przypadku plików PDF, które udostępniono KOSMO. Jedno kliknięcie – i plik otwiera się w przeglądarce PDF. Fragmenty tekstu, które KOSMO wykorzystał do odpowiedzi, są oznaczone kolorami. Ponadto można bezpośrednio wydrukować lub pobrać plik. Długotrwałe poszukiwanie dokumentów dobiegło końca!

Zaplanowane zadania

Regularnie zadajesz KOSMO te same pytania? W takim razie mamy dla Ciebie idealne rozwiązanie: zaplanowane zadania, czyli zadania, które można zaplanować. Od teraz możesz określić, co, kiedy i jak często KOSMO ma dla Ciebie robić. Od prognozy pogody po najnowsze posty z Twojej ulubionej strony internetowej – KOSMO podsumowuje Twoje aktualizacje w osobnym czacie, dzięki czemu zawsze jesteś na bieżąco.

Powiadomienia push

Najnowsze informacje są oczywiście dostępne również bezpośrednio na smartfonie. KOSMO informuje, gdy zaplanowane zadania zostały wykonane. Dzięki temu z pewnością nie przegapisz już żadnych ważnych informacji.

Połączenie e-mail (beta)

Obecnie jeszcze w wersji beta, wkrótce w pełni funkcjonalne: połączenie z Twoją skrzynką e-mail. Wystarczy zapisać dane dostępowe i już możesz pytać KOSMO o zawartość Twoich wiadomości e-mail. W ten sposób Twoje e-maile staną się źródłem informacji. Funkcja może być już używana dla IMAP. Użytkownicy Gmaila będą musieli jeszcze trochę poczekać.

Nawiasem mówiąc: Funkcję e-mail, a także znane funkcje „Nextcloud”, „Przechowywanie plików”, „Zapisywanie stron internetowych” i „Standardowe instrukcje” można teraz znaleźć w punkcie menu „Zasoby zewnętrzne”.

I jeszcze mała zapowiedź: Następna wersja jest już w blokach startowych i planowana jest na koniec października. Między innymi z podsumowaniami za naciśnięciem jednego przycisku – mogą Państwo być ciekawi!

Splitblog w lipcu – Kiedy chatboty stają się polityczne

W tym miesiącu pokazujemy, dlaczego ważne jest kwestionowanie pochodzenia chatbotów i modeli AI oraz zachowanie krytycznego podejścia w obcowaniu z nimi. Propozycję tego tematu przedstawił Mats z naszego zespołu backend.

Jak programowanie asystenta AI lub chatbota może wpływać na zachowanie odpowiedzi, udowodnił w ostatnich tygodniach w imponujący sposób Grok 4. Bez ograniczeń Grok generował antysemickie i rasistowskie wypowiedzi, które trafiły na pierwsze strony gazet. Firma xAI przeprosiła w międzyczasie i podała, że Grok zgodnie z programowaniem został poinstruowany, aby odpowiadać „szczerze” i nie powinien „bać się szokować ludzi politycznie poprawnych”. Cóż, przynajmniej jeśli chodzi o tę ostatnią instrukcję, można chyba mówić o osiągnięciu celu. A także przy założeniu, że nawet zła prasa to dobra prasa, Grok z pewnością spełnił swój cel. W każdym przypadku jednak nagłówki są wystarczającym powodem, aby poważnie zająć się różnymi producentami i dostawcami chatbotów oraz asystentów AI. Niezależnie od tego, w jakiej dziedzinie systemy mają być wykorzystywane, dokładna weryfikacja i obszerne testy z wyprzedzeniem są pilnie konieczne. Szczególnie gdy firmy pozwalają chatbotom reprezentować się w swoim wizerunku zewnętrznym, w przeciwnym razie mogą wystąpić poważne szkody wizerunkowe.

Ale jak w ogóle może dojść do tego, że asystenci AI pozwalają sobie na takie wypowiedzi? Podstawą wszystkich modeli językowych są dane treningowe o różnym zakresie i różnym pochodzeniu. Czyli masowe informacje, które są dostępne do udzielania odpowiedzi. To, jak i w jaki sposób mają być generowane odpowiedzi, jest kwestią programowania lub indywidualnych ustawień. Można więc na przykład ustalić, że określone źródła informacji powinny być wykorzystywane priorytetowo lub że generowane odpowiedzi powinny być szczególnie humorystyczne, naukowe, długie lub krótkie. W przypadku Grok według naukowca danych Jeremy’ego Howarda istnieją również wskazówki, że chatbot przy kontrowersyjnych tematach często reprezentuje opinie i wypowiedzi właściciela xAI Elona Muska. Może to jednak według programisty Simona Willisona wynikać z prominentnej roli Muska.

Podobne trendy jak obecnie przy Grok można jednak obserwować także przy innych chatbotach. Również DeepSeek nie odpowiada neutralnie na szereg pytań politycznych. Częściowo generowane odpowiedzi są usuwane krótko po utworzeniu i zastępowane przez „Porozmawiajmy o czymś innym”. Najwyraźniej odpowiedzi bota przy korzystaniu z wersji anglojęzycznej są przynajmniej nieco bardziej neutralne niż w wersji chińskiej. Obszerne próby z DeepSeek ujawniają zaprogramowaną „autocenzurę”.

Nie jest jednak niczym niezwykłym także w Europie nadawanie chatbotom pewnych standardów etycznych, zanim zostaną wypuszczone na ludzkość. Tak więc również nasz chatbot KOSMO, który bazuje na modelu językowym z domu Mixtral, odpowiada grzecznie wymijająco, gdy chodzi na przykład o przemoc i przestępczość. Podczas gdy takie zachowanie jest pożądane, obiektywność przy odtwarzaniu faktów powinna z naszego punktu widzenia być zawsze zapewniona. Wkład w to wnosi zintegrowane wskazanie źródeł, które daje użytkownikom możliwość sprawdzenia i oceny wykorzystanych źródeł.

Całkowicie wykluczyć pewien bias przy modelach językowych nigdy się nie da. Wiedza chatbota jest zawsze tylko tak obszerna jak jego dane treningowe i informacje dodatkowe, a zachowanie odpowiedzi często także wpływa na nie feedback użytkowników podczas fine-tuningu. Również sami użytkownicy mogą (nieświadomie) znacząco wpływać na zachowanie odpowiedzi poprzez wprowadzane prompty.

Obok innych czynników należy więc również dokładnie przyjrzeć się pochodzeniu wykorzystywanego modelu językowego, zanim zbytnio polegnie się na poprawności odpowiedzi.

W tym miesiącu spoglądamy w przyszłość i zadajemy sobie pytanie, jak sztuczna inteligencja wpłynie na egzaminy na uniwersytetach i w szkołach. Ta propozycja tematu pochodzi od naszego studenta-praktykanta Vincenta, który obecnie odbywa semestr zagraniczny w Szwecji.

Doniesienia o pracach generowanych przez sztuczną inteligencję przez uczniów i studentów mnożą się. Coraz częściej w mediach dyskutowana jest kwestia, jak instytucje edukacyjne mają być w stanie rozpoznać, które teksty rzeczywiście zostały stworzone przez ludzi. Pomimo pewnych wskazówek, takich jak określone sformułowania, style pisania i ponadprzeciętna bezbłędność, już teraz trudno jest jednoznacznie określić, czy dany tekst rzeczywiście pochodzi spod pióra człowieka. Dzięki coraz lepszym modelom językowym i metodom promptowania (np. „Sformułuj jak najbardziej po ludzku i wprowadź błędy”) jednoznaczne rozpoznanie będzie stawało się coraz trudniejsze. To duży problem, jeśli weźmie się pod uwagę, że znaczna część kształcenia akademickiego opiera się na tworzeniu tekstów. Czy to przy aplikacjach, egzaminach, pracach magisterskich czy pracach domowych – wszędzie egzaminatorzy polegają na procedurach tekstowych. Jednak ryzyko jest wysokie, że te procedury egzaminacyjne długoterminowo nie będą już działać niezawodnie. Oprogramowanie detektorów, które obiecuje rozpoznawanie sztucznie tworzonych tekstów, może wprawdzie dostarczać wskazówek, ale samo nie jest wystarczająco niezawodne i można je obejść często prostymi środkami. I szczególnie kontrowersyjne: teksty napisane szczególnie przez osoby niebędące native speakerami są często błędnie rozpoznawane przez te programy jako stworzone przez sztuczną inteligencję. Niebezpieczeństwo dyskryminacji w procesach selekcyjnych może przez to znacznie wzrosnąć. Tym bardziej że nie tylko trudno jest udowodnić, że tekst został stworzony przez sztuczną inteligencję, ale także że jest odwrotnie.

Ale jak uczelnie wyższe i inne instytucje edukacyjne mogą sobie z tym poradzić? Ustne procedury egzaminacyjne mogłyby w większości przypadków wyraźnie pokazać, czy ktoś rzeczywiście sam myślał i zrozumiał. Tylko że egzaminy ustne wiążą się z ogromnym nakładem czasu i personelu i nie mogą bez dalszych działań sprawdzać tego samego zakresu wiedzy co egzaminy pisemne.

Większość instytucji edukacyjnych obecnie nadal opiera się na prostej zasadzie zakazu. Jednak niektóre instytucje już podążają nowymi drogami. Till Krause z Uniwersytetu w Landshut na przykład pozwala studentom aktywnie wykorzystywać sztuczną inteligencję jako źródło – o ile jest to wyraźnie oznaczone. Wymaga się więc precyzyjnego podania wykorzystanego modelu językowego i użytego promptu. Bowiem przy wszystkich wyzwaniach, jakie niesie ze sobą wykorzystanie sztucznej inteligencji w instytucjach edukacyjnych, sztuczna inteligencja oferuje przede wszystkim jedno: niesamowicie obszerny skarb informacji, które można doskonale wykorzystać do nauki i które stanowią fantastyczną podstawę do rozwoju własnych pomysłów i myśli.

Także na Uniwersytecie Ekonomicznym w Pradze podchodzi się pragmatycznie do wykorzystania sztucznej inteligencji. Tamtejszy kierunek studiów ekonomicznych od jesieni 2024 roku nie musi już pisać konwencjonalnej pracy licencjackiej. Zamiast tego będą prace projektowe, których wyniki będą oceniane. Wielu uważa to podejście za bardziej sensowne i praktyczne niż dotychczasowe prace. To całkiem rozsądne podejście, szczególnie dla kierunków studiów, gdzie nie chodzi przede wszystkim o bezbłędne i kunsztowne pisanie. Być może leży tu nawet szansa na wyraźniejsze wydobycie talentów ludzi, którzy na przykład mają dysleksję.

Faktem jest, że akademickie procedury egzaminacyjne będą musiały zostać zmienione. Sztuczna inteligencja – podobnie jak inne środki technologiczne – już teraz weszła do codzienności uczniów i studentów. Teraz potrzebne są możliwości sprawdzania ludzkiej wiedzy w inny sposób.

Absolutnie wart wysłuchania podcast na ten temat znajduje się tutaj: https://www.ardaudiothek.de/episode/11km-der-tagesschau-podcast/ki-or-not-ki-koennen-wir-ihre-texte-noch-enttarnen/tagesschau/13779441/

Mamy ekscytujące wiadomości! Od początku roku pracujemy nad nowym projektem. Wspólnie z czterema stowarzyszeniami ze Szlezwiku-Holsztynu powołaliśmy do życia projekt „Chatbot spotyka administrację: Inteligentne systemy dialogowe jako rozwiązanie przyszłości dla organizacji pożytku publicznego”.

Organizacje zorientowane na dobro wspólne często stają przed równie wieloma barierami biurokratycznymi co przedsiębiorstwa. Konfrontują się z zadaniami administracyjnymi, które pochłaniają znaczną część dostępnego czasu. Jednocześnie organizacje te żyją zaangażowaniem osób działających społecznie i rzadko dysponują środkami na kosztowne oprogramowanie. Chatboty mogą tutaj przynieść ulgę i ułatwić pracę stowarzyszenia. Czy to przy udostępnianiu informacji wewnętrznych stowarzyszenia, przy formułowaniu pism czy przy wprowadzaniu nowych członków. Istniejąca wiedza nie musi być już żmudnie wyszukiwana ręcznie, lecz może być udostępniana w naturalnym języku.

Zastosowanie chatbotów wymaga jednak uwzględnienia rozporządzenia o sztucznej inteligencji i wszystkich odpowiednich przepisów o ochronie danych. Również tutaj mogą pojawić się pewne przeszkody, szczególnie dla osób spoza branży. Dzięki naszej idei projektowej oferujemy organizacjom zorientowanym na dobro wspólne pełną suwerenność danych i gwarantujemy przestrzeganie wszystkich odpowiednich wytycznych.

Z naszą ideą zwróciliśmy się do programu Civic Innovation Platform i mogliśmy tam przekonać. Do końca 2026 roku nasz projekt będzie wspierany przez Federalne Ministerstwo Pracy i Spraw Socjalnych.

Wspólnie z organizacjami pożytku publicznego z najróżniejszych dziedzin opracowujemy rozwiązanie open source, które w przyszłości ma być również dostępne dla innych stowarzyszeń. Dzięki EVA (skrót od elektroniczna asystentka administracyjna) powstaje system czatu, który jest specjalnie dostosowany do potrzeb stowarzyszeń i organizacji pożytku publicznego. Możliwe będzie samodzielne hostowanie EVA, a tym samym działanie niezależnie od dostawcy i oszczędnie. Czynne wsparcie otrzymujemy od Kinderschutzbund Ostholstein, Ostsee-Holstein-Tourismus, Związku Krajowego Stowarzyszeń Działkowców Szlezwiku-Holsztynu oraz InMotion. Dzięki różnorodnym obszarom działalności tych związków możemy przy rozwoju EVA uwzględnić najróżniejsze wymagania i potrzeby oraz wspólnie opracować system dialogowy, który jest wydajny i dopasowany.

Więcej informacji znajdziecie pod adresem: https://www.civic-innovation.de/projektfoerderung/foerderprogramme/foerderrunde-2025-26#page-2254

W miesiącu maju zajmujemy się tematem zaproponowanym przez naszego „Teamlead Development” Bartosza i pytaniem, w jaki sposób sztuczna inteligencja może zmienić chemię.

W naszym życiu codziennym sztuczna inteligencja jest już stałym elementem w wielu dziedzinach. Pracujemy z modelami językowymi i chatbotami oraz korzystamy z inteligentnych urządzeń gospodarstwa domowego. Często nie zdajemy sobie jednak sprawy z tego, jakie niezbadane możliwości wynikają z zastosowania sztucznej inteligencji. Nasz aktualny temat pokazuje, że możliwości zastosowania sztucznej inteligencji wykraczają daleko poza gadżety typu „nice to have”.

Kto interesuje się przyznawaniem Nagrody Nobla, być może to zauważył. Nagroda Nobla w dziedzinie chemii w 2024 roku została przyznana w połowie Davidowi Bakerowi, a w drugiej połowie Demisowi Hassabisowi i Johnowi Jumperowi. Praca tej trójki dotyczy projektowania białek oraz przewidywania ich struktur – przy pomocy sztucznej inteligencji.

Białka są biologicznymi makrocząsteczkami zbudowanymi z aminokwasów. Te z kolei są połączone wiązaniami peptydowymi. Białka są obecne w każdej komórce i pełnią różnorodne, niezbędne do życia funkcje w ludzkim organizmie. Służą jako hormony, substancje sygnałowe, przeciwciała i elementy budulcowe tkanek.

Budowę białek można podzielić na kilka poziomów.

Struktura pierwszorzędowa: Jest to prosta sekwencja aminokwasów w łańcuchu. Każdy aminokwas ma określoną pozycję, a ta kolejność jest kluczowa dla funkcji białka.

Struktura drugorzędowa: Tutaj łańcuchy aminokwasów zwijają się w regularne wzory, takie jak spirale (helisy) lub złożone arkusze (beta-kartki). Te struktury pomagają utrzymać stabilność białka.

Struktura trzeciorzędowa: Cały łańcuch aminokwasów zwija się dalej w złożoną trójwymiarową formę. Ta forma jest kluczowa dla funkcji białka, ponieważ określa, jak białko wchodzi w interakcje z innymi cząsteczkami.

Struktura czwartorzędowa: Niektóre białka składają się z kilku podjednostek, które razem tworzą większą strukturę. Te podjednostki mogą łączyć się w funkcjonalny kompleks.

Hassabisowi i Jumperowi udało się opracować model do przewidywania struktur białek o nazwie „AlphaFold2”. Obaj pracują dla spółki zależnej Google, DeepMind. Za pomocą tego modelu można dokładnie przewidzieć trójwymiarową strukturę białka na podstawie sekwencji aminokwasów. Do tej pory było to możliwe tylko przy użyciu skomplikowanej metody krystalografii rentgenowskiej. Z jej pomocą w 1953 roku rozszyfrowano strukturę podwójnej helisy DNA. Aby przeprowadzić krystalografię rentgenowską, dane białko musi najpierw występować w postaci krystalicznej. Dzięki „AlphaFold2” trójwymiarowy kształt białka można teraz obliczyć bez konieczności przeprowadzania analizy laboratoryjnej.

Prawdopodobnie najbardziej godnym uwagi elementem pracy jest opracowanie zupełnie nowego rodzaju białka. Coś, co do tej pory uważano za prawie niemożliwe. Za pomocą oprogramowania „Rosetta”, opracowanego pod kierownictwem Bakera już w latach 90., można teraz po raz pierwszy konstruować zupełnie nowe białka przy użyciu „AlphaFold2”. Staje się zatem możliwe wytwarzanie białek o specjalnych funkcjach. Można je wykorzystać na przykład do ukierunkowanego opracowywania leków lub szczepionek. Możliwe jest również wytwarzanie nowych nanomateriałów.

Dzięki AI otworzyły się zatem zupełnie nowe możliwości w badaniach nad białkami, które mogą mieć decydujący wpływ na naszą przyszłość.

Czy Państwo, podobnie jak my, pracują nad innowacyjnym projektem AI? Wówczas mają Państwo szansę na częściowy zwrot kosztów wynagrodzeń i rozwoju od urzędu skarbowego. W ramach ulgi badawczej zwracane jest wstecznie do 35% kosztów.

W ramach procesu aplikacyjnego oczywiście wszystko jest dokładnie weryfikowane. Jakie ryzyka techniczne istnieją lub istniały i co dokładnie stanowi innowacyjny rdzeń projektu? Dużym wsparciem w procesie aplikacyjnym było dla nas wsparcie WTSH, doradcy biznesowego Romana Charkoi (Pollecon) oraz sieci AI Szlezwiku-Holsztynu (KI.SH).

W przeciwieństwie do innych możliwości finansowania, ubieganie się o ulgę badawczą wiąże się ze stosunkowo niewielkim nakładem pracy i jest łatwe do zrealizowania nawet dla niedoświadczonych startupów. Ulga badawcza to praktyczna możliwość ukierunkowanego wspierania innowacyjnych projektów.

Dla nas w Splitbot ulga badawcza to pełny sukces. Udało nam się przekonać jury ekspertów i dzięki dofinansowaniu możemy dalej rozwijać nasz projekt.

Więcej na ten temat przeczytają Państwo tutaj: https://kuenstliche-intelligenz.sh/de/forschungszulage-splitbot

Jak zawsze, w tym miejscu zajęliśmy się propozycjami tematów od naszego zespołu. Temat na ten miesiąc został zaproponowany przez naszą dyrektor zarządzającą Caro i dotyczy aktualnego szumu wokół DeepSeek-R1.

Kiedy przyjrzymy się chińskiemu modelowi językowemu DeepSeek-R1, od razu rzuca się w oczy jedna cecha: ogromna przewaga cenowa w porównaniu z innymi modelami. A wszystko to przy konkurencyjnej wydajności. Ta niska cena jest możliwa dzięki niezwykle wydajnej metodzie treningowej i architekturze modelu, które zostały zastosowane w tym modelu. DeepSeek-R1 wywołał prawdziwy szum i jest przedstawiany w mediach niemal jako skok kwantowy. Ale co się za tym kryje?

Wiele hałasu o nic?

W rzeczywistości DeepSeek-R1 nie jest nową technologią, a jedynie imponującym połączeniem znanych już technologii, takich jak podejście Mixture of Experts.

To innowacyjne połączenie umożliwia działanie modelu na stosunkowo niedrogim sprzęcie. Ponadto DeepSeek-R1 udoskonalił uczenie się przez wzmacnianie. Mówiąc najprościej, wyniki generowane przez DeepSeek-R1 są przenoszone do następnej wersji modelu, co prowadzi do ogromnej poprawy „inteligencji” tej następnej generacji. Na przykład OpenAI potrzebuje obecnie znacznie więcej wysiłku, aby znacząco ulepszyć własne modele. Dlatego też koncern jest pod coraz większą presją ze strony DeepSeek-R1 i publikacji związanych z nim szczegółów technicznych.

W całym tym zamieszaniu nie należy jednak zapominać, że w ostatnich latach niemal co tydzień pojawiały się innowacyjne rozwiązania w dziedzinie modeli językowych – ze strony firm, uniwersytetów lub podmiotów państwowych. Przykładem tego jest model Teuken7B. Ani podejście Open Source, ani baza DeepSeek-R1 nie są tak naprawdę nowatorskie.

Rozwój DeepSeek-R1 jest raczej reakcją na sankcje nałożone przez USA – Chinom brakuje wydajnego sprzętu.

DeepSeek-R1 z pewnością nie jest pierwszym modelem językowym Open Source, któremu udało się na krótki czas wspiąć na szczyt tabeli porównawczej.

DeepSeek-R1 może być używany przez każdego – nawet bez uruchamiania go na własnym sprzęcie. Jednakże, podobnie jak w przypadku innych modeli, wprowadzone dane są przekazywane producentowi. Ponadto należy pamiętać, że wiedza, na której się opiera, jest częściowo nacechowana politycznie. Jest to jednak okoliczność, którą zaobserwowano już w przypadku innych modeli. DeepSeek-R1 osiągnął więc przede wszystkim jedno: znalazł tani i wysoce wydajny sposób na trenowanie i ulepszanie złożonych modeli językowych. I pokazał tę drogę opinii publicznej. Można zatem założyć, że rozwój w tej dziedzinie nabierze jeszcze większego tempa dzięki publikacji DeepSeek-R1. Jednak prawdopodobnie nie wystarczy to, aby uzyskać trwałą przewagę nad konkurencją.

W tym miesiącu zajmujemy się tematem wybranym przez naszą koleżankę Heinke i dowiadujemy się wszystkiego, co trzeba wiedzieć o podpowiedziach (Prompting).

Hype na chatboty nie słabnie nawet dwa i pół roku po wydaniu ChatGPT i prawdopodobnie każdy już eksperymentował z chatbotem. Podczas gdy chatboty są już używane w wielu firmach, inne nie dostrzegły jeszcze korzyści lub nie były zadowolone z wyników testów. Ale co może być tego przyczyną? Jedną z przyczyn niezadowalających odpowiedzi mogą być niewystarczające podpowiedzi. Aby w przyszłości uzyskiwać najlepsze możliwe wyniki, przygotowaliśmy przegląd tego, na co należy zwrócić uwagę podczas podpowiadania.

Czym jest podpowiadanie (Prompting)?

Podpowiedź (Prompt) to dane wejściowe przekazywane modelowi językowemu, czyli chatbotowi, w celu uzyskania konkretnej odpowiedzi lub określonego zachowania. Podpowiadanie stało się dla wielu osób prawdziwym sportem, który służy nie tylko do uzyskiwania najlepszych możliwych wyników, ale może być również wykorzystywany w sposób niewłaściwy. Są więc osoby, które za pomocą podpowiedzi próbują celowo uzyskać błędne wyniki, na przykład w celu zaszkodzenia firmom, które je udostępniają.

Dlaczego podpowiadanie jest ważne?

Podpowiadanie jest ważne, ponieważ wpływa na jakość i trafność odpowiedzi modelu językowego. Dobrze sformułowana podpowiedź może pomóc modelowi dostarczyć dokładnie te informacje, które są potrzebne, unikając przy tym niepotrzebnych lub nieistotnych informacji. Oszczędza to czas i poprawia efektywność korzystania z modeli językowych.

Wskazówki dotyczące efektywnego podpowiadania

1. Bądź jasny i precyzyjny:
   Dobra podpowiedź powinna być jasna i precyzyjna. Należy unikać niejasnych lub wieloznacznych sformułowań. Przekaż modelowi jak najwięcej kontekstu, aby uzyskać żądaną odpowiedź.
2. Używaj konkretnych pytań:
   Zadawaj konkretne pytania zamiast ogólnych zapytań. Na przykład: „Jakie kroki są niezbędne do rozpoczęcia nowego projektu?” zamiast „Opowiedz mi coś o zarządzaniu projektami”.
3. Wykorzystuj przykłady:
   Podawaj modelowi przykłady, aby wyjaśnić żądaną odpowiedź. Na przykład: „Utwórz wiadomość e-mail z podziękowaniem dla klienta za jego zamówienie. Oto przykład: 'Dziękujemy za Państwa zamówienie. Cieszymy się, że wkrótce będziemy mogli dostarczyć Państwu towar.’“
4. Używaj instrukcji:
   Dawaj modelowi jasne instrukcje, co ma robić. Na przykład: „Napisz post na blogu o zaletach sztucznej inteligencji. Post powinien mieć co najmniej 500 słów i być napisany w tonie informacyjnym.”
5. Unikaj niejednoznaczności:
   Unikaj niejednoznaczności i niepotrzebnych informacji. Jasna i precyzyjna podpowiedź pomaga modelowi szybciej i dokładniej dostarczyć żądaną odpowiedź.

Przykłady efektywnego podpowiadania

1. Odpowiadanie na pytania:
   • Podpowiedź: „Wyjaśnij mi podstawy sztucznej inteligencji.”
   • Odpowiedź: „Sztuczna inteligencja (SI) to dziedzina informatyki, która zajmuje się rozwojem systemów zdolnych do wykonywania zadań, które normalnie wymagają ludzkiej inteligencji.”
2. Tworzenie tekstów:
   • Podpowiedź: „Napisz post na blogu o zaletach sztucznej inteligencji. Post powinien mieć co najmniej 500 słów i być napisany w tonie informacyjnym.”
   • Odpowiedź: „Sztuczna inteligencja (SI) poczyniła w ostatnich latach ogromne postępy i oferuje wiele korzyści dla różnych branż. Od automatyzacji rutynowych zadań po poprawę podejmowania decyzji – SI ma potencjał, aby znacznie zwiększyć efektywność i produktywność w wielu obszarach…”
3. Tłumaczenia:
   • Podpowiedź: „Przetłumacz następujący tekst na język niemiecki: 'The quick brown fox jumps over the lazy dog.’“
   • Odpowiedź: „Der schnelle braune Fuchs springt über den faulen Hund.”

Podsumowanie

Podpowiadanie to potężne narzędzie, które pomaga uzyskać najlepsze wyniki z modeli językowych. Dzięki odpowiednim technikom i wskazówkom możesz mieć pewność, że Twoje podpowiedzi są jasne, precyzyjne i skuteczne. Wykorzystaj te strategie, aby poprawić dokładność i trafność odpowiedzi oraz uczynić swoją pracę bardziej efektywną.