Domácí úkoly

Zápočet

Zápočet je nutnou podmínkou pro přihlášení na zkoušku a lze získat dvěma způsoby:

• Získáním dostatečného počtu bodů
  Kde dostatečný počet jsou 2/3 celkového počtu bodů za domácí úlohy.

• Přesvědčením cvičícího, že to umíte
  Alternativním způsobem k získání zápočtu je originálním způsobem přesvědčit cvičícího, že látku umíte. Například se můžete pochlubit nějakým netriviálním skriptem, nebo si domluvit zápočtový program.

Program cvičení

15. Cvičení (navíc) 29.5.2017

14. Cvičení 23.5.2017

• Řešení domácích úkolů.
• Dodělávky. diff patch comm ps
  
• Stručně zabalování a rozbalování: tar, bunzip
  • compress cheat sheet
• • Probrané příklady – trochu rozšířené.
  • Řešení find z minulých cvik (od studenta z minulého roku, neříkám, že perfektní) find.sh
• Domácí úkoly (dobrovolné)
  • hw 14.0 (0 bodů) Vypište čísla skupin, která jsou v /etc/group, ale nejsou použita v /etc/passwd. Použijte příkaz comm.
  • hw 14.1 (0 bodů) Napište awk skript, který rozdělí vstup (stdin) do souborů pojmenovaných F1, F2, ..., přičemž každý soubor obsahuje hlavičku (první řádek vstupu), 3 řádky (odpovídající řádkům 1 + 3*(X-1) až 1+3*(X), je-li jméno souboru FX) a patičku (poslední řádku vstupu). Například na vstupu budou soubory vypadat takto: F1, F2, F3, F4
    Nápověda: getline, přesměrování výstupu funkce print.

13. Cvičení 16.5.2017

• Řešení domácích úkolů.
• awk
  • Stručný cheat-sheet k awk
  • Jednořádkové skripty pro awk — zkuste srovnat s těmi pro sed
  • Případně také Tutoriál k awk
    
• Probrané příklady.
• Domácí úkoly (odevzdat do 22.5.2017 23:59)
  • hw13.0 (0 bodů) Rozmyslete a třeba i vyzkoušejte, co dělá následující program :(){ :|:& };:
  • hw13.1 (6 bodů) Napište awk skript, který vypíše pozpátku řádky vstupu (stdin) a to: pokud jsou sudé (číslo řádku vstupu je sudé), nebo celá řádka tvoří palindrom. Help: split, while, funkce.
  • hw13.2 (6 bodů) Napište awk skript, který z html (čteného na vstupu) vypíše adresy, na které se odkazuje (to jest za značku <a href="adresa"> vypíše adresa). Pozor na to, že ta značka může být rozložena přes víc řádků a můžou tam být kolem a, href mezery. Help: nastavte vhodně RS a FS.
  • hw13.3 (6 bodů) Naprogramujte funkce pro práci s key-value storage v shellu: aget, aset, (třeba pomocí eval a shellových proměnných). Obě funkce by asymptoticky neměly pracovat pomaleji, než zápis/čtení z shellové proměnné. Můžete předpokládat, že klíče odpovídají regexpu [0-9a-zA-Z]*. Příklady použití:

    $ aset 1 'Hloupý Honza'
    $ aget 1
    Hloupý Honza
    $ aset 2 'princ Bajaja'
    $ aset pokus '"; yes EXPLOITED | head -n 100 ;'
    $ aget pokus
    "; yes EXPLOITED | head -n 100 ;

12. Cvičení 9.5.2017

• Řešení domácích úkolů. Vzorové řešení hw11.2.
• Viditelnost proměnných, subshelly, funkce, trap, kill.
• Probrané příklady (lépe než na cvičeních, doplněn trap).
• Domácí úkoly (odevzdat do 15.5.2017 23:59)
  • hw12.1 (10 bodů) Naprogramujte vlastní find (bez použití find), alespoň s funkcionalitou find /cesta/kde/hledat. Čím toho bude umět více, tím lépe. Dejte si záležet s quotováním proměnných, a zamyslete se, jaké znaky v názvech souborů podporujete. Nápověda: ls, funkce, rekurze.

11. Cvičení 2.5.2017

• Řešení domácích úkolů.
• Quotování a expanze proměnných: A='1 2 3' ; rm $A versus rm "$A"
• IFS a read, $@ a "$@", idiom cat file | while read line ; do ...
• sed – zmíněn pattern space vs hold space.
• Probrané příklady
Domácí úkoly (odevzdat do 8.5.2017 23:59)
• hw11.1 (6 bodů) napište sed skript (tzn, zkuste rešit jen sed-em) co vypíše věk uživatelů co se jmenují mirek, vstup má 3-řádkové záznamy (id, jmeno, vek), viz lide.txt.
• hw11.2 (10 bodů) výstup utility nvidia-smi vypadá takto. Napište skript, který vypíše gpuX, kde X je id (vedle jména karty) gpu, které je nejméně zaneprázdněné (nejchladnější co má alespoň půl volné paměti, není-li taková, tak jen nejchladnější). Váš program by měl fungovat pro libovolný počet karet ve výpisu, ne jen 2 jako v příkladu. Zamyslete se, jak poznat začátek seznamu karet a jak ho vyfiltrovat. Váš skript by neměl spoléhat na přesný počet mezer oddělující políčka, nebo přesnou velikost ascii-art rámečku (řekněme, že obě mohou záležetet na šířce terminálu), naopak pořadí políček a jejich význam lze brát za daný.

10. Cvičení 25.4.2017

• Řešení domácích úkolů. Opakování regex (a zmíněno extended regex). Regexpy jsou imho důležité a je dobré je ovládat důkladně a svižně.
• sed   Pěkné materiály: Tutoriál k sedu && Jednořádkové skripty pro sed
  
• Probrané příklady
Domácí úkoly (odevzdat do 1.5.2017 23:59)
• hw10.1 (5x2=10 bodů) Napište sed příkaz(y), co:
  • Smaže bílé znaky na začátku všech řádků.
  • Nahradí 'bash' za 'dash' na řádcích, které neobsahují '6am'.
  • Smaže prázdné řádky.
  • Převede 5-tý sloupec v /etc/passwd na UPPERCASE (jako první úkol z 4-tých cvik), hint y.
  • Převede DOSové newlines na unixové, viz Newline @ wiki.
• hw10.2 (10 bodů) Najděte si příklady zpracování vstupu v shell skriptu (KW: shift). Napište skript change.sh co přijímá parametry a vypisuje:
  
  • -l STRING nebo --lower STRING – převede STRING na lowercase a vypíše
  • -u STRING nebo --upper STRING – převede STRING na uppercase a vypíše
  • -s STRING nebo --swap STRING – převede lowercase znaky z STRING na uppercase a naopak a vypíše
  Příklad použití:

  $ ./change.sh -l "Prilis Zlutoucky KUN" -u "upel dabelske ODY" --lower "THIS IS SPARTA" -s "maly VELKY muz"
  prilis zlutoucky kun
  UPEL DABELSKE ODY
  this is sparta
  MALY velky MUZ

9. Cvičení 18.4.2017

• Řešení domácích úkolů. V programech pozor na blbé vstupy a edge-cases!
• Regulární výrazy, jsou důležité.
• Probrané příklady
Domácí úkoly (odevzdat do 24.4.2017 23:59)
• hw9.0 (0 bodů) Jestli není vše jasné, přečtěte si Regexp Tutorial.
• hw9.1 (3x2=6 bodů) Stáhněte si: rfc793.txt. Napište příkaz, co v něm spočítá kolik řádků obsahuje:
  1. slovo "packet" (přesně tento tvar slova, bez uvozovek, tzn packets je jiné slovo nez packet, jako v normálním jazyce),
  2. slovo "packet" NEBO slovo "network", přesně v těchto tvarech,
  3. řetězce číslic, které jsou alespoň délky 3 a ve kterých jsou všechny číslice STEJNÉ. Tedy "222" je ten správný řetězec, "2223" také, ale "22445566" ne.
• hw9.2 (4 body) napište regex, který co nejlépe matchne ip adresu (ipv4). Nápověda je v probraných příkladech.
• hw9.3 (3x3=9 bodů) napište co nejlepší regexp, který matchuje:
  1. doménové jméno (např. mff.cuni.cz),
  2. e-mailovou adresu (např. user@mff.cuni.cz),
  3. http(s) adresu (stačí pro http/https, není nutné specifikovat port, username a heslo), (např. https://mapy.cz/s/yp84)
  Nápověda: googlujte jak jsou jednotlivé věci definované.

8. Cvičení 11.4.2017

• Řešení domácích úkolů. Pipe je "stream of bytes", tzn. když předáváme strukturovaná data (e.g. seznam souborů), musíme si dávat pozor na zakódování struktury (oddělovače položek seznamu)! Příkaz od.
• Programování v shellu, řídící struktury if, for, while. Program test a [. Podívejte se do probraných příkladů, je tam víc věcí, než jsme stihli na cvičeních. Vyzkoušejte si příklady ze slajdů přednášky.
• Probrané příklady
Domácí úkoly (odevzdat do 17.4.2017 23:59)
• hw8.1 (6 bodů) Napište skript nasobilka.sh, který vypíše pěknou (nějak hezky naformátovanou) tabulku s násobilkou o velikosti N*N, kde N dostane skript jako argument. Např: ./nasobilka.sh 3 může vypsat:

  *	1	2	3
  1	1	2	3
  2	2	4	6
  3	3	6	9
  

• hw8.2 (8 bodů) Naprogramujte vlastní seq. Musí fungovat (alespoň) ve třech variantách (LAST, FIRST a INCREMENT jsou čísla), obdobně jako originál:

  ./seq LAST
  ./seq FIRST LAST
  ./seq FIRST INCREMENT LAST
  

  Zamyslete se nad corner casy vstupu: záporná čísla, desetinná čísla, atp.

7. Cvičení 4.4.2017

• Řešení domácích úkolů.
• xargs, find.
• Probrané příklady
• Domácí úkoly (odevzdat do 10.4.2017 23:59)
  • hw7.1 (6 bodů) Napište příkaz, který smaže logy (končící na '.log') starší než týden (zamyslete se, co znamená starší, access/modify/change??), v adresáři /tmp (nebo podadresářích). Použijte jen příkaz find (žádné |, narozdíl od následujícího příkladu).
  • hw7.2 (10 bodů) Napište variantu předcházejícího příkazu, kde soubory ke smazání předáte z find příkazu xargs v kombinaci s rm.
    Ujistěte se, že váš příkaz funguje i pro soubory co mají v názvu mezeru, nebo jiné nenormální znaky.
    Ujistěte se, že váš příkaz funguje i pro OPRAVDU mnoho souborů (více než getconf ARG_MAX, xargs --show-limits).
  • hw7.3 (4 bodů) Řekněme, že výše uvedené čištění složky /tmp (tzn, příkaz z první úlohy) je automaticky spouštěno každý den po půlnoci. Jakým příkazem změníte stáří souboru "/tmp/touch_me.log" tak, aby byl při tomto čištění (tzn, právě příkazem z první úlohy) smazán už dnes v noci (nehledě na jeho skutečné stáří)?

6. Cvičení 28.3.2017

• Řešení domácích úkolů. sort, uniq, rev, tr.
• cut, a komplementární paste.
• Ascii tabulka, trochu o kódování, man ascii.
• Počítání v shellu, $((1+1)), expr, bc.
• Probrané příklady
• Domácí úkoly (odevzdat do 3.4.2017 23:59)
  • hw6.0 (0 bodů) Podívejte se do příkladů na sort a locale a vyzkoušejte si.
  • hw6.1 (10 bodů) Napište funkci (v souboru zdrojak_bc) pro POSIX bc, který spočítá faktoriál. Příklad použití:

    $ echo "faktorial(10)" | bc zdrojak_bc
    3628800

    Dále pak (v tom samém souboru) funkci která spočítá počet nul na konci faktoriálu vstupního čísla. Příklad použití:

    $ echo "nulyvefaktorialu(10)" | bc zdrojak_bc
    2

    Tzn., rešením úkolu je bc zdroják (bc je i programovací jazyk, syntax má snadnou, hledejte), který obsahuje – alespoň – funkce faktorial a nulyvefaktorialu.
  • hw6.2 (4 body) Napište skript zkonvertuj.sh, který odstraní ze vstupního souboru (první parametr) všechny znaky \r (man ascii) a výsledek uloží do výstupního souboru (druhý parametr).

    $ ./zkonvertuj.sh vstup_s_carriage_return vystup_bez_carriage_return
    

5. Cvičení 21.3.2017

• Řešení domácích úkolů.
• Práce s textem a strukturovanými daty. cut, grep, join, tr.
• Probrané příklady
• Domácí úkoly (odevzdat do 27.3.2017 23:59)
  • hw5.1 (6 bodů) Romeo a Julie: najděte 20 nejpoužívanějších slov ve hře Romeo a Julie, vypište spolu s jejich počtem. Formát výstupu by měl být:

       1001 a
       1000 the 
        681 julie
        666 romeo
    ...
          1 othello

    Nápověda v příkladech.
  • hw5.2 (6 bodů) Básnický slovník: vytvořte slovník (e.g. seznam slov z Romea a Julie, napřed se tedy hodí mít hw5.1), seřazený aby člověk mohl snadno najít rým, například slovo think by mělo být "poblíž" slova blink a drink, ale daleko od slova fellow. Budete (nejspíš) potřebovat jednu nestandartní utilitu: Nápověda – POZOR: spoiler!
  • hw5.3 (6 bodů) Left Join: jak ve státech, městech & prezidentech najít prezidenta státu, který v datech nemá žádné město?

4. Cvičení 14.3.2017

• Řešení domácích úkolů.
• Skryté soubory, promenne, quoting, expanze proměnných. PATH, spouštěnní skriptů.
• Probrané příklady
• Domácí úkoly (odevzdat do 20.3.2017 23:59)
  • hw4.0 (0 bodů) Zkopírujte a vložte do shellu následující příkaz:echo /dev/null; clear; echo -n "Hello ";whoami|tr -d '\n';echo -e '!\nThat was a bad idea. Don'"'"'t copy code from websites you don'"'"'t trust!\n\nRead more: https://news.ycombinator.com/item?id=5508225\n'
echo 'Ahoj, jak se dnes vede? 123456789' — co se stane a proč?
  • hw4.1 (6 bodů) Nastudujte si sekce 2.1 a 2.2 standardu a poté vytvořte příkaz(y), který do terminálu:
    • Vypíše řetězec: '"''" bez použití backslash
    • Vypíše řetězec: '"''" s použítím backslash
    • Vypíše řetězec: ;`echo -e "\n"`
  • hw4.2 (5 bodů) Normě POSIX.1-2008 odpovídající příkaz, který vypíše 2 prázdné řádky. Vyřešte to jedním příkazem, nikoliv 2-násobným opakováním echo.

3. Cvičení 7.3.2017

• Opakování z minula, řešení domácích úkolů.
• Odkazy, práva.
  Pozor!! V labu (e.g. domovské složky) je síťový filesystém AFS, kde fungují práva nestandartně. Tzn, chmod a další manipulace s právy je nutné zkoušet v e.g. lokálním adresáři — třeba /tmp.
• Norma POSIX.1-2008, nestandardní (e.g. GNU) rozšíření.
• Probrané příklady
• Domácí úkoly (odevzdat do 13.3.2017 23:59)
  • hw3.1 (5 bodů) Vypište detaily (ala ls -l) všech složek (pouze složek) v pracovním adresáři.
  • hw3.2 (5 bodů) Mějme soubor skript.sh. Jakým příkazem mu nastavíte práva tak, aby ho vlastník mohl číst a spouštět, členové skupiny ho mohli upravovat a číst a ostatní jen spouštět? Vyjádřete to jak v textové, tak v osmičkové (číselné) notaci (tzn, 2 ekvivalentní příkazy).
  • hw3.3 (5 bodů) Napište příkaz, kterým nastavíte datum a čas poslední modifikace existujícího souboru jménem old_file na 11.3.1993 15:04.

2. Cvičení 28.2.2017

• Přesměrování a pipe podrobněji.
• Složky, soubory, navigace, wildcards.
• Editace souborů.
• Podrobně – probrané příklady
• Domácí úkoly (do začátku příštích cvičení)
  • (0 bodů) vyberte si a pošlete mi svou přezdívku (pro zveřejňování bodů)
  • (1 bod) příkaz (resp. posloupnost příkazů), kterými vytvoříte soubor, který obsahuje 4096 řádků se slovem "unix".

1. Cvičení 21.2.2017

• Motivace, příkazová řádka — spuštění. Základní formát příkazu: command [OPTION]... [FILE]...
• Když nevím: manuálové stránky man a uncle Google.
• Program pracuje se vstupy a výstupy (stdin, stdout, stderr) jako se soubory, operátor pipe ( seq 10 | wc -l) navazuje vstup jednoho programu na druhý.
• Vzdálené přihlášení ssh, pro windows třeba PuTTY.
• Základní příkazy stručně: man, ls, cat, echo, head, tail, seq, w, who.
• Podrobně – probrané příklady
• Domácí úkoly (až příště)

Materiály & odkazy

Anki

Je skvělý program pro efektivní učení pomocí systému kartiček a principů Spaced Repetition a Active Recall. Je k dispozici jak online, tak pro Android, resp IOS.

Během semestru budu rozšiřovat experimentální balíček s kartičkami pro Uvod do Unixu, který si můžete importovat a učit se tak pomocí Anki. A pozor, pamatovat si věci je nástroj; programovat se člověk těžko naučí bez vlastního aktu programování a experimentování. Balíček je tak myšlen jako způsob jak si zapamatovat co dělají základní utility, ale rozhodně doporučuji si všechny věci vyzkoušet.

Ke stažení: UnixCrashcourse_21_03_2017.apkg
Feedback, opravy & rozšíření jsou vítané.

Basic Stuff

• Basic Linux Tutorial && Basic Bash Tutorial
• Stránky předmětu, slajdy

Useful Stuff

• POSIX.1-2008 — specifikace unixu, např. Volume Shell & Utilies obsahuje seznam shellových utilit a standardních options.
• Advanced Bash-Scripting Guide
• O'Reilly Bookshelf

Other (Useful) Stuff

• stránky paskyho cvičení
• Úvod do UNIXu @ wiki.matfyz – další odkazy.
• Vše o sedu

Kontakt

Máte-li nějaký technický problém či dotaz a nepomáhá ani přemýšlení a Google, napiště mi, nebo si se mnou domluvte konzultaci.

E-mail/Hangout: J.Moudrik@gmail.com

---