l1 sciences et techniques document de travail – cm1 2016-2017
TRANSCRIPT
Module ScIn11 – partie informatiqueL1 Sciences et Techniques
Document de travail – CM12016-2017
Web
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd"><html><head> <title>Documentation Perl en français</title>
<meta name="description" content="Perl français - La documentation Perl en français plus des outils francisés pour la gestion des traductions">
<meta name="keywords" content="Perl, documentation Perl, Perl en français, traduction, Pod, PodFr"> <meta name="author" content="Paul Gaborit"> <meta http-equiv="content-type" content="text/html; charset=windows-1252"> <link title="perlfr style" href="Documentation%20Perl%20en%20fran%C3%A7ais_fichiers/style.css" type="text/css" rel="stylesheet"> </head>
Statistiques sur les pages web : document de synthèse, facile à lire, fichier indicateurs.pdf, (source www.forum-e-export.com).Vocabulaire :- mode d'arrivée de l'internaute sur votre page :
direct : accès au site en saisissant l'URL directement dans un navigateur,
referral : accès par des liens figurant sur d'autres sites,
organic : accès par des résultats de moteur de recherche non payant ;
- pour les pages vous devrez distinguer :- les sorties de pages (exit) : l'internaute quitte votre site à partir de la page concernée,- les rebonds (bounce) : l'internaute quitte votre site à partir de la page concernée après avoir vu
uniquement cette page.
Linux2014-tukey-tableur-enonce.pdf PDF document, version 1.42014-tukey-tableur.zip Zip archive data, at least v2.0 to extractextensions-AAPN_10.doc Composite Document File V2 Document
index.html HTML document, UTF-8 Unicode textLhasa-De-Sela.mp3 Audio file with ID3 version 2.4.0lignes.odt OpenDocument TextsimpleScan.xml XML document texttest10.csv Non-ISO extended-ASCII text, with very long linestest11.odp OpenDocument Presentationtest14.pptx Microsoft PowerPoint 2007+test15.xlsx Microsoft OOXMLtest16.rtf Rich Text Format data, version 1, ANSItest18.tex LaTeX 2e document, UTF-8 Unicode texttest19.txt UTF-8 Unicode texttest23.xls Composite Document File V2 Documenttest4.docx Microsoft Word 2007+test6.ods OpenDocument Spreadsheettukey.jpg JPEG image data, JFIF standard 1.01ackermann.java UTF-8 Unicode textackermann.class compiled Java class data, version 50.0 (Java 1.6)tubeEcr ELF 64-bit LSB executable, x86-64tubeEcr.c C source, UTF-8 Unicode text
exemple de résultat de la commande
file *
page
site150
850
autressites100150150
500
bounce rate 100/150 ~66 %exit rate (100+500)/1000 ~60 %
étude sur 1000 visites de votre page
format
extension utilisation
suite bureautiqueOpenOffice
(format OASIS)
.odt
.odp
.ods
OpenOffice
suite bureautiqueOffice
.doc
.docx
.ppt
.pptx
.xls
.xlsx
OfficeOpenOffice
JPEG(Joint Photographic Experts Group)
.jpeg
.jpgGimp
ImageMagickPaint
PDF(Portable Document Format)
.pdf AcroreadPDF viewer
bytecode java
.class machine virtuellejava
format : codage des informations (il est normalisé)utilisation : logiciel utilisé pour ouvrir/modifier le fichier
langage outil d'exécution instruction(s)
java compilateur javac et machine virtuelle java (ou netBeans)
int deb=1 ;
shell interpréteur shell ls -l
gnuplot utilitaire gnuplot plot(sin(x))
Perl interpréteur Perl if ( $ligne=/2016/) { print "année courante\n"; }
Syntaxecommande options données
Exempleswc fichier
grep "Google" topAlexa1.data
1 8 fr Google.fr
4 9 com Google.com
148 ? com Googleusercontent.com
grep -c "Google" topAlexa1.data
3
Complétez le tableau ci-dessous.
instruction option(s) donnée(s)
cd Source1
chmod u+x pourDroits2.sh
chmod u+x *sh
cp e.pdf ../Sources/S1-e.pdf
file *
grep -c "Google" topAlexa1.data
ls -l *
ls -l pourDroits2.sh
ls Sources
./pourTopAlexa1.pl
wc *
Redirections et pipe
Syntaxecommande options données > fichiercommande options données >> fichier
commande1 options données | commande2 options
ls -l pourD*
-rwxr--r-- 1 mnt mnt 449 mai 3 16:45 pourDroits1.sh-rw-r--r-- 1 mnt mnt 4 mai 3 16:45 pourDroits2.sh
r ou -droit de lire
(read)
w ou -droit de modifier
(write)
x ou -droit d'exécuter
(execute)
commande chmod : u pour utilisateur, + pour ajouter, rwx pour les droits
chmod u+x pourDroits2.sh
ls -l pourDroits2.sh-rwxr--r-- 1 mnt mnt 4 mai 3 16:45 pourDroits2.sh
Complétez le tableau ci-dessousLe fichier A contient : UFR Sciences et Techniques
Le contenu B est : Réunion de rentrée
Le contenu C est : UFR Sciences et TechniquesRéunion de rentrée
Le programme pg.sh contient : echo "Réunion de rentrée"
Après exécution de l'instruction indiquée, dans quelle forme (A, B C) est le fichier A ?après exécution de A B C
./pg.sh
./pg.sh > A
./pg.sh >> A
Instructions
cut -d "x" -fxxx fichier cat fichier
more fichier sort options fichier
gnuplot options fichierProgramme
Complétez le tableau ci-dessous.programme quel est son fichier de données ? crée un fichier image
(oui/non) ?pourTopAlexa6.gnuplot
pourTopAlexa8.gnuplot
pourTopAlexa9.gnuplot
pourTopAlexa10.gnuplot
Le graphique ci-contre est constitué de deux tracés :
- les segments verticaux, bleu-clair, indiquent l'intervalle entre les valeurs mini-maxi pour chaque valeur de pageRank,
- les points bleu-sombre marquent la moyenne de classement Alexa pour chaque valeur de pageRank.
Utilisation de Google (pour le TD1)Voir :
« Vos recherches avec Google », Bruno Bernard Simon, Klog édition, 2014 http://www.generation-nt.com/google-guide-presentation-moteur-recherche-fonctions-article-24819-1.html
http://www.rankspirit.com/mieux-utiliser-google.php
http://micromut.fr/internet/Pdf/Mieux_utiliser_Google.pdf (document GoogleUtilisation.pdf)
topAlexa1.data
topAlexa11.data
1 155 210 174.333 523 32 111 179 155 465 33 16 224 128.5 514 44 72 249 175.143 1226 75 17 247 148.676 5055 34...
pourTopAlexa11.awk
topAlexa11.segments
1 1551 210
2 1112 279
...pourTopAlexa11.pl
pourTopAlexa11.gnuplot
1
2
3
pourTopAlexa11.sh
du top 100 Alexa
pour les points moyenne pour lessegmentsmini-maxi
Les règles de base de constitution des requêtes
dans votre requête, l'ordre des mots importe
lancez les deux requêtes : paris dakar
dakar paris
comparez les positions respectives du site wikipaedia
et du site officiel du rallye Paris-Dakar
votre requête est limitée à 10 mots non éliminables (les mots
éliminés par Google sont les articles, conjonction, etc.)
lancez les deux requêtes :du vin ordinaire de Bourgogne dans chaque bouteille duquel on
aurait fait fondre deux livres de sucre
vin ordinaire Bourgogne bouteille deux livres
sucre
pour retrouver la citation de Stendhal : Le lacrima christi est imbuvable pour moi. C'est du vin
ordinaire de Bourgogne dans chaque bouteille duquel on aurait fait fondre
deux livres de sucre.
les accents ne sont pas pris en compte dans la recherche …
MAIS ils influent sur l'analyse du contexte
lancez les deux requêtes :hotel et hôtel
ou les deux requêtes :aï et ai
* est un joker pour un mot entier lancez les deux requêtes : gare de Dijon *gare de Dijon
Tips and tricksPour la recherche simple avec Google :
1- pas de phrases, des mots-clés : n'hésitez pas à utiliser plusieurs mots-clés2- restez aussi près que possible du texte que vous supposez figurer dans les documents3- utilisez des guillemets pour délimiter les expressions (mots contigus dans les documents)4- utilisez le mot-joker * 5- utilisez le pipe | pour une alternative entre mots6- utilisez le signe - pour exclure les pages contenant un mot
Les opérateurs Google :- les opérateurs logiques : AND OR NOT
NOT peut être noté –OR peut être noté | AND peut-être noté +
- les guillemets pour encadrer les expressions- la notation .. pour un intervalle (numérique, année, monnaie, etc)- le signe + pour conserver un mot vide qui serait automatiquement supprimé par Google- le joker * pour un mot entier
d'opérateurs relatifs à la structure des pages
opérateurs pour rechercher
inanchor:xxx dans les textes associés aux ancres
intitle:xxx allintitle:xxx dans les titres des pages
intext:xxx allintext:xxx dans le texte proprement dit
inurl:xxx allinurl:xxx dans l'url
autres opérateurs
filetype:xxx un format de fichier particulier
site:xxx sur un site donné
link:xxx pages contenant un lien vers le site indiqué
Recherche d'imagesRecherchez systématiquement des images libres de droit
et activez Safe Search
Les alertesLe site Google Alerts est
https://www.google.fr/alertsVoir :
http://www.actulligence.com/2014/03/27/les-systemes-de-veille-par-alertes-en-questions/
Google books
Google Scholar
Google Earth et Google Maps
Rappels des principales notations et commandesLes jokersDans les noms de fichiers sous Linux : le caractère * remplace toute chaîne de caractères et le caractère ? remplace un seul caractère quelconque. Dans la description des commandes ci-dessous, une liste de fichiers sera constituée des noms de fichiers séparés par des espaces ou des noms de fichiers utilisant les jokers. Dans les noms de répertoires sous Linux : le caractère point (.) indique le répertoire courant et la notation deux points (..) indique le répertoire contenant le répertoire courant.
Les redirections et le pipecommande > fichier
Une redirection simple (>) permet de créer un fichier contenant le résultat d'une commande.
commande >> fichier
Une double redirection (>>) permet d'ajouter en fin d'un fichier le résultat d'une commande.
commande | commande
Un pipe (|) permet d'enchaîner deux commandes ; la seconde travaille sur le résultat de la première.
Les commandes à utiliser dans un terminalPour toutes les commandes Linux, la syntaxe est : commande options autresInformations
Les options sont introduites par un tiret.
cat listeFichier
Cette commande permet d'afficher sur écran le ou les fichiers indiqués. Les fichiers sont affichés dans l'ordre de la liste et sans aucun marquage entre deux fichiers. L'écran défile aussi longtemps que nécessaire à l'affichage.
cd repertoire
Cette commande permet de se déplacer dans un répertoire indiqué par son chemin d'accès.
chmod droits listeFichiers
Cette commande permet de modifier les droits sur les fichiers indiqués. Nous utiliserons chmod pour nous donner le droit d'exécuter un fichier. Les droits sont indiqués sous la forme des trois caractères u+x indiquant qu'il faut ajouter (+) le droit d'exécution (x) au propriétaire du fichier (u). Le caractère x est utilisé pour execute et u pour user.
clear
Cette commande permet de nettoyer le terminal en effaçant tout ce qu'il contient.
cp source destination
Cette commande duplique le fichier source sous le nom destination. La source et la destination peuvent être des chemins d'accès aux fichiers concernés à condition que les répertoires indiqués existent. Attention la commande cp efface le fichier destination s'il existe déjà (vous pouvez donc perdre des données ou programmes).
cut -ccolonnes fichier
Cette commande permet d'afficher seulement les colonnes indiquées de chaque ligne du fichier. Par exemple, cut -c31-38 ... affiche les coordonnées x des atomes contenus sur une ligne ATOM dans un fichier pdb.
date
Cette commande permet d'afficher sur écran la date et l'heure. Il est possible de choisir la forme sous laquelle la date est affichée (par exemple, date +%D pour avoir un affichage de la forme MM/JJ/AA).
file listeFichiers
Cette commande indique le type de contenu de chaque fichier de la liste.
grep options motif listeFichiers
Cette commande permet d'extraire des fichiers les lignes qui correspondent au motif pour les afficher sur écran. Le motif est le plus souvent une expression régulière. De nombreuses options sont disponibles dont :
-P pour écrire le motif comme une expression régulière en Perl (grep -P motif fichier)-n pour demander l'affichage des numéros de lignes devant les lignes (grep -n motif fichier)-v pour affichage des lignes qui ne correspondent pas au motif (grep -v motif fichier) -o pour affichage de l'expression reconnue et non de la ligne entière (grep -o motif fichier)
head -n fichier
Cette commande affiche seulement les n premières lignes du fichier.
ls repertoire
Cette commande permet d'afficher sur écran la liste des fichiers et répertoires existants dans le répertoire indiqué. La commande ls seule liste le contenu du répertoire courant. L'option -l produit un listing long (avec toutes les propriétés de chaque fichier ou répertoire).
more listeFichier
Cette commande permet d'afficher -page par page- sur écran le ou les fichiers indiqués. Pour passer à la page suivante, utilisez la barre d'espacement. Pour terminer l'affichage, utilisez la touche « q ». Les fichiers sont affichés dans l'ordre de la liste.
mv source destination
Cette commande déplace ou renomme le fichier source sous le nom destination. La source et la destination peuvent être des chemins d'accès aux fichiers concernés à condition que les répertoires indiqués existent.
pwd
Cette commande affiche sur écran le répertoire courant.
rm listeFichier
Cette commande permet de supprimer le ou les fichiers indiqués. Seuls des fichiers peuvent être effacés avec la commande rm (attention, aucune confirmation n'est demandée : vous pouvez donc perdre des données ou programmes).
rmdir repertoire
Cette commande permet de supprimer le répertoire indiqué qui doit être vide. L'utilisation de la commande rmdir est donc sans danger.
Pour supprimer un répertoire non vide, il faut utiliser l'option -r de la commande rm : aucune confirmation n'est demandée ; à tester et utiliser avec beaucoup de précautions !
sed "action" fichier
Cette commande permet de modifier le contenu d'un fichier (avec l'action indiquée). Il existe de nombreuses actions possibles. Nous utiliserons uniquement le remplacement d'une chaîne de caractères par une autre avec comme action "s/chaineAremplacer/chaineDeRemplacement/". Si la chaîne de remplacement est vide, chaineAremplacer est supprimée.
sftp [email protected]
Cette commande permet de copier des fichiers d'un compte à l'autre. Vous appelez depuis votre compte, avec le login de votre binôme ; celui-ci devra donner son mot de passe. Vous pouvez ensuite utiliser des commandes sur les répertoires et fichiers de votre compte (local) et du compte sur lequel vous avez fait le sftp (distant) :
action compte distantsur lequel vous avez fait le sftp
votre compte (local)
changer de répertoire courant cd chemin lcd chemin
afficher le répertoire courant pwd lpwd
lister le contenu d'un répertoire ls lls
envoyer des fichiers sur le compte de votre binôme
put listeFichier
récupérer des fichiers depuis le compte de votre binôme
get listeFichiers
récupérer
envoyer
sort fichier
Cette commande permet de trier (par ordre alphabétique) le contenu d'un fichier texte. Le résultat du tri est affiché sur écran. L'option -g permet d'effectuer un tri numérique.
tail -n fichier
Cette commande affiche seulement les n dernières lignes du fichier.
tr ancien nouveautr -s caractere
Cette commande permet de remplacer dans un fichier un caractère par un autre1. Elle permet aussi de supprimer les occurrences multiples d'un caractère (en n'en laissant qu'une seule occurrence) avec l'option -s. Elle doit être combinée avec cat pour lire le fichier à traiter et avec une redirection pour écrire dans un fichier le texte modifié : cat fichierSource | tr ancien nouveau > fichierResultat
PlanningChaque semaine CM ou TD ou TP
Les TD et TP ont lieu en salle machine
19-23 septembre CM linux+referencement+google26-30 septembre TD google3-7 octobre CM grep perl regex + gnuplot10-14 octobre TP perl regex17-21 octobre TD linux gnuplot24-26 octobre CM pageRank recherche documentaire
et 3-4 novembre 7-10 novembre TP gnuplot
rattrapage des TP du 11 novembre14-18 novembre TP Perl21-25 novembre TD indexation document en un seul texte28 novembre-2 décembre TD indexation document structuré (plusieurs textes)5-9 décembre TD indexation pages web12-16 décembre TD démonstration
CM lundi 16-18 amphi RECOURA
TD lundi 14-16 groupe B S Bricklundi 16-18 groupe C MN Terrasse mercredi 8-10 groupe A MN Terrasse mercredi 10-12 groupe D S Brick
TP lundi 8-10 groupes C_ S Brick & MN Terrasse lundi 16-18 groupe B_ MN Terrasse mardi 14-16 groupe B_ S Brickmercredi 14-16 groupe D_ MN Terrassejeudi 14-16 groupe D_ S Brickvendredi 10-12 groupes A_ S Brick & MN Terrasse
Ressources disponibles :Site ufrsciencestech.u-bourgogne.fr, suivre licence1 puis SCIN
Plateforme pédagogique Plubel (via votre ent)
1 Pour remplacer une chaîne de caractère par une autre, vous devez utiliser la commande sed.