Sunday, June 26, 2011

Μεταφόρτωση PDF αρχείων από τον Δικτυακό τόπο της Διαύγειας

Εδώ και σχεδόν 9 μήνες, στο πλαίσιο της λειτουργίας του προγράμματος «Διαύγεια», όλα τα κυβερνητικά όργανα, οι φορείς του στενού και ευρύτερου δημόσιου τομέα και οι Ανεξάρτητες αρχές υποχρεούνται πλέον να αναρτούν το σύνολο των αποφάσεων και των δαπανών τους στο Διαδίκτυο και συγκεκριμένα στο δικτυακό τόπο της Διαύγειας (http://et.diavgeia.gov.gr).

Σε καθημερινή βάση λοιπόν, πολλοί εργαζόμενοι στο Δημόσιο έχουν επιφορτιστεί με την ευθύνη να ανεβάζουν στη Διαύγεια μεγάλο όγκο από εντάλματα πληρωμής και αποφάσεις σε pdf μορφή. Και μάλιστα συνήθως μετά την ανάρτησή τους και αφού έχουν πάρει ΑΔΑ (Αριθμός Διαδικτυακής Ανάρτησης), ο εκάστοτε αρμόδιος υπάλληλος πρέπει να τα "κατεβάσει" χειροκίνητα κάνοντας απανωτά κλικ στους αντίστοιχους συνδέσμους "Λήψη Αρχείου" και να τα τυπώσει, κατά βάση για γραφειοκρατικούς λόγους. Η διαδικασία αυτή ωστόσο είναι χρονοβόρα, ιδιαίτερα όταν το πλήθος των αρχείων είναι μεγάλο. Τυγχάνει να το γνωρίζω αυτό από πρώτο χέρι όντας εργαζόμενος στο Διεθνές Πανεπιστήμιο Ελλάδος.

Στην εικόνα που ακολουθεί φαίνονται μερικές τυπικές εγγραφές στο site της Διαύγειας για κάποιο φορέα. Βλέπετε δεξιά τους υπερσυνδέσμους (links) για μεταφόρτωση των ενταλμάτων πληρωμής.

Σκεφτήκαμε λοιπόν να φτιάξουμε μία μικρή εφαρμογή η οποία θα εντοπίζει τις διευθύνσεις (URLs) των pdf αρχείων πάνω σε μία σελίδα αποτελεσμάτων της Διαύγειας, π.χ. των Χ τελευταίων που ανέβασε κάποιος την προηγούμενη μέρα, και στη συνέχεια θα τα κατεβάζει μαζικά. Ένα τέτοιο πρόγραμμα πιθανότατα θα μπορούσε να βοηθήσει αρκετούς δημόσιους υπαλλήλους να εξοικονομήσουν κόπο και χρόνο.

Η εφαρμογή είναι διαθέσιμη τόσο σε εκδοχή για χρήση σε γραμμή εντολών (σε Windows και Linux) όσο και για χρήση μέσω γραφικής διεπαφής (GUI) σε περιβάλλον Windows (για το δεύτερο, δείτε στο τέλος του post).

Σε γραμμή εντολών των Windows (DOS prompt) τρέξτε το diavgeia-downloader.exe (ή το diavgeia-downloader-linux αντίστοιχα σε ένα terminal εάν έχετε Linux) περνώντας ως παράμετρο τη διεύθυνση/URL στόχο και βάζοντας στην παράμετρο limit της διεύθυνσης της σελίδας τον επιθυμητό αριθμό pdf αρχείων. Για παράδειγμα, έστω η σελίδα:
που περιέχει τις τελευταίες 50 δαπάνες-αποφάσεις του ΕΛΚΕ του Πανεπιστημίου Μακεδονίας. Για λήψη αυτών των αρχείων τοπικά (στο φάκελο στον οποίο βρίσκεται και το εκτελέσιμο) αρκεί να δoθεί η ακόλουθη εντολή:
Η εφαρμογή υποστηρίζει δύο επιπλέον προαιρετικές παραμέτρους: [-dir folder] [-sleep N]
  • όπου folder το όνομα του φακέλου στον οποίο θα αποθηκευθούν τα αρχεία και
  • N o αριθμός των δευτερολέπτων των χρονικών παύσεων μεταξύ των εντολών μεταφόρτωσης ώστε να μην επιβαρύνεται ιδιαίτερα ο server της Διαύγειας.
Μπορείτε να κατεβάσετε τόσο τον πηγαίο κώδικα (σε Perl) όσο και τα εκτελέσιμα αρχεία (για Windows & Linux αντίστοιχα)! Η άδεια χρήσης του προγράμματος είναι η GNU General Public License version 3. Για περιβάλλον Windows μάλιστα υπάρχει και η γραφική διεπαφή (GUI) που κάνει προφανή όλα τα, μάλλον, πολύπλοκα για πολλούς παραπάνω. Πιο κάτω βλέπετε ένα  screenshot από το GUI εργαλείο. Η χρήση του είναι πολύ απλή, αρκεί ο χρήστης να δώσει με copy paste τη διεύθυνση της επιθυμητής σελίδας από το site της Διαύγειας και να πατήσει Go!

Ελπίζουμε η εφαρμογή αυτή να φανεί χρήσιμη. Σχόλια και προτάσεις ευπρόσδεκτα!

4 comments:

  1. Με μεγάλη μας χαρά θα θέλαμε να σας ενημερώσουμε πως η εφαρμογή του post (diavgeia pdf downloader) αναφέρεται πλέον στον επίσημο δικτυακό τόπο της Διαύγειας σε ειδική σελίδα με χρήσιμα εργαλεία και εφαρμογές που αναπτύχθηκαν από πολίτες: http://diavgeia.gov.gr/tools
    Αξίζει να σημειωθεί ότι στην ίδια ενότητα περιλαμβάνεται και η ΥπερΔιαύγεια (http://yperdiavgeia.gr), μια εξαιρετική web εφαρμογή (mirror site της Διαύγειας) που δίνει τη δυνατότητα αναζήτησης τόσο στο πλήρες κείμενο όσο και στα μεταδεδομένα όλων των εγγράφων PDF που έχουν αναρτηθεί.

    ReplyDelete
  2. Συγχαρητήρια για την εφαρμογή!!!! Το unit:4652 είναι πάντα ίδιο? Τι αφορά?

    ReplyDelete
    Replies
    1. Ευχαριστούμε πολύ sotiris_an. Το unit:4652 αντιστοιχεί στον Ειδικό Λογαριασμό (ΕΛΚΕ) του Πανεπιστημίου Μακεδονίας. Οπότε το τμήμα αυτό της διεύθυνσης δεν είναι πάντα ίδιο. Το συγκεκριμένο URL ήταν ένα απλό παράδειγμα. Η εφαρμογή δουλεύει γενικά σε σελίδες αποτελεσμάτων της Διαύγειας. Συνεπώς οι ακόλουθες διευθύνσεις είναι όλες αποδεκτές και συμβατές με την εφαρμογή:
      - http://et.diavgeia.gov.gr/f/auth/ (τελευταίες 8 αποφάσεις του Α.Π.Θ.)
      - http://et.diavgeia.gov.gr/f/unipi/find/eia:27 (τελευταίες 10 δαπάνες του Πανεπιστημίου Πειραιώς. H τιμή της παραμέτρου eia υποδηλώνει το επιθυμητό Είδος της Απόφασης. Το 27 αντιστοιχεί στις "ΔΑΠΑΝΕΣ")
      - http://et.diavgeia.gov.gr/f/min-interior/find/unit:16662/from:0/limit:25 (οι 25 τελευταίες αποφάσεις της Διεύθυνσης Οικονομικού του Υπουργείου Εσωτερικών)

      Delete
  3. Άψογο!!!!!!!!!!!!Δουλεύει τέλεια!!!!!!!!Ευχαριστούμε πολύ και πολλά μπράβο!!!!!! Και για να βοηθήσω οι παραπάνω κωδικοί, για όλους τους φορείς, βρίσκονται στα αρχεία xml εδώ: http://opendata.diavgeia.gov.gr/

    ReplyDelete