source: project/chicken/trunk/chicken-install.scm @ 15660

Last change on this file since 15660 was 15660, checked in by felix, 10 years ago

chicken-install tries alternative servers if server responds with error

File size: 21.6 KB
Line 
1;;;; chicken-install.scm
2;
3; Copyright (c) 2008-2009, The Chicken Team
4; All rights reserved.
5;
6; Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following
7; conditions are met:
8;
9;   Redistributions of source code must retain the above copyright notice, this list of conditions and the following
10;     disclaimer.
11;   Redistributions in binary form must reproduce the above copyright notice, this list of conditions and the following
12;     disclaimer in the documentation and/or other materials provided with the distribution.
13;   Neither the name of the author nor the names of its contributors may be used to endorse or promote
14;     products derived from this software without specific prior written permission.
15;
16; THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS
17; OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY
18; AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDERS OR
19; CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
20; CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
21; SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
22; THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR
23; OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
24; POSSIBILITY OF SUCH DAMAGE.
25
26
27(require-library setup-download setup-api)
28(require-library srfi-1 posix data-structures utils regex ports extras
29                 srfi-13 files)
30(require-library chicken-syntax)        ; in case an import library reexports chicken syntax
31
32
33(module main ()
34
35  (import scheme chicken srfi-1 posix data-structures utils regex ports extras
36          srfi-13 files)
37  (import setup-download setup-api)
38
39  (import foreign)
40
41  (define +default-repository-files+
42    '("setup-api.so" "setup-api.import.so"
43      "setup-download.so" "setup-download.import.so"
44      "chicken.import.so"
45      "lolevel.import.so"
46      "srfi-1.import.so"
47      "srfi-4.import.so"
48      "data-structures.import.so"
49      "ports.import.so"
50      "files.import.so"
51      "posix.import.so"
52      "srfi-13.import.so"
53      "srfi-69.import.so"
54      "extras.import.so"
55      "regex.import.so"
56      "srfi-14.import.so"
57      "tcp.import.so"
58      "foreign.import.so"
59      "scheme.import.so"
60      "srfi-18.import.so"
61      "utils.import.so"
62      "csi.import.so"
63      "irregex.import.so"
64      "types.db"))
65
66  (define *program-path*
67    (or (and-let* ((p (get-environment-variable "CHICKEN_PREFIX")))
68          (make-pathname p "bin") )
69        (foreign-value "C_INSTALL_BIN_HOME" c-string) ) )
70
71  (define *keep* #f)
72  (define *force* #f)
73  (define *prefix* #f)
74  (define *host-extension* #f)
75  (define *run-tests* #f)
76  (define *retrieve-only* #f)
77  (define *no-install* #f)
78  (define *username* #f)
79  (define *password* #f)
80  (define *default-sources* '())
81  (define *default-location* #f)
82  (define *default-transport* 'http)
83  (define *windows-shell* (foreign-value "C_WINDOWS_SHELL" bool))
84
85  (define-constant +module-db+ "modules.db")
86  (define-constant +defaults-file+ "setup.defaults")
87
88  (define (load-defaults)
89    (let ([deff (make-pathname (chicken-home) +defaults-file+)])
90      (cond [(not (file-exists? deff))
91             '() ]
92            [else
93             (set! *default-sources* (read-file deff))
94             (pair? *default-sources*) ] ) ) )
95
96  (define (known-default-sources)
97    (if (and *default-location* *default-transport*)
98        `(((location ,*default-location*)
99           (transport ,*default-transport*)))
100        *default-sources* ) )
101
102  (define (invalidate-default-source! def)
103    (set! *default-sources* (delete def *default-sources* eq?)) )
104
105  (define (deps key meta)
106    (or (and-let* ((d (assq key meta)))
107          (cdr d))
108        '()))
109
110  (define (init-repository dir)
111    (let ((src (repository-path))
112          (copy (if *windows-shell*
113                    "copy"
114                    "cp -r")))
115      (print "copying required files to " dir " ...")
116      (for-each
117       (lambda (f)
118         ($system (sprintf "~a ~a ~a" copy (shellpath (make-pathname src f)) (shellpath dir))))
119       +default-repository-files+)))
120
121  (define (ext-version x)
122    (cond ((or (eq? x 'chicken)
123               (equal? x "chicken")
124               (member (->string x) ##sys#core-library-modules))
125           (chicken-version) )
126          ((extension-information x) =>
127           (lambda (info)
128             (let ((a (assq 'version info)))
129               (if a
130                   (->string (cadr a))
131                   "0.0.0"))))
132          (else #f)))
133
134  (define (meta-dependencies meta)
135    (append
136     (deps 'depends meta)
137     (deps 'needs meta)
138     (if *run-tests* (deps 'test-depends meta) '())))
139
140  (define (outdated-dependencies meta)
141    (let ((ds (meta-dependencies meta)))
142      (let loop ((deps ds) (missing '()) (upgrade '()))
143        (if (null? deps)
144            (values (reverse missing) (reverse upgrade))
145            (let ((dep (car deps))
146                  (rest (cdr deps)))
147              (cond ((or (symbol? dep) (string? dep))
148                     (loop rest
149                           (if (ext-version dep)
150                               missing
151                               (cons (->string dep) missing))
152                           upgrade))
153                    ((and (list? dep) (= 2 (length dep))
154                          (or (string? (car dep)) (symbol? (car dep))))
155                     (let ((v (ext-version (car dep))))
156                       (cond ((not v)
157                              (loop rest (cons (->string (car dep)) missing) upgrade))
158                             ((not (version>=? v (->string (cadr dep))))
159                              (when (string=? "chicken" (->string (car dep)))
160                                (error
161                                 (string-append
162                                  "Your CHICKEN version is not recent enough to use this extension - version "
163                                  (cadr dep) 
164                                  " or newer is required")))
165                              (loop rest missing
166                                    (alist-cons
167                                     (->string (car dep)) (->string (cadr dep))
168                                     upgrade)))
169                             (else (loop rest missing upgrade)))))
170                    (else
171                     (warning
172                      "invalid dependency syntax in extension meta information"
173                      dep)
174                     (loop rest missing upgrade))))))))
175
176  (define *eggs+dirs+vers* '())
177  (define *dependencies* '())
178  (define *checked* '())
179  (define *csi* (shellpath (make-pathname *program-path* (foreign-value "C_CSI_PROGRAM" c-string))))
180
181  (define (try-extension name version trans locn)
182    (condition-case
183        (retrieve-extension
184         name trans locn
185         version: version
186         destination: (and *retrieve-only* (current-directory))
187         tests: *run-tests*
188         username: *username*
189         password: *password*)
190      [(exn net)
191       (print "TCP connect timeout")
192       (values #f "") ]
193      [(exn http-fetch)
194       (print "HTTP protocol error")
195       (values #f "") ]
196      [e (exn setup-download-error)
197         (print "Server error:")
198         (print-error-message e) 
199         (values #f "")]
200      [e ()
201       (abort e) ] ) )
202
203  (define (try-default-sources name version)
204    (let trying-sources ([defs (known-default-sources)])
205      (if (null? defs)
206          (values #f "")
207          (let* ([def (car defs)]
208                 [locn (cadr (or (assq 'location def)
209                                 (error "missing location entry" def)))]
210                 [trans (cadr (or (assq 'transport def)
211                                  (error "missing transport entry" def)))])
212            (let-values ([(dir ver) (try-extension name version trans locn)])
213              (if dir
214                  (values dir ver)
215                  (begin
216                    (invalidate-default-source! def)
217                    (trying-sources (cdr defs)) ) ) ) ) ) ) )
218
219  (define (make-replace-extension-question e+d+v upgrade)
220    (string-concatenate
221     (append
222      (list "The following installed extensions are outdated, because `"
223            (car e+d+v)
224            "' requires later versions:\n")
225      (map
226       (lambda (e)
227         (conc
228          "  " (car e)
229          " (" (let ([v (assq 'version (extension-information (car e)))]) (if v (cadr v) "???"))
230               " -> " (cdr e) ")"
231          #\newline) )
232       upgrade)
233      '("\nDo you want to replace the existing extensions?"))) )
234
235  (define (retrieve eggs)
236    (print "retrieving ...")
237    (for-each
238     (lambda (egg)
239       (cond [(assoc egg *eggs+dirs+vers*) =>
240              (lambda (a)
241                ;; push to front
242                (set! *eggs+dirs+vers* (cons a (delete a *eggs+dirs+vers* eq?))) ) ]
243             [else
244              (let ([name (if (pair? egg) (car egg) egg)]
245                    [version (and (pair? egg) (cdr egg))])
246                (let-values ([(dir ver) (try-default-sources name version)])
247                  (unless dir (error "extension or version not found"))
248                  (print " " name " located at " dir)
249                  (set! *eggs+dirs+vers* (cons (list name dir ver) *eggs+dirs+vers*)) ) ) ] ) )
250     eggs)
251    (unless *retrieve-only*
252      (for-each
253       (lambda (e+d+v)
254         (unless (member (car e+d+v) *checked*)
255           (set! *checked* (cons (car e+d+v) *checked*))
256           (let ([mfile (make-pathname (cadr e+d+v) (car e+d+v) "meta")])
257             (cond [(file-exists? mfile)
258                    (let ([meta (with-input-from-file mfile read)])
259                      (print "checking dependencies for `" (car e+d+v) "' ...")
260                      (let-values ([(missing upgrade) (outdated-dependencies meta)])
261                        (set! *dependencies*
262                          (cons
263                           (cons (car e+d+v) (append missing upgrade))
264                           *dependencies*))
265                        (when (pair? missing)
266                          (print " missing: " (string-intersperse missing ", "))
267                          (retrieve missing))
268                        (when (and (pair? upgrade)
269                                   (or *force*
270                                       (yes-or-no?
271                                        (make-replace-extension-question e+d+v upgrade)
272                                        "no") ) )
273                          (let ([ueggs (unzip1 upgrade)])
274                            (print " upgrade: " (string-intersperse ueggs ", "))
275                            (for-each
276                             (lambda (e)
277                               (print "removing previously installed extension `" e "' ...")
278                               (remove-extension e) )
279                             ueggs)
280                            (retrieve ueggs) ) ) ) ) ]
281                   [else
282                    (warning
283                     (string-append
284                      "extension `" (car e+d+v) "' has no .meta file "
285                      "- assuming it has no dependencies")) ] ) ) ) )
286       *eggs+dirs+vers*) ) )
287
288  (define (make-install-command e+d+v)
289    (conc
290     *csi*
291     " -bnq -e \"(require-library setup-api)\" -e \"(import setup-api)\""
292     (sprintf " -e \"(extension-name-and-version '(\\\"~a\\\" \\\"~a\\\"))\"" (car e+d+v) (caddr e+d+v))
293     (if (sudo-install) " -e \"(sudo-install #t)\"" "")
294     (if *keep* " -e \"(keep-intermediates #t)\"" "")
295     (if *no-install* " -e \"(setup-install-mode #f)\"" "")
296     (if *host-extension* " -e \"(host-extension #t)\"" "")
297     (if *prefix* (sprintf " -e \"(installation-prefix \\\"~a\\\")\"" *prefix*) "")
298     #\space (shellpath (make-pathname (cadr e+d+v) (car e+d+v) "setup"))) )
299
300  (define (install eggs)
301    (retrieve eggs)
302    (unless *retrieve-only*
303      (let ((dag (reverse (topological-sort *dependencies* string=?))))
304        (print "install order:")
305        (pp dag)
306        (for-each
307         (lambda (e+d+v)
308           (print "installing " (car e+d+v) #\: (caddr e+d+v) " ...")
309           (print "changing current directory to " (cadr e+d+v))
310           (parameterize ((current-directory (cadr e+d+v)))
311             (let ([cmd (make-install-command e+d+v)])
312               (print "  " cmd)
313               ($system cmd))
314             (when (and *run-tests*
315                        (file-exists? "tests")
316                        (directory? "tests")
317                        (file-exists? "tests/run.scm") )
318               (current-directory "tests")
319               (let ((cmd (sprintf "~a -s run.scm ~a" *csi* (car e+d+v))))
320                 (print "  " cmd)
321                 ($system cmd)))))
322         (map (cut assoc <> *eggs+dirs+vers*) dag)))))
323
324  (define (cleanup)
325    (unless *keep*
326      (and-let* ((tmpdir (temporary-directory)))
327        (remove-directory tmpdir))))
328
329  (define (update-db)
330    (let* ((files (glob (make-pathname (repository-path) "*.import.*")))
331           (tmpdir (create-temporary-directory))
332           (dbfile (make-pathname tmpdir +module-db+))
333           (rx (regexp ".*/([^/]+)\\.import\\.(scm|so)")))
334      (print "loading import libraries ...")
335      (fluid-let ((##sys#warnings-enabled #f))
336        (for-each
337         (lambda (f)
338           (let ((m (string-match rx f)))
339             (handle-exceptions ex
340                 (print-error-message 
341                  ex (current-error-port) 
342                  (sprintf "Failed to import from `~a'" f))
343               (eval `(import ,(string->symbol (cadr m)))))))
344         files))
345      (print "generating database")
346      (let ((db
347             (sort
348              (append-map
349               (lambda (m)
350                 (let* ((mod (cdr m))
351                        (mname (##sys#module-name mod)))
352                   (print* " " mname)
353                   (let-values (((_ ve se) (##sys#module-exports mod)))
354                     (append
355                      (map (lambda (se) (list (car se) 'syntax mname)) se)
356                      (map (lambda (ve) (list (car ve) 'value mname)) ve)))))
357               ##sys#module-table)
358              (lambda (e1 e2)
359                (string<? (symbol->string (car e1)) (symbol->string (car e2)))))))
360        (newline)
361        (with-output-to-file dbfile
362          (lambda ()
363            (for-each (lambda (x) (write x) (newline)) db)))
364        (copy-file dbfile (make-pathname (repository-path) +module-db+))
365        (remove-directory tmpdir))))
366
367  (define ($system str)
368    (let ((r (system
369              (if *windows-shell*
370                  (string-append "\"" str "\"")
371                  str))))
372      (unless (zero? r)
373        (error "shell command terminated with nonzero exit code" r str))))
374
375  (define (usage code)
376    (print #<<EOF
377usage: chicken-install [OPTION | EXTENSION[:VERSION]] ...
378
379  -h   -help                    show this message and exit
380  -v   -version                 show version and exit
381       -force                   don't ask, install even if versions don't match
382  -k   -keep                    keep temporary files
383  -l   -location LOCATION       install from given location instead of default
384  -t   -transport TRANSPORT     use given transport instead of default
385  -s   -sudo                    use sudo(1) for filesystem operations
386  -r   -retrieve                only retrieve egg into current directory, don't install
387  -n   -no-install              do not install, just build (implies `-keep')
388  -p   -prefix PREFIX           change installation prefix to PREFIX
389       -host-extension          when cross-compiling, compile extension for host
390       -test                    run included test-cases, if available
391       -username USER           set username for transports that require this
392       -password PASS           set password for transports that require this
393  -i   -init DIRECTORY          initialize empty alternative repository
394  -u   -update-db               update export database
395EOF
396);|
397    (exit code))
398
399  (define *short-options* '(#\h #\k #\l #\t #\s #\p #\r #\n #\v #\i #\u))
400
401  (define (main args)
402    (let ((defaults (load-defaults))
403          (update #f)
404          (rx "([^:]+):(.+)"))
405      (let loop ((args args) (eggs '()))
406        (cond ((null? args)
407               (cond (update (update-db))
408                     (else
409                      (when (null? eggs)
410                        (let ((setups (glob "*.setup")))
411                          (cond ((pair? setups)
412                                 (set! *eggs+dirs+vers*
413                                       (append
414                                        (map
415                                         (lambda (s) (cons (pathname-file s) (list "." "")))
416                                         setups)
417                                        *eggs+dirs+vers*)))
418                                (else
419                                 (print "no setup-scripts to process")
420                                 (exit 1))) ) )
421                      (unless defaults
422                        (unless *default-transport*
423                          (error "no default transport defined - please use `-transport' option"))
424                        (unless *default-location*
425                          (error "no default location defined - please use `-location' option")))
426                      (install (reverse eggs)))))
427              (else
428               (let ((arg (car args)))
429                 (cond ((or (string=? arg "-help")
430                            (string=? arg "-h")
431                            (string=? arg "--help"))
432                        (usage 0))
433                       ((string=? arg "-force")
434                        (set! *force* #t)
435                        (loop (cdr args) eggs))
436                       ((or (string=? arg "-k") (string=? arg "-keep"))
437                        (set! *keep* #t)
438                        (loop (cdr args) eggs))
439                       ((or (string=? arg "-s") (string=? arg "-sudo"))
440                        (sudo-install #t)
441                        (loop (cdr args) eggs))
442                       ((or (string=? arg "-r") (string=? arg "-retrieve"))
443                        (set! *retrieve-only* #t)
444                        (loop (cdr args) eggs))
445                       ((or (string=? arg "-l") (string=? arg "-location"))
446                        (unless (pair? (cdr args)) (usage 1))
447                        (set! *default-location* (cadr args))
448                        (loop (cddr args) eggs))
449                       ((or (string=? arg "-t") (string=? arg "-transport"))
450                        (unless (pair? (cdr args)) (usage 1))
451                        (set! *default-transport* (string->symbol (cadr args)))
452                        (loop (cddr args) eggs))
453                       ((or (string=? arg "-p") (string=? arg "-prefix"))
454                        (unless (pair? (cdr args)) (usage 1))
455                        (set! *prefix* (cadr args))
456                        (loop (cddr args) eggs))
457                       ((or (string=? arg "-n") (string=? arg "-no-install"))
458                        (set! *keep* #t)
459                        (set! *no-install* #t)
460                        (loop (cdr args) eggs))
461                       ((or (string=? arg "-v") (string=? arg "-version"))
462                        (print (chicken-version))
463                        (exit 0))
464                       ((or (string=? arg "-u") (string=? arg "-update-db"))
465                        (set! update #t)
466                        (loop (cdr args) eggs))
467                       ((or (string=? arg "-i") (string=? arg "-init"))
468                        (unless (pair? (cdr args)) (usage 1))
469                        (init-repository (cadr args))
470                        (exit 0))
471                       ((string=? "-test" arg)
472                        (set! *run-tests* #t)
473                        (loop (cdr args) eggs))
474                       ((string=? "-host-extension" arg)
475                        (set! *host-extension* #t)
476                        (loop (cdr args) eggs))
477                       ((string=? "-username" arg)
478                        (unless (pair? (cdr args)) (usage 1))
479                        (set! *username* (cadr args))
480                        (loop (cddr args) eggs))
481                       ((string=? "-password" arg)
482                        (unless (pair? (cdr args)) (usage 1))
483                        (set! *password* (cadr args))
484                        (loop (cddr args) eggs))
485                       ((and (positive? (string-length arg))
486                             (char=? #\- (string-ref arg 0)))
487                        (if (> (string-length arg) 2)
488                            (let ((sos (string->list (substring arg 1))))
489                              (if (null? (lset-intersection eq? *short-options* sos))
490                                  (loop (append (map (cut string #\- <>) sos) (cdr args)) eggs)
491                                  (usage 1)))
492                            (usage 1)))
493                       ((equal? "setup" (pathname-extension arg))
494                        (let ((egg (pathname-file arg)))
495                          (set! *eggs+dirs+vers*
496                            (alist-cons
497                             egg
498                             (list
499                              (let ((dir (pathname-directory arg)))
500                                (if dir
501                                    (if (absolute-pathname? dir)
502                                        dir
503                                        (make-pathname (current-directory) dir) )
504                                    (current-directory)))
505                              "")
506                             *eggs+dirs+vers*))
507                          (loop (cdr args) (cons egg eggs))))
508                       ((string-match rx arg) =>
509                        (lambda (m)
510                          (loop (cdr args) (alist-cons (cadr m) (caddr m) eggs))))
511                       (else (loop (cdr args) (cons arg eggs))))))))))
512
513  (register-feature! 'chicken-install)
514
515  (handle-exceptions ex
516      (begin
517        (print-error-message ex (current-error-port))
518        (cleanup)
519        (exit 1))
520    (main (command-line-arguments))
521    (cleanup))
522
523) ;module main
Note: See TracBrowser for help on using the repository browser.