source: project/chicken/trunk/chicken-install.scm @ 14656

Last change on this file since 14656 was 14656, checked in by felix winkelmann, 11 years ago

bumped version to 4.0.4; fixed various bugs in chicken-install; fixed name-resolution bug in compiler handling of assignment

File size: 21.2 KB
Line 
1;;;; chicken-install.scm
2;
3; Copyright (c) 2008-2009, The Chicken Team
4; All rights reserved.
5;
6; Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following
7; conditions are met:
8;
9;   Redistributions of source code must retain the above copyright notice, this list of conditions and the following
10;     disclaimer.
11;   Redistributions in binary form must reproduce the above copyright notice, this list of conditions and the following
12;     disclaimer in the documentation and/or other materials provided with the distribution.
13;   Neither the name of the author nor the names of its contributors may be used to endorse or promote
14;     products derived from this software without specific prior written permission.
15;
16; THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS
17; OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY
18; AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDERS OR
19; CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
20; CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
21; SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
22; THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR
23; OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
24; POSSIBILITY OF SUCH DAMAGE.
25
26
27(require-library setup-download setup-api)
28(require-library srfi-1 posix data-structures utils regex ports extras
29                 srfi-13 files)
30
31
32(module main ()
33
34  (import scheme chicken srfi-1 posix data-structures utils regex ports extras
35          srfi-13 files)
36  (import setup-download setup-api)
37
38  (import foreign)
39
40  (define +default-repository-files+
41    '("setup-api.so" "setup-api.import.so"
42      "setup-utils.so" "setup-utils.import.so"
43      "setup-download.so" "setup-download.import.so"
44      "chicken.import.so"
45      "lolevel.import.so"
46      "srfi-1.import.so"
47      "srfi-4.import.so"
48      "data-structures.import.so"
49      "ports.import.so"
50      "files.import.so"
51      "posix.import.so"
52      "srfi-13.import.so"
53      "srfi-69.import.so"
54      "extras.import.so"
55      "regex.import.so"
56      "srfi-14.import.so"
57      "tcp.import.so"
58      "foreign.import.so"
59      "scheme.import.so"
60      "srfi-18.import.so"
61      "utils.import.so"
62      "csi.import.so"
63      "irregex.import.so"
64      "compiler.import.so"))
65
66  (define *program-path*
67    (or (and-let* ((p (getenv "CHICKEN_PREFIX")))
68          (make-pathname p "bin") )
69        (foreign-value "C_INSTALL_BIN_HOME" c-string) ) )
70
71  (define *keep* #f)
72  (define *force* #f)
73  (define *prefix* #f)
74  (define *host-extension* #f)
75  (define *run-tests* #f)
76  (define *retrieve-only* #f)
77  (define *no-install* #f)
78  (define *username* #f)
79  (define *password* #f)
80  (define *default-sources* '())
81  (define *default-location* #f)
82  (define *default-transport* 'http)
83  (define *windows-shell* (foreign-value "C_WINDOWS_SHELL" bool))
84
85  (define-constant +module-db+ "modules.db")
86  (define-constant +defaults-file+ "setup.defaults")
87
88  (define (load-defaults)
89    (let ([deff (make-pathname (chicken-home) +defaults-file+)])
90      (cond [(not (file-exists? deff))
91             '() ]
92            [else
93             (set! *default-sources* (read-file deff))
94             (pair? *default-sources*) ] ) ) )
95
96  (define (known-default-sources)
97    (if (and *default-location* *default-transport*)
98        `(((location ,*default-location*)
99           (transport ,*default-transport*)))
100        *default-sources* ) )
101
102  (define (invalidate-default-source! def)
103    (set! *default-sources* (delete def *default-sources* eq?)) )
104
105  (define (deps key meta)
106    (or (and-let* ((d (assq key meta)))
107          (cdr d))
108        '()))
109
110  (define (init-repository dir)
111    (let ((src (repository-path))
112          (copy (if *windows-shell*
113                    "copy"
114                    "cp -r")))
115      (print "copying required files to " dir " ...")
116      (for-each
117       (lambda (f)
118         ($system (sprintf "~a ~a ~a" copy (shellpath (make-pathname src f)) (shellpath dir))))
119       +default-repository-files+)))
120
121  (define (ext-version x)
122    (cond ((or (eq? x 'chicken)
123               (equal? x "chicken")
124               (member (->string x) ##sys#core-library-modules))
125           (chicken-version) )
126          ((extension-information x) =>
127           (lambda (info)
128             (let ((a (assq 'version info)))
129               (if a
130                   (->string (cadr a))
131                   "0.0.0"))))
132          (else #f)))
133
134  (define (outdated-dependencies meta)
135    (let ((ds (append
136               (deps 'depends meta)
137               (deps 'needs meta)
138               (if *run-tests* (deps 'test-depends meta) '()))))
139      (let loop ((deps ds) (missing '()) (upgrade '()))
140        (if (null? deps)
141            (values (reverse missing) (reverse upgrade))
142            (let ((dep (car deps))
143                  (rest (cdr deps)))
144              (cond ((or (symbol? dep) (string? dep))
145                     (loop rest
146                           (if (ext-version dep)
147                               missing
148                               (cons (->string dep) missing))
149                           upgrade))
150                    ((and (list? dep) (= 2 (length dep))
151                          (or (string? (car dep)) (symbol? (car dep))))
152                     (let ((v (ext-version (car dep))))
153                       (cond ((not v)
154                              (loop rest (cons (->string (car dep)) missing) upgrade))
155                             ((not (version>=? v (->string (cadr dep))))
156                              (when (string=? "chicken" (->string (car dep)))
157                                (error
158                                 (string-append
159                                  "Your CHICKEN version is not recent enough to use this extension - version "
160                                  (cadr dep) 
161                                  " or newer is required")))
162                              (loop rest missing
163                                    (alist-cons
164                                     (->string (car dep)) (->string (cadr dep))
165                                     upgrade)))
166                             (else (loop rest missing upgrade)))))
167                    (else
168                     (warning
169                      "invalid dependency syntax in extension meta information"
170                      dep)
171                     (loop rest missing upgrade))))))))
172
173  (define *eggs+dirs+vers* '())
174  (define *checked* '())
175  (define *csi* (shellpath (make-pathname *program-path* "csi")))
176 
177  (define (try-extension name version trans locn)
178    (condition-case
179        (retrieve-extension
180         name trans locn
181         version: version
182         destination: (and *retrieve-only* (current-directory))
183         tests: *run-tests*
184         username: *username*
185         password: *password*)
186      [(exn net)
187       (print "TCP connect timeout")
188       (values #f "") ]
189      [(exn http-fetch)
190       (print "HTTP protocol error")
191       (values #f "") ]
192      [e ()
193       (abort e) ] ) )
194
195  (define (try-default-sources name version)
196    (let trying-sources ([defs (known-default-sources)])
197      (if (null? defs)
198          (values #f "")
199          (let* ([def (car defs)]
200                 [locn (cadr (or (assq 'location def)
201                                 (error "missing location entry" def)))]
202                 [trans (cadr (or (assq 'transport def)
203                                  (error "missing transport entry" def)))])
204            (let-values ([(dir ver) (try-extension name version trans locn)])
205              (if dir
206                  (values dir ver)
207                  (begin
208                    (invalidate-default-source! def)
209                    (trying-sources (cdr defs)) ) ) ) ) ) ) )
210
211  (define (make-replace-extension-question e+d+v upgrade)
212    (string-concatenate
213     (append
214      (list "The following installed extensions are outdated, because `"
215            (car e+d+v)
216            "' requires later versions:\n")
217      (map
218       (lambda (e)
219         (conc
220          "  " (car e)
221          " (" (let ([v (assq 'version (extension-information (car e)))]) (if v (cadr v) "???"))
222               " -> " (cdr e) ")"
223          #\newline) )
224       upgrade)
225      '("\nDo you want to replace the existing extensions?"))) )
226
227  (define (retrieve eggs)
228    (print "retrieving ...")
229    (for-each
230     (lambda (egg)
231       (cond [(assoc egg *eggs+dirs+vers*) =>
232              (lambda (a)
233                ;; push to front
234                (set! *eggs+dirs+vers* (cons a (delete a *eggs+dirs+vers* eq?))) ) ]
235             [else
236              (let ([name (if (pair? egg) (car egg) egg)]
237                    [version (and (pair? egg) (cdr egg))])
238                (let-values ([(dir ver) (try-default-sources name version)])
239                  (unless dir (error "extension or version not found"))
240                  (print " " name " located at " dir)
241                  (set! *eggs+dirs+vers* (alist-cons name (list dir ver) *eggs+dirs+vers*)) ) ) ] ) )
242     eggs)
243    (unless *retrieve-only*
244      (for-each
245       (lambda (e+d+v)
246         (unless (member (car e+d+v) *checked*)
247           (set! *checked* (cons (car e+d+v) *checked*))
248           (let ([mfile (make-pathname (cadr e+d+v) (car e+d+v) "meta")])
249             (cond [(file-exists? mfile)
250                    (let ([meta (with-input-from-file mfile read)])
251                      (print "checking dependencies for `" (car e+d+v) "' ...")
252                      (let-values ([(missing upgrade) (outdated-dependencies meta)])
253                        (when (pair? missing)
254                          (print " missing: " (string-intersperse missing ", "))
255                          (retrieve missing))
256                        (when (and (pair? upgrade)
257                                   (or *force*
258                                       (yes-or-no?
259                                        (make-replace-extension-question e+d+v upgrade)
260                                        "no") ) )
261                          (let ([ueggs (unzip1 upgrade)])
262                            (print " upgrade: " (string-intersperse ueggs ", "))
263                            (for-each
264                             (lambda (e)
265                               (print "removing previously installed extension `" e "' ...")
266                               (remove-extension e) )
267                             ueggs)
268                            (retrieve ueggs) ) ) ) ) ]
269                   [else
270                    (warning
271                     (string-append
272                      "extension `" (car e+d+v) "' has no .meta file "
273                      "- assuming it has no dependencies")) ] ) ) ) )
274       *eggs+dirs+vers*) ) )
275
276  (define (make-install-command e+d+v)
277    (conc
278     *csi*
279     " -bnq -e \"(require-library setup-api)\" -e \"(import setup-api)\""
280     (sprintf " -e \"(extension-name-and-version '(\\\"~a\\\" \\\"~a\\\"))\"" (car e+d+v) (caddr e+d+v))
281     (if (sudo-install) " -e \"(sudo-install #t)\"" "")
282     (if *keep* " -e \"(keep-intermediates #t)\"" "")
283     (if *no-install* " -e \"(setup-install-flag #f)\"" "")
284     (if *host-extension* " -e \"(host-extension #t)\"" "")
285     (if *prefix* (sprintf " -e \"(installation-prefix \\\"~a\\\")\"" *prefix*) "")
286     #\space (shellpath (make-pathname (cadr e+d+v) (car e+d+v) "setup"))) )
287
288  (define (install eggs)
289    (retrieve eggs)
290    (unless *retrieve-only*
291      (for-each ; we assume the order reflects the dependency tree...
292       (lambda (e+d+v)
293         (print "installing " (car e+d+v) #\: (caddr e+d+v) " ...")
294         (print "changing current directory to " (cadr e+d+v))
295         (parameterize ((current-directory (cadr e+d+v)))
296           (let ([cmd (make-install-command e+d+v)])
297             (print "  " cmd)
298             ($system cmd))
299           (when (and *run-tests*
300                      (file-exists? "tests")
301                      (directory? "tests")
302                      (file-exists? "tests/run.scm") )
303             (current-directory "tests")
304             (let ((cmd (sprintf "~a -s run.scm ~a" *csi* (car e+d+v))))
305               (print "  " cmd)
306               ($system cmd)))))
307       *eggs+dirs+vers*)))
308
309  (define (cleanup)
310    (unless *keep*
311      (and-let* ((tmpdir (temporary-directory)))
312        (remove-directory tmpdir))))
313
314  (define (update-db)
315    (let* ((files (glob (make-pathname (repository-path) "*.import.*")))
316           (tmpdir (create-temporary-directory))
317           (dbfile (make-pathname tmpdir +module-db+))
318           (rx (regexp ".*/([^/]+)\\.import\\.(scm|so)")))
319      (fluid-let ((##sys#warnings-enabled #f))
320        (for-each
321         (lambda (f)
322           (let ((m (string-match rx f)))
323             (eval `(import ,(string->symbol (cadr m))))))
324         files))
325      (print "generating database")
326      (let ((db
327             (sort
328              (append-map
329               (lambda (m)
330                 (let* ((mod (cdr m))
331                        (mname (##sys#module-name mod)))
332                   (print* " " mname)
333                   (let-values (((_ ve se) (##sys#module-exports mod)))
334                     (append
335                      (map (lambda (se) (list (car se) 'syntax mname)) se)
336                      (map (lambda (ve) (list (car ve) 'value mname)) ve)))))
337               ##sys#module-table)
338              (lambda (e1 e2)
339                (string<? (symbol->string (car e1)) (symbol->string (car e2)))))))
340        (newline)
341        (with-output-to-file dbfile
342          (lambda ()
343            (for-each (lambda (x) (write x) (newline)) db)))
344        (copy-file dbfile (make-pathname (repository-path) +module-db+))
345        (remove-directory tmpdir))))
346
347  (define ($system str)
348    (let ((r (system
349              (if *windows-shell*
350                  (string-append "\"" str "\"")
351                  str))))
352      (unless (zero? r)
353        (error "shell command terminated with nonzero exit code" r str))))
354
355  (define (usage code)
356    (print #<<EOF
357usage: chicken-install [OPTION | EXTENSION[:VERSION]] ...
358
359  -h   -help                    show this message and exit
360  -v   -version                 show version and exit
361       -force                   don't ask, install even if versions don't match
362  -k   -keep                    keep temporary files
363  -l   -location LOCATION       install from given location instead of default
364  -t   -transport TRANSPORT     use given transport instead of default
365  -s   -sudo                    use sudo(1) for installing or removing files
366  -r   -retrieve                only retrieve egg into current directory, don't install
367  -n   -no-install              do not install, just build (implies `-keep')
368  -p   -prefix PREFIX           change installation prefix to PREFIX
369       -host-extension          when cross-compiling, compile extension for host
370       -test                    run included test-cases, if available
371       -username USER           set username for transports that require this
372       -password PASS           set password for transports that require this
373  -i   -init DIRECTORY          initialize empty alternative repository
374  -u   -update-db               update export database
375EOF
376);|
377    (exit code))
378
379  (define *short-options* '(#\h #\k #\l #\t #\s #\p #\r #\n #\v #\i #\u))
380
381  (define (main args)
382    (let ((defaults (load-defaults))
383          (update #f)
384          (rx "([^:]+):(.+)"))
385      (let loop ((args args) (eggs '()))
386        (cond ((null? args)
387               (cond (update (update-db))
388                     (else
389                      (when (null? eggs)
390                        (let ((setups (glob "*.setup")))
391                          (cond ((pair? setups)
392                                 (set! *eggs+dirs+vers*
393                                       (append
394                                        (map
395                                         (lambda (s) (cons (pathname-file s) (list "." "")))
396                                         setups)
397                                        *eggs+dirs+vers*)))
398                                (else
399                                 (print "no setup-scripts to process")
400                                 (exit 1))) ) )
401                      (unless defaults
402                        (unless *default-transport*
403                          (error "no default transport defined - please use `-transport' option"))
404                        (unless *default-location*
405                          (error "no default location defined - please use `-location' option")))
406                      (install (reverse eggs)))))
407              (else
408               (let ((arg (car args)))
409                 (cond ((or (string=? arg "-help")
410                            (string=? arg "-h")
411                            (string=? arg "--help"))
412                        (usage 0))
413                       ((string=? arg "-force")
414                        (set! *force* #t)
415                        (loop (cdr args) eggs))
416                       ((or (string=? arg "-k") (string=? arg "-keep"))
417                        (set! *keep* #t)
418                        (loop (cdr args) eggs))
419                       ((or (string=? arg "-s") (string=? arg "-sudo"))
420                        (sudo-install #t)
421                        (loop (cdr args) eggs))
422                       ((or (string=? arg "-r") (string=? arg "-retrieve"))
423                        (set! *retrieve-only* #t)
424                        (loop (cdr args) eggs))
425                       ((or (string=? arg "-l") (string=? arg "-location"))
426                        (unless (pair? (cdr args)) (usage 1))
427                        (set! *default-location* (cadr args))
428                        (loop (cddr args) eggs))
429                       ((or (string=? arg "-t") (string=? arg "-transport"))
430                        (unless (pair? (cdr args)) (usage 1))
431                        (set! *default-transport* (string->symbol (cadr args)))
432                        (loop (cddr args) eggs))
433                       ((or (string=? arg "-p") (string=? arg "-prefix"))
434                        (unless (pair? (cdr args)) (usage 1))
435                        (set! *prefix* (cadr args))
436                        (loop (cddr args) eggs))
437                       ((or (string=? arg "-n") (string=? arg "-no-install"))
438                        (set! *keep* #t)
439                        (set! *no-install* #t)
440                        (loop (cdr args) eggs))
441                       ((or (string=? arg "-v") (string=? arg "-version"))
442                        (print (chicken-version))
443                        (exit 0))
444                       ((or (string=? arg "-u") (string=? arg "-update-db"))
445                        (set! update #t)
446                        (loop (cdr args) eggs))
447                       ((or (string=? arg "-i") (string=? arg "-init"))
448                        (unless (pair? (cdr args)) (usage 1))
449                        (init-repository (cadr args))
450                        (exit 0))
451                       ((string=? "-test" arg)
452                        (set! *run-tests* #t)
453                        (loop (cdr args) eggs))
454                       ((string=? "-host-extension" arg)
455                        (set! *host-extension* #t)
456                        (loop (cdr args) eggs))
457                       ((string=? "-username" arg)
458                        (unless (pair? (cdr args)) (usage 1))
459                        (set! *username* (cadr args))
460                        (loop (cddr args) eggs))
461                       ((string=? "-password" arg)
462                        (unless (pair? (cdr args)) (usage 1))
463                        (set! *password* (cadr args))
464                        (loop (cddr args) eggs))
465                       ((and (positive? (string-length arg))
466                             (char=? #\- (string-ref arg 0)))
467                        (if (> (string-length arg) 2)
468                            (let ((sos (string->list (substring arg 1))))
469                              (if (null? (lset-intersection eq? *short-options* sos))
470                                  (loop (append (map (cut string #\- <>) sos) (cdr args)) eggs)
471                                  (usage 1)))
472                            (usage 1)))
473                       ((equal? "setup" (pathname-extension arg))
474                        (let ((egg (pathname-file arg)))
475                          (set! *eggs+dirs+vers*
476                            (alist-cons
477                             egg
478                             (list
479                              (let ((dir (pathname-directory arg)))
480                                (if dir
481                                    (if (absolute-pathname? dir)
482                                        dir
483                                        (make-pathname (current-directory) dir) )
484                                    (current-directory)))
485                              "")
486                             *eggs+dirs+vers*))
487                          (loop (cdr args) (cons egg eggs))))
488                       ((string-match rx arg) =>
489                        (lambda (m)
490                          (loop (cdr args) (alist-cons (cadr m) (caddr m) eggs))))
491                       (else (loop (cdr args) (cons arg eggs))))))))))
492
493  (register-feature! 'chicken-install)
494  (define ##compiler#compiler-macro-environment '()) ; only to make `compiler' import work
495
496  (handle-exceptions ex
497      (begin
498        (print-error-message ex (current-error-port))
499        (cleanup)
500        (exit 1))
501    (main (command-line-arguments))
502    (cleanup))
503
504) ;module main
Note: See TracBrowser for help on using the repository browser.