source: project/chicken/trunk/chicken-install.scm @ 15149

Last change on this file since 15149 was 15149, checked in by felix winkelmann, 11 years ago

trivial fixes

File size: 21.4 KB
Line 
1;;;; chicken-install.scm
2;
3; Copyright (c) 2008-2009, The Chicken Team
4; All rights reserved.
5;
6; Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following
7; conditions are met:
8;
9;   Redistributions of source code must retain the above copyright notice, this list of conditions and the following
10;     disclaimer.
11;   Redistributions in binary form must reproduce the above copyright notice, this list of conditions and the following
12;     disclaimer in the documentation and/or other materials provided with the distribution.
13;   Neither the name of the author nor the names of its contributors may be used to endorse or promote
14;     products derived from this software without specific prior written permission.
15;
16; THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS
17; OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY
18; AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDERS OR
19; CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
20; CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
21; SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
22; THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR
23; OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
24; POSSIBILITY OF SUCH DAMAGE.
25
26
27(require-library setup-download setup-api)
28(require-library srfi-1 posix data-structures utils regex ports extras
29                 srfi-13 files)
30(require-library chicken-syntax)        ; in case an import library reexports chicken syntax
31
32
33(module main ()
34
35  (import scheme chicken srfi-1 posix data-structures utils regex ports extras
36          srfi-13 files)
37  (import setup-download setup-api)
38
39  (import foreign)
40
41  (define +default-repository-files+
42    '("setup-api.so" "setup-api.import.so"
43      "setup-utils.so" "setup-utils.import.so"
44      "setup-download.so" "setup-download.import.so"
45      "chicken.import.so"
46      "lolevel.import.so"
47      "srfi-1.import.so"
48      "srfi-4.import.so"
49      "data-structures.import.so"
50      "ports.import.so"
51      "files.import.so"
52      "posix.import.so"
53      "srfi-13.import.so"
54      "srfi-69.import.so"
55      "extras.import.so"
56      "regex.import.so"
57      "srfi-14.import.so"
58      "tcp.import.so"
59      "foreign.import.so"
60      "scheme.import.so"
61      "srfi-18.import.so"
62      "utils.import.so"
63      "csi.import.so"
64      "irregex.import.so"
65      "setup.defaults"
66      "types.db"))
67
68  (define *program-path*
69    (or (and-let* ((p (get-environment-variable "CHICKEN_PREFIX")))
70          (make-pathname p "bin") )
71        (foreign-value "C_INSTALL_BIN_HOME" c-string) ) )
72
73  (define *keep* #f)
74  (define *force* #f)
75  (define *prefix* #f)
76  (define *host-extension* #f)
77  (define *run-tests* #f)
78  (define *retrieve-only* #f)
79  (define *no-install* #f)
80  (define *username* #f)
81  (define *password* #f)
82  (define *default-sources* '())
83  (define *default-location* #f)
84  (define *default-transport* 'http)
85  (define *windows-shell* (foreign-value "C_WINDOWS_SHELL" bool))
86
87  (define-constant +module-db+ "modules.db")
88  (define-constant +defaults-file+ "setup.defaults")
89
90  (define (load-defaults)
91    (let ([deff (make-pathname (chicken-home) +defaults-file+)])
92      (cond [(not (file-exists? deff))
93             '() ]
94            [else
95             (set! *default-sources* (read-file deff))
96             (pair? *default-sources*) ] ) ) )
97
98  (define (known-default-sources)
99    (if (and *default-location* *default-transport*)
100        `(((location ,*default-location*)
101           (transport ,*default-transport*)))
102        *default-sources* ) )
103
104  (define (invalidate-default-source! def)
105    (set! *default-sources* (delete def *default-sources* eq?)) )
106
107  (define (deps key meta)
108    (or (and-let* ((d (assq key meta)))
109          (cdr d))
110        '()))
111
112  (define (init-repository dir)
113    (let ((src (repository-path))
114          (copy (if *windows-shell*
115                    "copy"
116                    "cp -r")))
117      (print "copying required files to " dir " ...")
118      (for-each
119       (lambda (f)
120         ($system (sprintf "~a ~a ~a" copy (shellpath (make-pathname src f)) (shellpath dir))))
121       +default-repository-files+)))
122
123  (define (ext-version x)
124    (cond ((or (eq? x 'chicken)
125               (equal? x "chicken")
126               (member (->string x) ##sys#core-library-modules))
127           (chicken-version) )
128          ((extension-information x) =>
129           (lambda (info)
130             (let ((a (assq 'version info)))
131               (if a
132                   (->string (cadr a))
133                   "0.0.0"))))
134          (else #f)))
135
136  (define (outdated-dependencies meta)
137    (let ((ds (append
138               (deps 'depends meta)
139               (deps 'needs meta)
140               (if *run-tests* (deps 'test-depends meta) '()))))
141      (let loop ((deps ds) (missing '()) (upgrade '()))
142        (if (null? deps)
143            (values (reverse missing) (reverse upgrade))
144            (let ((dep (car deps))
145                  (rest (cdr deps)))
146              (cond ((or (symbol? dep) (string? dep))
147                     (loop rest
148                           (if (ext-version dep)
149                               missing
150                               (cons (->string dep) missing))
151                           upgrade))
152                    ((and (list? dep) (= 2 (length dep))
153                          (or (string? (car dep)) (symbol? (car dep))))
154                     (let ((v (ext-version (car dep))))
155                       (cond ((not v)
156                              (loop rest (cons (->string (car dep)) missing) upgrade))
157                             ((not (version>=? v (->string (cadr dep))))
158                              (when (string=? "chicken" (->string (car dep)))
159                                (error
160                                 (string-append
161                                  "Your CHICKEN version is not recent enough to use this extension - version "
162                                  (cadr dep) 
163                                  " or newer is required")))
164                              (loop rest missing
165                                    (alist-cons
166                                     (->string (car dep)) (->string (cadr dep))
167                                     upgrade)))
168                             (else (loop rest missing upgrade)))))
169                    (else
170                     (warning
171                      "invalid dependency syntax in extension meta information"
172                      dep)
173                     (loop rest missing upgrade))))))))
174
175  (define *eggs+dirs+vers* '())
176  (define *checked* '())
177  (define *csi* (shellpath (make-pathname *program-path* "csi")))
178 
179  (define (try-extension name version trans locn)
180    (condition-case
181        (retrieve-extension
182         name trans locn
183         version: version
184         destination: (and *retrieve-only* (current-directory))
185         tests: *run-tests*
186         username: *username*
187         password: *password*)
188      [(exn net)
189       (print "TCP connect timeout")
190       (values #f "") ]
191      [(exn http-fetch)
192       (print "HTTP protocol error")
193       (values #f "") ]
194      [e ()
195       (abort e) ] ) )
196
197  (define (try-default-sources name version)
198    (let trying-sources ([defs (known-default-sources)])
199      (if (null? defs)
200          (values #f "")
201          (let* ([def (car defs)]
202                 [locn (cadr (or (assq 'location def)
203                                 (error "missing location entry" def)))]
204                 [trans (cadr (or (assq 'transport def)
205                                  (error "missing transport entry" def)))])
206            (let-values ([(dir ver) (try-extension name version trans locn)])
207              (if dir
208                  (values dir ver)
209                  (begin
210                    (invalidate-default-source! def)
211                    (trying-sources (cdr defs)) ) ) ) ) ) ) )
212
213  (define (make-replace-extension-question e+d+v upgrade)
214    (string-concatenate
215     (append
216      (list "The following installed extensions are outdated, because `"
217            (car e+d+v)
218            "' requires later versions:\n")
219      (map
220       (lambda (e)
221         (conc
222          "  " (car e)
223          " (" (let ([v (assq 'version (extension-information (car e)))]) (if v (cadr v) "???"))
224               " -> " (cdr e) ")"
225          #\newline) )
226       upgrade)
227      '("\nDo you want to replace the existing extensions?"))) )
228
229  (define (retrieve eggs)
230    (print "retrieving ...")
231    (for-each
232     (lambda (egg)
233       (cond [(assoc egg *eggs+dirs+vers*) =>
234              (lambda (a)
235                ;; push to front
236                (set! *eggs+dirs+vers* (cons a (delete a *eggs+dirs+vers* eq?))) ) ]
237             [else
238              (let ([name (if (pair? egg) (car egg) egg)]
239                    [version (and (pair? egg) (cdr egg))])
240                (let-values ([(dir ver) (try-default-sources name version)])
241                  (unless dir (error "extension or version not found"))
242                  (print " " name " located at " dir)
243                  (set! *eggs+dirs+vers* (alist-cons name (list dir ver) *eggs+dirs+vers*)) ) ) ] ) )
244     eggs)
245    (unless *retrieve-only*
246      (for-each
247       (lambda (e+d+v)
248         (unless (member (car e+d+v) *checked*)
249           (set! *checked* (cons (car e+d+v) *checked*))
250           (let ([mfile (make-pathname (cadr e+d+v) (car e+d+v) "meta")])
251             (cond [(file-exists? mfile)
252                    (let ([meta (with-input-from-file mfile read)])
253                      (print "checking dependencies for `" (car e+d+v) "' ...")
254                      (let-values ([(missing upgrade) (outdated-dependencies meta)])
255                        (when (pair? missing)
256                          (print " missing: " (string-intersperse missing ", "))
257                          (retrieve missing))
258                        (when (and (pair? upgrade)
259                                   (or *force*
260                                       (yes-or-no?
261                                        (make-replace-extension-question e+d+v upgrade)
262                                        "no") ) )
263                          (let ([ueggs (unzip1 upgrade)])
264                            (print " upgrade: " (string-intersperse ueggs ", "))
265                            (for-each
266                             (lambda (e)
267                               (print "removing previously installed extension `" e "' ...")
268                               (remove-extension e) )
269                             ueggs)
270                            (retrieve ueggs) ) ) ) ) ]
271                   [else
272                    (warning
273                     (string-append
274                      "extension `" (car e+d+v) "' has no .meta file "
275                      "- assuming it has no dependencies")) ] ) ) ) )
276       *eggs+dirs+vers*) ) )
277
278  (define (make-install-command e+d+v)
279    (conc
280     *csi*
281     " -bnq -e \"(require-library setup-api)\" -e \"(import setup-api)\""
282     (sprintf " -e \"(extension-name-and-version '(\\\"~a\\\" \\\"~a\\\"))\"" (car e+d+v) (caddr e+d+v))
283     (if (sudo-install) " -e \"(sudo-install #t)\"" "")
284     (if *keep* " -e \"(keep-intermediates #t)\"" "")
285     (if *no-install* " -e \"(setup-install-mode #f)\"" "")
286     (if *host-extension* " -e \"(host-extension #t)\"" "")
287     (if *prefix* (sprintf " -e \"(installation-prefix \\\"~a\\\")\"" *prefix*) "")
288     #\space (shellpath (make-pathname (cadr e+d+v) (car e+d+v) "setup"))) )
289
290  (define (install eggs)
291    (retrieve eggs)
292    (unless *retrieve-only*
293      (for-each ; we assume the order reflects the dependency tree...
294       (lambda (e+d+v)
295         (print "installing " (car e+d+v) #\: (caddr e+d+v) " ...")
296         (print "changing current directory to " (cadr e+d+v))
297         (parameterize ((current-directory (cadr e+d+v)))
298           (let ([cmd (make-install-command e+d+v)])
299             (print "  " cmd)
300             ($system cmd))
301           (when (and *run-tests*
302                      (file-exists? "tests")
303                      (directory? "tests")
304                      (file-exists? "tests/run.scm") )
305             (current-directory "tests")
306             (let ((cmd (sprintf "~a -s run.scm ~a" *csi* (car e+d+v))))
307               (print "  " cmd)
308               ($system cmd)))))
309       *eggs+dirs+vers*)))
310
311  (define (cleanup)
312    (unless *keep*
313      (and-let* ((tmpdir (temporary-directory)))
314        (remove-directory tmpdir))))
315
316  (define (update-db)
317    (let* ((files (glob (make-pathname (repository-path) "*.import.*")))
318           (tmpdir (create-temporary-directory))
319           (dbfile (make-pathname tmpdir +module-db+))
320           (rx (regexp ".*/([^/]+)\\.import\\.(scm|so)")))
321      (print "loading import libraries ...")
322      (fluid-let ((##sys#warnings-enabled #f))
323        (for-each
324         (lambda (f)
325           (let ((m (string-match rx f)))
326             (handle-exceptions ex
327                 (print-error-message 
328                  ex (current-error-port) 
329                  (sprintf "Failed to import from `~a'" f))
330               (eval `(import ,(string->symbol (cadr m)))))))
331         files))
332      (print "generating database")
333      (let ((db
334             (sort
335              (append-map
336               (lambda (m)
337                 (let* ((mod (cdr m))
338                        (mname (##sys#module-name mod)))
339                   (print* " " mname)
340                   (let-values (((_ ve se) (##sys#module-exports mod)))
341                     (append
342                      (map (lambda (se) (list (car se) 'syntax mname)) se)
343                      (map (lambda (ve) (list (car ve) 'value mname)) ve)))))
344               ##sys#module-table)
345              (lambda (e1 e2)
346                (string<? (symbol->string (car e1)) (symbol->string (car e2)))))))
347        (newline)
348        (with-output-to-file dbfile
349          (lambda ()
350            (for-each (lambda (x) (write x) (newline)) db)))
351        (copy-file dbfile (make-pathname (repository-path) +module-db+))
352        (remove-directory tmpdir))))
353
354  (define ($system str)
355    (let ((r (system
356              (if *windows-shell*
357                  (string-append "\"" str "\"")
358                  str))))
359      (unless (zero? r)
360        (error "shell command terminated with nonzero exit code" r str))))
361
362  (define (usage code)
363    (print #<<EOF
364usage: chicken-install [OPTION | EXTENSION[:VERSION]] ...
365
366  -h   -help                    show this message and exit
367  -v   -version                 show version and exit
368       -force                   don't ask, install even if versions don't match
369  -k   -keep                    keep temporary files
370  -l   -location LOCATION       install from given location instead of default
371  -t   -transport TRANSPORT     use given transport instead of default
372  -s   -sudo                    use sudo(1) for installing or removing files
373  -r   -retrieve                only retrieve egg into current directory, don't install
374  -n   -no-install              do not install, just build (implies `-keep')
375  -p   -prefix PREFIX           change installation prefix to PREFIX
376       -host-extension          when cross-compiling, compile extension for host
377       -test                    run included test-cases, if available
378       -username USER           set username for transports that require this
379       -password PASS           set password for transports that require this
380  -i   -init DIRECTORY          initialize empty alternative repository
381  -u   -update-db               update export database
382EOF
383);|
384    (exit code))
385
386  (define *short-options* '(#\h #\k #\l #\t #\s #\p #\r #\n #\v #\i #\u))
387
388  (define (main args)
389    (let ((defaults (load-defaults))
390          (update #f)
391          (rx "([^:]+):(.+)"))
392      (let loop ((args args) (eggs '()))
393        (cond ((null? args)
394               (cond (update (update-db))
395                     (else
396                      (when (null? eggs)
397                        (let ((setups (glob "*.setup")))
398                          (cond ((pair? setups)
399                                 (set! *eggs+dirs+vers*
400                                       (append
401                                        (map
402                                         (lambda (s) (cons (pathname-file s) (list "." "")))
403                                         setups)
404                                        *eggs+dirs+vers*)))
405                                (else
406                                 (print "no setup-scripts to process")
407                                 (exit 1))) ) )
408                      (unless defaults
409                        (unless *default-transport*
410                          (error "no default transport defined - please use `-transport' option"))
411                        (unless *default-location*
412                          (error "no default location defined - please use `-location' option")))
413                      (install (reverse eggs)))))
414              (else
415               (let ((arg (car args)))
416                 (cond ((or (string=? arg "-help")
417                            (string=? arg "-h")
418                            (string=? arg "--help"))
419                        (usage 0))
420                       ((string=? arg "-force")
421                        (set! *force* #t)
422                        (loop (cdr args) eggs))
423                       ((or (string=? arg "-k") (string=? arg "-keep"))
424                        (set! *keep* #t)
425                        (loop (cdr args) eggs))
426                       ((or (string=? arg "-s") (string=? arg "-sudo"))
427                        (sudo-install #t)
428                        (loop (cdr args) eggs))
429                       ((or (string=? arg "-r") (string=? arg "-retrieve"))
430                        (set! *retrieve-only* #t)
431                        (loop (cdr args) eggs))
432                       ((or (string=? arg "-l") (string=? arg "-location"))
433                        (unless (pair? (cdr args)) (usage 1))
434                        (set! *default-location* (cadr args))
435                        (loop (cddr args) eggs))
436                       ((or (string=? arg "-t") (string=? arg "-transport"))
437                        (unless (pair? (cdr args)) (usage 1))
438                        (set! *default-transport* (string->symbol (cadr args)))
439                        (loop (cddr args) eggs))
440                       ((or (string=? arg "-p") (string=? arg "-prefix"))
441                        (unless (pair? (cdr args)) (usage 1))
442                        (set! *prefix* (cadr args))
443                        (loop (cddr args) eggs))
444                       ((or (string=? arg "-n") (string=? arg "-no-install"))
445                        (set! *keep* #t)
446                        (set! *no-install* #t)
447                        (loop (cdr args) eggs))
448                       ((or (string=? arg "-v") (string=? arg "-version"))
449                        (print (chicken-version))
450                        (exit 0))
451                       ((or (string=? arg "-u") (string=? arg "-update-db"))
452                        (set! update #t)
453                        (loop (cdr args) eggs))
454                       ((or (string=? arg "-i") (string=? arg "-init"))
455                        (unless (pair? (cdr args)) (usage 1))
456                        (init-repository (cadr args))
457                        (exit 0))
458                       ((string=? "-test" arg)
459                        (set! *run-tests* #t)
460                        (loop (cdr args) eggs))
461                       ((string=? "-host-extension" arg)
462                        (set! *host-extension* #t)
463                        (loop (cdr args) eggs))
464                       ((string=? "-username" arg)
465                        (unless (pair? (cdr args)) (usage 1))
466                        (set! *username* (cadr args))
467                        (loop (cddr args) eggs))
468                       ((string=? "-password" arg)
469                        (unless (pair? (cdr args)) (usage 1))
470                        (set! *password* (cadr args))
471                        (loop (cddr args) eggs))
472                       ((and (positive? (string-length arg))
473                             (char=? #\- (string-ref arg 0)))
474                        (if (> (string-length arg) 2)
475                            (let ((sos (string->list (substring arg 1))))
476                              (if (null? (lset-intersection eq? *short-options* sos))
477                                  (loop (append (map (cut string #\- <>) sos) (cdr args)) eggs)
478                                  (usage 1)))
479                            (usage 1)))
480                       ((equal? "setup" (pathname-extension arg))
481                        (let ((egg (pathname-file arg)))
482                          (set! *eggs+dirs+vers*
483                            (alist-cons
484                             egg
485                             (list
486                              (let ((dir (pathname-directory arg)))
487                                (if dir
488                                    (if (absolute-pathname? dir)
489                                        dir
490                                        (make-pathname (current-directory) dir) )
491                                    (current-directory)))
492                              "")
493                             *eggs+dirs+vers*))
494                          (loop (cdr args) (cons egg eggs))))
495                       ((string-match rx arg) =>
496                        (lambda (m)
497                          (loop (cdr args) (alist-cons (cadr m) (caddr m) eggs))))
498                       (else (loop (cdr args) (cons arg eggs))))))))))
499
500  (register-feature! 'chicken-install)
501
502  (handle-exceptions ex
503      (begin
504        (print-error-message ex (current-error-port))
505        (cleanup)
506        (exit 1))
507    (main (command-line-arguments))
508    (cleanup))
509
510) ;module main
Note: See TracBrowser for help on using the repository browser.