source: project/release/5/simple-tests/trunk/simple-tests.scm @ 38640

Last change on this file since 38640 was 38640, checked in by juergen, 5 months ago

simple-tests 2.1 with do-checks added

File size: 15.5 KB
Line 
1
2; Author: Juergen Lorenz
3; ju (at) jugilo (dot) de
4;
5; Copyright (c) 2011-2020, Juergen Lorenz
6; All rights reserved.
7;
8; Redistribution and use in source and binary forms, with or without
9; modification, are permitted provided that the following conditions are
10; met:
11;
12; Redistributions of source code must retain the above copyright
13; notice, this list of conditions and the following disclaimer.
14;
15; Redistributions in binary form must reproduce the above copyright
16; notice, this list of conditions and the following disclaimer in the
17; documentation and/or other materials provided with the distribution.
18;
19; Neither the name of the author nor the names of its contributors may be
20; used to endorse or promote products derived from this software without
21; specific prior written permission.
22;
23; THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
24; IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED
25; TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A
26; PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
27; HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
28; SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED
29; TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
30; PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
31; LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
32; NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
33; SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
34;
35
36#|[
37This is a simple Unit Test Framework inspired by Peter Seibel's
38"Practical Common Lisp" together with some routines which might be
39useful for debugging.
40A second test interface is added with version 2.0
41]|#
42
43
44(module simple-tests (
45  ; common
46  simple-tests 
47  and?
48  writeln
49  pe
50  xpr:val
51  ppp
52  xpr:val*
53  ppp*
54  ; old interface
55  define-test
56  (compound-test group-on-cdrs)
57  *locations*
58  *failures*
59  ; new interface
60  ==
61  define-checks
62  do-checks
63  (check-all check-all-proc)
64  )
65
66(import scheme (chicken base) (chicken syntax) (chicken pretty-print))
67
68(import-for-syntax (only (chicken base) chop))
69
70;;;;;; Common interface ;;;;;;
71
72;;; (simple-tests [sym])
73;;; ---------------------
74;;; documentation procedure
75(define simple-tests
76  (let (
77    (signatures '((simple-tests sym ..)
78                  (and? xpr ...)
79                  (writeln xpr ....)
80                  (pe macro-code)
81                  (xpr:val xpr ...)
82                  (ppp xpr ...)
83                  (xpr:val* {xpr val} ...)
84                  (ppp* {xpr val} ...)
85
86                  (define-test (name . parameters) form . forms)
87                  (check form . forms)
88                  (compound-test (name) test . tests)
89
90                  (==)
91                  (== x)
92                  (== type? type-equal?)
93                  (do-checks (name? verbose? :arg val: ...) :xpr expected: ....)
94                  (define-checks (name? verbose? :arg val: ...) :xpr expected: ....)
95                  (check-all name check-xpr ....)))
96    )
97    (case-lambda
98      (() (map car signatures))
99      ((sym) (assq sym signatures)))))
100
101(define (writeln . args)
102  (for-each (lambda (a)
103              (write a)
104              (display " "))
105            args)
106  (newline))
107
108;;; (and? . xprs)
109;;; -------------
110;;; non-short-circuited and which executes all side-effects
111(define (and? . xprs)
112  (let ((result #t))
113    (for-each (lambda (x) (if (not x) (set! result #f)))
114              xprs)
115    result))
116
117;;; (pe macro-code)
118;;; ---------------
119;;; composes pretty-print and expand
120(define (pe macro-code)
121  (pp (expand macro-code)))
122
123#|[
124The following macro, xpr:val, pretty-prints the literal representation
125of each of its arguments as well as their respective values.  The call
126to eval-when guarantees, that the whole expression does nothing in
127compiled code.
128]|#
129
130;;; (xpr:val xpr ...)
131;;; -----------------
132;;; print each xpr quoted in a headline and pretty-print xpr's computed
133;;; value.
134(define-syntax xpr:val
135  (syntax-rules ()
136    ((_ xpr ...)
137     (cond-expand
138       ((not compiling)
139        (begin (print "Computing " 'xpr " ...")
140               (pp xpr)
141               )
142        ...
143        )
144       (else)))))
145
146;;; (ppp xpr ...)
147;;; -------------
148;;; print each xpr quoted in a headline and pretty-print xpr's computed
149;;; value. Alias to xpr:val.
150(define-syntax ppp
151  (syntax-rules ()
152    ((_ xpr ...)
153     (xpr:val xpr ...))))
154
155(define-syntax help-ppp* ; internal
156  (syntax-rules ()
157    ((_)
158     (print))
159    ((_ xpr val)
160     (begin (print "Testing " 'xpr " ...")
161            (print* "computed: ") (pp xpr)
162            (print* "expected: ") (pp val)
163            ))
164    ((_ xpr val . pairs)
165     (begin (help-ppp* xpr val)
166            (help-ppp* . pairs)))
167    ))
168;
169;;;; (ppp* {xpr val} ...)
170;;; --------------------
171;;; print each xpr quoted in a headline and pretty-print xpr's computed
172;;; and expected value.
173(define-syntax ppp*
174  (syntax-rules ()
175    ((_ . pairs)
176     (cond-expand
177       ((not compiling)
178        (help-ppp* . pairs))
179       (else)))))
180
181;;; (xpr:val* {xpr val} ...)
182;;; ------------------------
183;;; print each xpr quoted in a headline and pretty-print xpr's computed
184;;; and expected value.
185;;; Alias to ppp*
186(define-syntax xpr:val*
187  (syntax-rules ()
188    ((_ . pairs)
189     (ppp* . pairs))))
190
191;;;;;;;; old interface ;;;;;;;;;
192
193;; helper macro because I don't want to export it
194(define-syntax disp
195  (syntax-rules ()
196    ((_)
197     (lambda (x) (display " ") (display x)))))
198
199;;; (report-result loc form)
200;;; ------------------------
201;;; reports succuss or failure of form and updates failures if necessary
202(define-syntax report-result
203  (syntax-rules ()
204    ((_ loc form)
205     (if form
206       (begin
207         (cond-expand
208           (compiling (print 'form))
209           (else (pp 'form)))
210         (display "... passed in")
211         (for-each (disp) loc)
212         (newline)
213         #t)
214       (begin
215         (cond-expand
216           (compiling (print 'form))
217           (else (pp 'form)))
218         (display "!!! FAILED IN")
219         (for-each (disp) loc)
220         (newline)
221         (set! *failures* (cons (cons 'form loc) *failures*))
222         #f)))))
223
224;;; (check . forms)
225;;; --------------------
226;;; report result of all forms
227(define-syntax check
228  (syntax-rules ()
229    ((_ form ...)
230     (lambda (loc)
231       (and? (report-result loc form)
232             ...)))))
233
234;; internal helper
235(define-syntax show-args
236 (syntax-rules ()
237   ((_ (name arg ...))
238    `(name (arg ,arg) ...))
239   ((_ arg) arg)))
240
241;;; (define-test (name . parameters) form . forms)
242;;; ----------------------------------------------
243;;; creates a test function
244(define-syntax define-test
245  (syntax-rules ()
246    ((_ (name . parameters) form . forms)
247     (define (name . parameters)
248       (fluid-let (
249         (*locations*
250           (cons (show-args (name . parameters)) *locations*))
251         )
252         ((check form . forms) *locations*))))))
253
254;;; (compound-test (name) test . tests)
255;;; -----------------------------------
256;;; invokes all tests and reports a summary
257(define-syntax compound-test
258  (syntax-rules ()
259    ((_ (name) test0 test1 ...)
260     (begin
261       (print "\nTesting " 'name " ...")
262       (print "----------------------------")
263       (let ((result (and? test0 test1 ...)))
264         (print "\nResults of " 'name)
265         (print "----------------------------")
266         (if result
267           (begin
268             (print "All tests passed")
269             (exit 0))
270           (let ((groups (group-on-cdrs (reverse *failures*))))
271             (print "SOME TESTS FAILED IN ...")
272             (for-each (lambda (x)
273                         (display "...")
274                         (for-each (disp) (cdar x))
275                         (newline)
276                         (cond-expand
277                           (compiling
278                             (for-each print (map car x)))
279                           (else
280                             (for-each pp (map car x))))
281                         ;(for-each print (map car x))
282                         ;(for-each pp (map car x))
283                         )
284                       groups)
285             (exit 1))))))))
286
287;;; internal helper from bindings
288(define (filter ok? lst)
289  (let loop ((lst lst) (yes '()) (no '()))
290    (if (null? lst)
291      (values (reverse yes) (reverse no))
292      (let ((first (car lst)) (rest (cdr lst)))
293        (if (ok? first)
294          (loop rest (cons first yes) no)
295          (loop rest yes (cons first no)))))))
296
297;;; (group-on-cdrs alist)
298;;; ---------------------
299;;; group into sublists with equal cdrs.
300(define (group-on-cdrs alst)
301  (let loop ((alst alst) (result '()))
302    (if (null? alst)
303      (reverse result)
304      (receive (yes no)
305        (filter (lambda (x) (equal? (cdr x) (cdar alst))) alst)
306        (loop no (cons yes result))))))
307
308;;; *locations*
309;;; -----------
310;;; dynamic variable
311(define *locations* '())
312
313;;; *failures*
314;;; ----------
315;;; global variable collecting failure information
316(define *failures* '())
317
318;;;;;;; new interface ;;;;;;;;;;;
319
320(define (curry proc) ; internal
321  (lambda (x) (lambda (y) (proc x y))))
322
323;(define (symbol=? x y)
324;  (string=? (symbol->string x) (symbol->string y)))
325
326;;; (==)
327;;; (== x)
328;;; (== type? type-equal?)
329;;; ----------------------
330;;; generic type equality as curried procedure
331(define ==
332  (let* ((pairs (list (cons pair? (curry equal?))
333                  (cons null? (curry eq?))
334                  (cons symbol? (curry eq?))
335                  (cons vector? (curry equal?))
336                  (cons string? (curry string=?))
337                  (cons boolean? (curry eq?))
338                  (cons char? (curry char=?))
339                  (cons number? (curry =))
340                  (cons procedure? (curry eqv?))
341                  (cons (lambda (x) #t) (curry equal?))))
342         (db pairs))
343    (case-lambda
344      (()
345       (set! db pairs); reset
346       (pp db))
347      ((x) ; return generic curried equality operator
348       (let loop ((db db))
349         (if ((caar db) x)
350           ;; check if second arg has rigth type as well
351           ;; without check ((cdar db) x) would work
352           ;; but produce an error for wrong type of second arg
353           (lambda (y) (and ((caar db) y) (((cdar db) x) y)))
354           ;; try next pair
355           (loop (cdr db)))))
356      ((type? type=?) ; add new eqaulity operator to db
357       (set! db (cons (cons type? (curry type=?)) db))
358       (pp db))
359      )))
360
361;;; (do-checks (name? verbose? :arg val: ...) :xpr expect: ....)
362;;; ----------------------------------------------------------------
363;;; returns a unary predicate, name?, comparing xpr with expect ....
364;;; and using arg val ... within this checks
365(define-syntax do-checks
366  (er-macro-transformer
367    (lambda (form rename compare?)
368      (let ((name (caadr form))
369            (verbose? (cadadr form))
370            (args* (cddadr form))
371            (pairs* (cddr form))
372            (%x (rename 'x))
373            (%tests (rename 'tests))
374            (%writeln (rename 'writeln))
375            (%set! (rename 'set!))
376            (%print (rename 'print))
377            (%print* (rename 'print*))
378            (%begin (rename 'begin))
379            (%let (rename 'let))
380            (%equal? (rename 'equal?)) ;;;
381            (%== (rename '==))
382            (%cons (rename 'cons))
383            (%and (rename 'and))
384            (%reverse (rename 'reverse))
385            (%if (rename 'if))
386            (%null? (rename 'null?))
387            (%fails (rename 'fails))
388            (%map (rename 'map))
389            (%cdr (rename 'cdr))
390            (%car (rename 'car))
391            (%apply (rename 'apply))
392            (%append (rename 'append))
393            (%define (rename 'define))
394            (%make-string (rename 'make-string))
395            (%string-length (rename 'string-length))
396            (%symbol->string (rename 'symbol->string))
397            (%when (rename 'when))
398            (%case-lambda (rename 'case-lambda))
399            (select-failures
400              (lambda (pairs)
401                (let loop ((pairs pairs))
402                  (cond
403                    ((null? pairs) '())
404                    ((caar pairs) (loop (cdr pairs)))
405                    (else
406                     (cons (car pairs) (loop (cdr pairs))))))))
407            )
408;`(,%define (,name ,verbose?)
409`(,%define ,name
410   (,%case-lambda
411     (()
412      (,name #t))
413     ((,verbose?)
414      (,%let ,(chop args* 2)
415        (,%when ,verbose?
416          (,%print "\nIn " ',name ":")
417          (,%print* "---"
418                    (,%make-string (,%string-length
419                                     (,%symbol->string ',name)) #\-)
420                    "-\n")
421          )
422        (,%let ((,%tests '()))
423          ,@(map (lambda (p)
424                   `(,%begin
425                      (,%let ((,%x ,(car p)))
426                         ; protect against functions changing state
427                        (,%when ,verbose?
428                          (,%print "testing " ',(car p) " ...")
429                          ;(,%print* "computed: ") (,%writeln ,(car p))
430                          (,%print* "computed: ") (,%writeln ,%x)
431                          (,%print* "expected: ") (,%writeln ,(cadr p))
432                          )
433                        (,%set! ,%tests
434                                ;(,%cons (,%cons ,(cons %equal? p) ',(car p)) ; ok
435                                ;(,%cons (,%cons ((,%== ,(car p)) ,(cadr p)) ',(car p))
436                                (,%cons (,%cons ((,%== ,%x) ,(cadr p)) ',(car p))
437                                        ,%tests)))
438                        ))
439                 (chop pairs* 2))
440          (,%let ((,%fails (,select-failures (,%reverse ,%tests))))
441            (,%when ,verbose?
442              (,%print "List of failed test expressions: "
443                       (,%map ,%cdr ,%fails))
444                       ;(,%apply ,%append (,%map ,%cdr ,%fails)))
445                       )
446            (,%if (,%null? ,%fails) #t #f)))))))
447 ))))
448
449;;; (define-checks (name? verbose? :arg val: ...) :xpr expect: ....)
450;;; ----------------------------------------------------------------
451;;; returns a unary predicate, name?, comparing xpr with expect ....
452;;; and using arg val ... within this checks
453;;; Alias to do-checks
454(define-syntax define-checks
455  (syntax-rules ()
456    ((_(name? verbose? . arg-val-pairs) xpr expect . xpr-expect-pairs)
457     (do-checks (name? verbose? . arg-val-pairs)
458                xpr expect .  xpr-expect-pairs))))
459
460(define (check-all-proc name . test-name-pairs) ; internal to check-all
461  ; used internally in check-all, must be exported within check-all
462  (let loop ((pairs (chop test-name-pairs 2)) (failures '()))
463    (cond
464      ((null? pairs)
465       (print "\nIn " name ":")
466       (print "==="
467              (make-string (string-length (symbol->string name)) #\=)
468              "=")
469       (print* "List of failed tests: "
470              (map car (reverse failures)))
471       (if (null? failures)
472         (begin (newline) (exit 0))
473         (begin (newline) (exit 1))))
474      ((caar pairs)
475       (loop (cdr pairs) failures))
476      (else
477        (loop (cdr pairs) (cons (cadar pairs) failures))))))
478
479;;; (check-all Name check-xpr ....)
480;;; -------------------------------
481;;; checks all check-expressions defined with define-checks
482;;; producing a list of failures and exiting with 0 or 1
483(define-syntax check-all
484  (er-macro-transformer
485    (lambda (form rename compare?)
486      (let ((name (cadr form))
487            (checks (cddr form))
488            (%check-all-proc (rename 'check-all-proc))
489            )
490        `(,%check-all-proc ',name
491                          ,@(apply append
492                                   (map (lambda (t) `(,t ',t))
493                                        checks)))))))
494 ) ; simple-tests
495
Note: See TracBrowser for help on using the repository browser.