new version
[feisty_meow.git] / scripts / rev_control / version_control.sh
1 #!/bin/bash
2
3 # these are helper functions for doing localized revision control.
4 # this script should be sourced into other scripts that use it.
5
6 # Author: Chris Koeritz
7 # Author: Kevin Wentworth
8
9 source "$FEISTY_MEOW_SCRIPTS/core/launch_feisty_meow.sh"
10 source "$FEISTY_MEOW_SCRIPTS/tty/terminal_titler.sh"
11
12 ##############
13
14 # check git version to see if we can use autostash.
15 # this appears to be an ubuntu issue, where xenial did not provide it even though the
16 # feature appeared in git 2.6 and xenial claims it has git version 2.7.4.  eventually,
17 # this version test can go away.
18 gitvertest="$(git version | sed -e 's/git version [0-9]\.//' | sed -e 's/\.[0-9][0-9]*$//' )"
19 if (( $gitvertest >= 11 )); then
20   # auto-stash is not available until 2.6 for git, but ubuntu is misreporting or using a
21   # differing version number somehow.  we are sure autostash was missing on ubuntu xenial
22   # with git 2.7.4 and it's definitely present in zesty with git at 2.11.
23   PULL_ADDITION='--rebase --autostash'
24 fi
25
26 ##############
27
28 # the maximum depth that the recursive functions will try to go below the starting directory.
29 export MAX_DEPTH=5
30
31 # use our splitter tool for lengthy output if it's available.
32 if [ ! -z "$(which splitter 2>/dev/null)" ]; then
33   TO_SPLITTER="$(which splitter)"
34   # calculate the number of columsn in the terminal.
35   cols=$(get_maxcols)
36   TO_SPLITTER+=" --maxcol $(($cols - 1))"
37 else
38   TO_SPLITTER=cat
39 fi
40
41 ##############
42
43 #hmmm: move this to core
44 # this makes the status of pipe N into the main return value.
45 function promote_pipe_return()
46 {
47   ( exit ${PIPESTATUS[$1]} )
48 }
49
50 ##############
51
52 # one unpleasantry to take care of first; cygwin barfs aggressively if the TMP directory
53 # is a DOS path, but we need it to be a DOS path for our GFFS testing, so that blows.
54 # to get past this, TMP gets changed below to a hopefully generic and safe place.
55 if [[ "$TMP" =~ .:.* ]]; then
56   echo "making weirdo temporary directory for PCDOS-style path."
57   export TMP=/tmp/rev_control_$USER
58 fi
59 if [ ! -d "$TMP" ]; then
60   mkdir -p $TMP
61 fi
62 if [ ! -d "$TMP" ]; then
63   echo "could not create the temporary directory TMP in: $TMP"
64   echo "this script will not work properly without an existing TMP directory."
65 fi
66
67 ##############
68
69 # checks the directory provided into the revision control system repository it belongs to.
70 function do_checkin()
71 {
72   local directory="$1"; shift
73
74   save_terminal_title
75
76   # make a nice echoer since we want to use it inside conditions below.
77   local nicedir="$directory"
78   if [ $nicedir == "." ]; then
79     nicedir=$(\pwd)
80   fi
81   local blatt="echo -n checking in '$nicedir'...  "
82
83   do_update "$directory"
84   test_or_die "repository update--this should be fixed before check-in."
85
86   pushd "$directory" &>/dev/null
87   if [ -f ".no-checkin" ]; then
88     echo "skipping check-in due to presence of .no-checkin sentinel file."
89   elif [ -d "CVS" ]; then
90     if test_writeable "CVS"; then
91       $blatt
92       cvs ci .
93       test_or_die "cvs checkin"
94     fi
95   elif [ -d ".svn" ]; then
96     if test_writeable ".svn"; then
97       $blatt
98       svn ci .
99       test_or_die "svn checkin"
100     fi
101   elif [ -d ".git" ]; then
102     if test_writeable ".git"; then
103       $blatt
104
105       # put all changed and new files in the commit.  not to everyone's liking.
106       git add --all . | $TO_SPLITTER
107       promote_pipe_return 0
108       test_or_die "git add all new files"
109
110       # see if there are any changes in the local repository.
111       if ! git diff-index --quiet HEAD --; then
112         # tell git about all the files and get a check-in comment.
113 #hmmm: begins to look like, you guessed it, a reusable bit that all commit actions could enjoy.
114         git commit .
115         retval=$?
116         test_or_continue "git commit"
117         if [ $retval -ne 0 ]; then
118           echo -e -n "Commit failed or was aborted:\nShould we continue with other check-ins? [y/N] "
119           local line
120           read line
121           if [[ "${line:0:1}" != "y" ]]; then
122             echo "Stopping check-in process due to missing commit and user request."
123             exit 1
124           fi
125         fi
126       fi
127
128       # a new set of steps we have to take to make sure the branch integrity is good.
129       do_careful_git_update "$(\pwd)"
130
131       # we continue on to the push, even if there were no changes this time, because
132       # there could already be committed changes that haven't been pushed yet.
133
134       # upload any changes to the upstream repo so others can see them.
135       git push --tags origin "$(my_branch_name)" 2>&1 | grep -v "X11 forwarding request failed" | $TO_SPLITTER
136       promote_pipe_return 0
137       test_or_die "git push"
138
139     fi
140   else
141     # nothing there.  it's not an error though.
142     echo no repository in $directory
143   fi
144   popd &>/dev/null
145
146   restore_terminal_title
147
148   return 0
149 }
150
151 # shows the local changes in a repository.
152 function do_diff
153 {
154   local directory="$1"; shift
155
156   save_terminal_title
157
158   pushd "$directory" &>/dev/null
159
160   # only update if we see a repository living there.
161   if [ -d ".svn" ]; then
162     svn diff .
163     test_or_die "subversion diff"
164   elif [ -d ".git" ]; then
165     git diff 
166     test_or_die "git diff"
167   elif [ -d "CVS" ]; then
168     cvs diff .
169     test_or_die "cvs diff"
170   fi
171
172   popd &>/dev/null
173
174   restore_terminal_title
175
176   return 0
177 }
178
179 # reports any files that are not already known to the upstream repository.
180 function do_report_new
181 {
182   local directory="$1"; shift
183
184   save_terminal_title
185
186   pushd "$directory" &>/dev/null
187
188   # only update if we see a repository living there.
189   if [ -f ".no-checkin" ]; then
190     echo "skipping reporting due to presence of .no-checkin sentinel file."
191   elif [ -d ".svn" ]; then
192     # this action so far only makes sense and is needed for svn.
193     bash $FEISTY_MEOW_SCRIPTS/rev_control/svnapply.sh \? echo
194     test_or_die "svn diff"
195   elif [ -d ".git" ]; then
196     git status -u
197     test_or_die "git status -u"
198   fi
199
200   popd &>/dev/null
201
202   restore_terminal_title
203
204   return 0
205 }
206
207 # checks in all the folders in the specified list.
208 function checkin_list()
209 {
210   # make the list of directories unique.
211   local list="$(uniquify $*)"
212
213   save_terminal_title
214
215   # turn repo list back into an array.
216   eval "repository_list=( ${REPOSITORY_LIST[*]} )"
217
218   local outer inner
219
220   for outer in "${repository_list[@]}"; do
221     # check the repository first, since it might be an absolute path.
222     if [[ $outer =~ /.* ]]; then
223       # yep, this path is absolute.  just handle it directly.
224       if [ ! -d "$outer" ]; then continue; fi
225       do_checkin "$outer"
226       test_or_die "running check-in (absolute) on path: $outer"
227       sep 28
228     else
229       for inner in $list; do
230         # add in the directory component to see if we can find the folder.
231         local path="$inner/$outer"
232         if [ ! -d "$path" ]; then continue; fi
233         do_checkin "$path"
234         test_or_die "running check-in (relative) on path: $path"
235         sep 28
236       done
237     fi
238   done
239
240   restore_terminal_title
241 }
242
243 # does a careful git update on all the folders in the specified list.
244 function puff_out_list()
245 {
246   # make the list of directories unique.
247   local list="$(uniquify $*)"
248
249   save_terminal_title
250
251   # turn repo list back into an array.
252   eval "repository_list=( ${REPOSITORY_LIST[*]} )"
253
254   local outer inner
255
256 #hmmm: once again, seeing some reusable code in this loop...
257   for outer in "${repository_list[@]}"; do
258     # check the repository first, since it might be an absolute path.
259     if [[ $outer =~ /.* ]]; then
260       # yep, this path is absolute.  just handle it directly.
261       if [ ! -d "$outer" ]; then continue; fi
262       do_careful_git_update "$outer"
263       test_or_die "running puff-out (absolute) on path: $outer"
264       sep 28
265     else
266       for inner in $list; do
267         # add in the directory component to see if we can find the folder.
268         local path="$inner/$outer"
269         if [ ! -d "$path" ]; then continue; fi
270         do_careful_git_update "$path"
271         test_or_die "running puff-out (relative) on path: $path"
272         sep 28
273       done
274     fi
275   done
276
277   restore_terminal_title
278 }
279
280 #hmmm: to go below.
281 ### takes out the first few carriage returns that are in the input.
282 ##function squash_first_few_crs()
283 ##{
284   ##i=0
285   ##while read input_text; do
286     ##i=$((i+1))
287     ##if [ $i -le 5 ]; then
288       ##echo -n "$input_text  "
289     ##else
290       ##echo $input_text
291     ##fi
292   ##done
293   ##if [ $i -le 3 ]; then
294     ### if we're still squashing eols, make sure we don't leave them hanging.
295     ##echo
296   ##fi
297 ##}
298
299 #hmmm: the below are git specific and should be named that way.
300
301 function all_branch_names()
302 {
303   echo "$(git branch -vv | cut -d ' ' -f2)"
304 }
305
306 # a helpful method that reports the git branch for the current directory's
307 # git repository.
308 function my_branch_name()
309 {
310   echo "$(git branch -vv | grep '\*' | cut -d ' ' -f2)"
311 }
312
313 #this had a -> in it at one point for not matching, didn't it?
314 # this reports the upstream branch for the current repo.
315 ##function parent_branch_name()
316 ##{
317   ##echo "$(git branch -vv | grep \* | cut -d ' ' -f2)"
318 ##}
319
320 # reports the status of the branch by echoing one of these values:
321 #   okay: up to date and everything is good.
322 #   needs_pull: this branch needs to be pulled from origins.
323 #   needs_push: there are unsaved changes on this branch to push to remote store.
324 #   diverged: the branches diverged and are going to need a merge.
325 # reference: https://stackoverflow.com/questions/3258243/check-if-pull-needed-in-git
326 function check_branch_state()
327 {
328   local branch="$1"; shift
329
330   if [ -z "$branch" ]; then
331     echo "No branch was passed to check branch state."
332     return 1
333   fi
334
335   local to_return=120  # unknown issue.
336
337   local local_branch=$(git rev-parse @)
338   local remote_branch=$(git rev-parse "$branch")
339   local merge_base=$(git merge-base @ "$branch")
340
341   local to_echo=
342   if [ "$local_branch" == "$remote_branch" ]; then
343     to_echo="okay"
344   elif [ "$local_branch" == "$merge_base" ]; then
345     to_echo="needs_pull"
346   elif [ "$remote_branch" == "$merge_base" ]; then
347     to_echo="needs_push"
348   else
349     to_echo="diverged"
350   fi
351
352   echo -n "$to_echo"
353
354   return $to_return
355 }
356
357 # only shows the branch state if it's not okay.
358 # note that this is not the same as a conditional branch (ha ha).
359 function show_branch_conditionally()
360 {
361   local this_branch="$1"; shift
362
363   local state=$(check_branch_state "$this_branch")
364   if [ "$state" != "okay" ]; then
365     echo "=> branch '$this_branch' state is not clean: $state"
366   fi
367 }
368
369 # the git update process just gets more and more complex when you bring in
370 # branches, so we've moved this here to avoid having a ton of code in the
371 # other methods.
372 function do_careful_git_update()
373 {
374   local directory="$1"; shift
375   pushd "$directory" &>/dev/null
376   test_or_die "changing to directory: $directory"
377
378   if [ ! -d ".git" ]; then
379     # we ignore if they're jumping into a non-useful folder, but also tell them.
380     echo "Directory is not a git repository: $directory"
381     return 0
382   fi
383
384   local this_branch="$(my_branch_name)"
385
386   show_branch_conditionally "$this_branch"
387
388   # first update all our remote branches to their current state from the repos.
389   git remote update | $TO_SPLITTER
390   promote_pipe_return 0
391   test_or_die "git remote update"
392
393   show_branch_conditionally "$this_branch"
394
395   # this code is now doing what i have to do when i repair the repo.  and it seems to be good so far.
396   # note that we allow the local branch to be merged with its remote counterpart; otherwise we would
397   # miss changes that happened elsewhere which should be seen in our local copy.
398   local branch_list=$(all_branch_names)
399   local bran
400   for bran in $branch_list; do
401 #    echo "synchronizing remote branch: $bran"
402     git checkout "$bran" | $TO_SPLITTER
403     promote_pipe_return 0
404     test_or_die "git switching checkout to remote branch: $bran"
405
406     show_branch_conditionally "$this_branch"
407
408     remote_branch_info=$(git ls-remote --heads origin $bran 2>/dev/null)
409     if [ ! -z "$remote_branch_info" ]; then
410       # we are pretty sure the remote branch does exist.
411       git pull $PULL_ADDITION origin "$bran" | $TO_SPLITTER
412 # we may want to choose to do fast forward, to avoid crazy multiple merge histories
413 # without any changes in them.  --no-ff
414       promote_pipe_return 0
415     fi
416     test_or_die "git pull of remote branch: $bran"
417   done
418   # now switch back to our branch.
419   git checkout "$this_branch" | $TO_SPLITTER
420   promote_pipe_return 0
421   test_or_die "git checking out our current branch: $this_branch"
422
423   # now pull down any changes in our own origin in the repo, to stay in synch
424   # with any changes from others.
425   git pull $PULL_ADDITION --all | $TO_SPLITTER
426 #is the above really important when we did this branch already in the loop?
427 #it does an --all, but is that effective or different?  should we be doing that in above loop?
428 # --no-ff   
429   promote_pipe_return 0
430   test_or_die "git pulling all upstream"
431
432   popd &>/dev/null
433 }
434
435 # gets the latest versions of the assets from the upstream repository.
436 function do_update()
437 {
438   directory="$1"; shift
439
440   save_terminal_title
441
442   # make a nice echoer since we want to use it inside conditions below.
443   local nicedir="$directory"
444   if [ $nicedir == "." ]; then
445     nicedir=$(\pwd)
446   fi
447   local blatt="echo retrieving '$nicedir'..."
448
449   pushd "$directory" &>/dev/null
450   if [ -d "CVS" ]; then
451     if test_writeable "CVS"; then
452       $blatt
453       cvs update . | $TO_SPLITTER
454       promote_pipe_return 0
455       test_or_die "cvs update"
456     fi
457   elif [ -d ".svn" ]; then
458     if test_writeable ".svn"; then
459       $blatt
460       svn update . | $TO_SPLITTER
461       promote_pipe_return 0
462       test_or_die "svn update"
463     fi
464   elif [ -d ".git" ]; then
465     if test_writeable ".git"; then
466       $blatt
467       git pull $PULL_ADDITION 2>&1 | grep -v "X11 forwarding request failed" | $TO_SPLITTER
468 #ordinary pulls should be allowed to do fast forward: --no-ff 
469       promote_pipe_return 0
470       test_or_die "git pull of origin"
471     fi
472   else
473     # this is not an error necessarily; we'll just pretend they planned this.
474     echo no repository in $directory
475   fi
476   popd &>/dev/null
477
478   restore_terminal_title
479
480   return 0
481 }
482
483 # gets all the updates for a list of folders under revision control.
484 function checkout_list()
485 {
486   local list="$(uniquify $*)"
487
488   save_terminal_title
489
490   # turn repo list back into an array.
491   eval "repository_list=( ${REPOSITORY_LIST[*]} )"
492
493   local outer inner
494
495   for outer in "${repository_list[@]}"; do
496     # check the repository first, since it might be an absolute path.
497     if [[ $outer =~ /.* ]]; then
498       # yep, this path is absolute.  just handle it directly.
499       if [ ! -d "$outer" ]; then continue; fi
500       do_update $outer
501       test_or_die "running update on: $path"
502       sep 28
503     else
504       for inner in $list; do
505         # add in the directory component to see if we can find the folder.
506         local path="$inner/$outer"
507         if [ ! -d "$path" ]; then continue; fi
508         do_update $path
509         test_or_die "running update on: $path"
510         sep 28
511       done
512     fi
513   done
514
515   restore_terminal_title
516 }
517
518 # provides a list of absolute paths of revision control directories
519 # that are located under the directory passed as the first parameter.
520 function generate_rev_ctrl_filelist()
521 {
522   local dir="$1"; shift
523   pushd "$dir" &>/dev/null
524   local dirhere="$( \cd "$(\dirname "$dir")" && /bin/pwd )"
525   local tempfile=$(mktemp /tmp/zz_checkins.XXXXXX)
526   echo >$tempfile
527   local additional_filter
528   find $dirhere -follow -maxdepth $MAX_DEPTH -type d -iname ".svn" -exec echo {}/.. ';' >>$tempfile 2>/dev/null
529   find $dirhere -follow -maxdepth $MAX_DEPTH -type d -iname ".git" -exec echo {}/.. ';' >>$tempfile 2>/dev/null
530   # CVS is not well behaved like git and (now) svn, and we seldom use it anymore.
531   popd &>/dev/null
532
533   # see if they've warned us not to try checking in within vendor hierarchies.
534   if [ ! -z "NO_CHECKIN_VENDOR" ]; then
535     sed -i -e '/.*\/vendor\/.*/d' "$tempfile"
536   fi
537
538   local sortfile=$(mktemp /tmp/zz_checkin_sort.XXXXXX)
539   sort <"$tempfile" >"$sortfile"
540   echo "$sortfile"
541   \rm "$tempfile"
542 }
543
544 # iterates across a list of directories contained in a file (first parameter).
545 # on each directory name, it performs the action (second parameter) provided.
546 function perform_revctrl_action_on_file()
547 {
548   local tempfile="$1"; shift
549   local action="$1"; shift
550
551   save_terminal_title
552
553   local did_anything=
554
555   while read -u 3 dirname; do
556     if [ -z "$dirname" ]; then
557       # we often have blank lines in the input file for some reason.
558       continue
559     fi
560     did_anything=yes
561     pushd "$dirname" &>/dev/null
562     echo "[$(pwd)]"
563     # pass the current directory plus the remaining parameters from function invocation.
564     $action . 
565     test_or_die "performing action $action on: $(pwd)"
566     sep 28
567     popd &>/dev/null
568   done 3<"$tempfile"
569
570   if [ -z "$did_anything" ]; then
571     echo "There was nothing to do the action '$action' on."
572   fi
573
574   restore_terminal_title
575
576   rm "$tempfile"
577 }
578