another attempt to clean up superfluous merges
[feisty_meow.git] / scripts / rev_control / version_control.sh
1 #!/bin/bash
2
3 # these are helper functions for doing localized revision control.
4 # this script should be sourced into other scripts that use it.
5
6 # Author: Chris Koeritz
7 # Author: Kevin Wentworth
8
9 source "$FEISTY_MEOW_SCRIPTS/core/launch_feisty_meow.sh"
10 source "$FEISTY_MEOW_SCRIPTS/tty/terminal_titler.sh"
11
12 ##############
13
14 # the maximum depth that the recursive functions will try to go below the starting directory.
15 export MAX_DEPTH=5
16
17 # use our splitter tool for lengthy output if it's available.
18 if [ ! -z "$(which splitter 2>/dev/null)" ]; then
19   TO_SPLITTER="$(which splitter)"
20   # calculate the number of columsn in the terminal.
21   cols=$(get_maxcols)
22   TO_SPLITTER+=" --maxcol $(($cols - 1))"
23 else
24   TO_SPLITTER=cat
25 fi
26
27 ##############
28
29 #hmmm: move this to core
30 # this makes the status of pipe N into the main return value.
31 function promote_pipe_return()
32 {
33   ( exit ${PIPESTATUS[$1]} )
34 }
35
36 ##############
37
38 # one unpleasantry to take care of first; cygwin barfs aggressively if the TMP directory
39 # is a DOS path, but we need it to be a DOS path for our GFFS testing, so that blows.
40 # to get past this, TMP gets changed below to a hopefully generic and safe place.
41 if [[ "$TMP" =~ .:.* ]]; then
42   echo "making weirdo temporary directory for PCDOS-style path."
43   export TMP=/tmp/rev_control_$USER
44 fi
45 if [ ! -d "$TMP" ]; then
46   mkdir -p $TMP
47 fi
48 if [ ! -d "$TMP" ]; then
49   echo "could not create the temporary directory TMP in: $TMP"
50   echo "this script will not work properly without an existing TMP directory."
51 fi
52
53 ##############
54
55 # checks the directory provided into the revision control system repository it belongs to.
56 function do_checkin()
57 {
58   local directory="$1"; shift
59
60   save_terminal_title
61
62   # make a nice echoer since we want to use it inside conditions below.
63   local nicedir="$directory"
64   if [ $nicedir == "." ]; then
65     nicedir=$(\pwd)
66   fi
67   local blatt="echo -n checking in '$nicedir'...  "
68
69   do_update "$directory"
70   test_or_die "repository update--this should be fixed before check-in."
71
72   pushd "$directory" &>/dev/null
73   if [ -f ".no-checkin" ]; then
74     echo "skipping check-in due to presence of .no-checkin sentinel file."
75   elif [ -d "CVS" ]; then
76     if test_writeable "CVS"; then
77       $blatt
78       cvs ci .
79       test_or_die "cvs checkin"
80     fi
81   elif [ -d ".svn" ]; then
82     if test_writeable ".svn"; then
83       $blatt
84       svn ci .
85       test_or_die "svn checkin"
86     fi
87   elif [ -d ".git" ]; then
88     if test_writeable ".git"; then
89       $blatt
90
91       # put all changed and new files in the commit.  not to everyone's liking.
92       git add --all . | $TO_SPLITTER
93       promote_pipe_return 0
94       test_or_die "git add all new files"
95
96       # see if there are any changes in the local repository.
97       if ! git diff-index --quiet HEAD --; then
98         # tell git about all the files and get a check-in comment.
99 #hmmm: begins to look like, you guessed it, a reusable bit that all commit actions could enjoy.
100         git commit .
101         retval=$?
102         test_or_continue "git commit"
103         if [ $retval -ne 0 ]; then
104           echo -e -n "Commit failed or was aborted:\nShould we continue with other check-ins? [y/N] "
105           local line
106           read line
107           if [[ "${line:0:1}" != "y" ]]; then
108             echo "Stopping check-in process due to missing commit and user request."
109             exit 1
110           fi
111         fi
112       fi
113
114       # a new set of steps we have to take to make sure the branch integrity is good.
115       do_careful_git_update "$(\pwd)"
116
117       # we continue on to the push, even if there were no changes this time, because
118       # there could already be committed changes that haven't been pushed yet.
119
120       # upload any changes to the upstream repo so others can see them.
121       git push --tags origin "$(my_branch_name)" 2>&1 | grep -v "X11 forwarding request failed" | $TO_SPLITTER
122       promote_pipe_return 0
123       test_or_die "git push"
124
125     fi
126   else
127     # nothing there.  it's not an error though.
128     echo no repository in $directory
129   fi
130   popd &>/dev/null
131
132   restore_terminal_title
133
134   return 0
135 }
136
137 # shows the local changes in a repository.
138 function do_diff
139 {
140   local directory="$1"; shift
141
142   save_terminal_title
143
144   pushd "$directory" &>/dev/null
145
146   # only update if we see a repository living there.
147   if [ -d ".svn" ]; then
148     svn diff .
149     test_or_die "subversion diff"
150   elif [ -d ".git" ]; then
151     git diff 
152     test_or_die "git diff"
153   elif [ -d "CVS" ]; then
154     cvs diff .
155     test_or_die "cvs diff"
156   fi
157
158   popd &>/dev/null
159
160   restore_terminal_title
161
162   return 0
163 }
164
165 # reports any files that are not already known to the upstream repository.
166 function do_report_new
167 {
168   local directory="$1"; shift
169
170   save_terminal_title
171
172   pushd "$directory" &>/dev/null
173
174   # only update if we see a repository living there.
175   if [ -f ".no-checkin" ]; then
176     echo "skipping reporting due to presence of .no-checkin sentinel file."
177   elif [ -d ".svn" ]; then
178     # this action so far only makes sense and is needed for svn.
179     bash $FEISTY_MEOW_SCRIPTS/rev_control/svnapply.sh \? echo
180     test_or_die "svn diff"
181   elif [ -d ".git" ]; then
182     git status -u
183     test_or_die "git status -u"
184   fi
185
186   popd &>/dev/null
187
188   restore_terminal_title
189
190   return 0
191 }
192
193 # checks in all the folders in the specified list.
194 function checkin_list()
195 {
196   # make the list of directories unique.
197   local list="$(uniquify $*)"
198
199   save_terminal_title
200
201   # turn repo list back into an array.
202   eval "repository_list=( ${REPOSITORY_LIST[*]} )"
203
204   local outer inner
205
206   for outer in "${repository_list[@]}"; do
207     # check the repository first, since it might be an absolute path.
208     if [[ $outer =~ /.* ]]; then
209       # yep, this path is absolute.  just handle it directly.
210       if [ ! -d "$outer" ]; then continue; fi
211       do_checkin "$outer"
212       test_or_die "running check-in (absolute) on path: $outer"
213       sep 28
214     else
215       for inner in $list; do
216         # add in the directory component to see if we can find the folder.
217         local path="$inner/$outer"
218         if [ ! -d "$path" ]; then continue; fi
219         do_checkin "$path"
220         test_or_die "running check-in (relative) on path: $path"
221         sep 28
222       done
223     fi
224   done
225
226   restore_terminal_title
227 }
228
229 # does a careful git update on all the folders in the specified list.
230 function puff_out_list()
231 {
232   # make the list of directories unique.
233   local list="$(uniquify $*)"
234
235   save_terminal_title
236
237   # turn repo list back into an array.
238   eval "repository_list=( ${REPOSITORY_LIST[*]} )"
239
240   local outer inner
241
242 #hmmm: once again, seeing some reusable code in this loop...
243   for outer in "${repository_list[@]}"; do
244     # check the repository first, since it might be an absolute path.
245     if [[ $outer =~ /.* ]]; then
246       # yep, this path is absolute.  just handle it directly.
247       if [ ! -d "$outer" ]; then continue; fi
248       do_careful_git_update "$outer"
249       test_or_die "running puff-out (absolute) on path: $outer"
250       sep 28
251     else
252       for inner in $list; do
253         # add in the directory component to see if we can find the folder.
254         local path="$inner/$outer"
255         if [ ! -d "$path" ]; then continue; fi
256         do_careful_git_update "$path"
257         test_or_die "running puff-out (relative) on path: $path"
258         sep 28
259       done
260     fi
261   done
262
263   restore_terminal_title
264 }
265
266 #hmmm: to go below.
267 ### takes out the first few carriage returns that are in the input.
268 ##function squash_first_few_crs()
269 ##{
270   ##i=0
271   ##while read input_text; do
272     ##i=$((i+1))
273     ##if [ $i -le 5 ]; then
274       ##echo -n "$input_text  "
275     ##else
276       ##echo $input_text
277     ##fi
278   ##done
279   ##if [ $i -le 3 ]; then
280     ### if we're still squashing eols, make sure we don't leave them hanging.
281     ##echo
282   ##fi
283 ##}
284
285 #hmmm: the below are git specific and should be named that way.
286
287 function all_branch_names()
288 {
289   echo "$(git branch -vv | cut -d ' ' -f2)"
290 }
291
292 # a helpful method that reports the git branch for the current directory's
293 # git repository.
294 function my_branch_name()
295 {
296   echo "$(git branch -vv | grep '\*' | cut -d ' ' -f2)"
297 }
298
299 #this had a -> in it at one point for not matching, didn't it?
300 # this reports the upstream branch for the current repo.
301 ##function parent_branch_name()
302 ##{
303   ##echo "$(git branch -vv | grep \* | cut -d ' ' -f2)"
304 ##}
305
306 # reports the status of the branch by echoing one of these values:
307 #   okay: up to date and everything is good.
308 #   needs_pull: this branch needs to be pulled from origins.
309 #   needs_push: there are unsaved changes on this branch to push to remote store.
310 #   diverged: the branches diverged and are going to need a merge.
311 # reference: https://stackoverflow.com/questions/3258243/check-if-pull-needed-in-git
312 function check_branch_state()
313 {
314   local branch="$1"; shift
315
316   if [ -z "$branch" ]; then
317     echo "No branch was passed to check branch state."
318     return 1
319   fi
320
321   local to_return=120  # unknown issue.
322
323   local local_branch=$(git rev-parse @)
324   local remote_branch=$(git rev-parse "$branch")
325   local merge_base=$(git merge-base @ "$branch")
326
327   local to_echo=
328   if [ "$local_branch" == "$remote_branch" ]; then
329     to_echo="okay"
330   elif [ "$local_branch" == "$merge_base" ]; then
331     to_echo="needs_pull"
332   elif [ "$remote_branch" == "$merge_base" ]; then
333     to_echo="needs_push"
334   else
335     to_echo="diverged"
336   fi
337
338   echo -n "$to_echo"
339
340   return $to_return
341 }
342
343 # only shows the branch state if it's not okay.
344 # note that this is not the same as a conditional branch (ha ha).
345 function show_branch_conditionally()
346 {
347   local this_branch="$1"; shift
348
349   local state=$(check_branch_state "$this_branch")
350   if [ "$state" != "okay" ]; then
351     echo "=> branch '$this_branch' state is not clean: $state"
352   fi
353 }
354
355 # the git update process just gets more and more complex when you bring in
356 # branches, so we've moved this here to avoid having a ton of code in the
357 # other methods.
358 function do_careful_git_update()
359 {
360   local directory="$1"; shift
361   pushd "$directory" &>/dev/null
362   test_or_die "changing to directory: $directory"
363
364   if [ ! -d ".git" ]; then
365     # we ignore if they're jumping into a non-useful folder, but also tell them.
366     echo "Directory is not a git repository: $directory"
367     return 0
368   fi
369
370   local this_branch="$(my_branch_name)"
371
372   show_branch_conditionally "$this_branch"
373
374   # first update all our remote branches to their current state from the repos.
375   git remote update | $TO_SPLITTER
376   promote_pipe_return 0
377   test_or_die "git remote update"
378
379   show_branch_conditionally "$this_branch"
380
381   # this code is now doing what i have to do when i repair the repo.  and it seems to be good so far.
382   # note that we allow the local branch to be merged with its remote counterpart; otherwise we would
383   # miss changes that happened elsewhere which should be seen in our local copy.
384   local branch_list=$(all_branch_names)
385   local bran
386   for bran in $branch_list; do
387 #    echo "synchronizing remote branch: $bran"
388     git checkout "$bran" | $TO_SPLITTER
389     promote_pipe_return 0
390     test_or_die "git switching checkout to remote branch: $bran"
391
392     show_branch_conditionally "$this_branch"
393
394     remote_branch_info=$(git ls-remote --heads origin $bran 2>/dev/null)
395     if [ ! -z "$remote_branch_info" ]; then
396       # we are pretty sure the remote branch does exist.
397       git pull --rebase --autostash origin "$bran" | $TO_SPLITTER
398 # we may want to choose to do fast forward, to avoid crazy multiple merge histories
399 # without any changes in them.  --no-ff
400       promote_pipe_return 0
401     fi
402     test_or_die "git pull of remote branch: $bran"
403   done
404   # now switch back to our branch.
405   git checkout "$this_branch" | $TO_SPLITTER
406   promote_pipe_return 0
407   test_or_die "git checking out our current branch: $this_branch"
408
409   # now pull down any changes in our own origin in the repo, to stay in synch
410   # with any changes from others.
411   git pull --rebase --autostash --all | $TO_SPLITTER
412 #is the above really important when we did this branch already in the loop?
413 #it does an --all, but is that effective or different?  should we be doing that in above loop?
414 # --no-ff   
415   promote_pipe_return 0
416   test_or_die "git pulling all upstream"
417
418   popd &>/dev/null
419 }
420
421 # gets the latest versions of the assets from the upstream repository.
422 function do_update()
423 {
424   directory="$1"; shift
425
426   save_terminal_title
427
428   # make a nice echoer since we want to use it inside conditions below.
429   local nicedir="$directory"
430   if [ $nicedir == "." ]; then
431     nicedir=$(\pwd)
432   fi
433   local blatt="echo retrieving '$nicedir'..."
434
435   pushd "$directory" &>/dev/null
436   if [ -d "CVS" ]; then
437     if test_writeable "CVS"; then
438       $blatt
439       cvs update . | $TO_SPLITTER
440       promote_pipe_return 0
441       test_or_die "cvs update"
442     fi
443   elif [ -d ".svn" ]; then
444     if test_writeable ".svn"; then
445       $blatt
446       svn update . | $TO_SPLITTER
447       promote_pipe_return 0
448       test_or_die "svn update"
449     fi
450   elif [ -d ".git" ]; then
451     if test_writeable ".git"; then
452       $blatt
453       git pull --rebase --autostash 2>&1 | grep -v "X11 forwarding request failed" | $TO_SPLITTER
454 #ordinary pulls should be allowed to do fast forward: --no-ff 
455       promote_pipe_return 0
456       test_or_die "git pull of origin"
457     fi
458   else
459     # this is not an error necessarily; we'll just pretend they planned this.
460     echo no repository in $directory
461   fi
462   popd &>/dev/null
463
464   restore_terminal_title
465
466   return 0
467 }
468
469 # gets all the updates for a list of folders under revision control.
470 function checkout_list()
471 {
472   local list="$(uniquify $*)"
473
474   save_terminal_title
475
476   # turn repo list back into an array.
477   eval "repository_list=( ${REPOSITORY_LIST[*]} )"
478
479   local outer inner
480
481   for outer in "${repository_list[@]}"; do
482     # check the repository first, since it might be an absolute path.
483     if [[ $outer =~ /.* ]]; then
484       # yep, this path is absolute.  just handle it directly.
485       if [ ! -d "$outer" ]; then continue; fi
486       do_update $outer
487       test_or_die "running update on: $path"
488       sep 28
489     else
490       for inner in $list; do
491         # add in the directory component to see if we can find the folder.
492         local path="$inner/$outer"
493         if [ ! -d "$path" ]; then continue; fi
494         do_update $path
495         test_or_die "running update on: $path"
496         sep 28
497       done
498     fi
499   done
500
501   restore_terminal_title
502 }
503
504 # provides a list of absolute paths of revision control directories
505 # that are located under the directory passed as the first parameter.
506 function generate_rev_ctrl_filelist()
507 {
508   local dir="$1"; shift
509   pushd "$dir" &>/dev/null
510   local dirhere="$( \cd "$(\dirname "$dir")" && /bin/pwd )"
511   local tempfile=$(mktemp /tmp/zz_checkins.XXXXXX)
512   echo >$tempfile
513   local additional_filter
514   find $dirhere -follow -maxdepth $MAX_DEPTH -type d -iname ".svn" -exec echo {}/.. ';' >>$tempfile 2>/dev/null
515   find $dirhere -follow -maxdepth $MAX_DEPTH -type d -iname ".git" -exec echo {}/.. ';' >>$tempfile 2>/dev/null
516   # CVS is not well behaved like git and (now) svn, and we seldom use it anymore.
517   popd &>/dev/null
518
519   # see if they've warned us not to try checking in within vendor hierarchies.
520   if [ ! -z "NO_CHECKIN_VENDOR" ]; then
521     sed -i -e '/.*\/vendor\/.*/d' "$tempfile"
522   fi
523
524   local sortfile=$(mktemp /tmp/zz_checkin_sort.XXXXXX)
525   sort <"$tempfile" >"$sortfile"
526   echo "$sortfile"
527   \rm "$tempfile"
528 }
529
530 # iterates across a list of directories contained in a file (first parameter).
531 # on each directory name, it performs the action (second parameter) provided.
532 function perform_revctrl_action_on_file()
533 {
534   local tempfile="$1"; shift
535   local action="$1"; shift
536
537   save_terminal_title
538
539   local did_anything=
540
541   while read -u 3 dirname; do
542     if [ -z "$dirname" ]; then
543       # we often have blank lines in the input file for some reason.
544       continue
545     fi
546     did_anything=yes
547     pushd "$dirname" &>/dev/null
548     echo "[$(pwd)]"
549     # pass the current directory plus the remaining parameters from function invocation.
550     $action . 
551     test_or_die "performing action $action on: $(pwd)"
552     sep 28
553     popd &>/dev/null
554   done 3<"$tempfile"
555
556   if [ -z "$did_anything" ]; then
557     echo "There was nothing to do the action '$action' on."
558   fi
559
560   restore_terminal_title
561
562   rm "$tempfile"
563 }
564