Как клонировать подкаталог только в репозитории Git?

Ответ 1

РЕДАКТИРОВАТЬ: Начиная с Git 2.19, это наконец возможно, как можно увидеть в этом ответе: fooobar.com/questions/8747/....

Подумайте об этом ответе.

Примечание: в Git 2.19 реализована только поддержка на стороне клиента, поддержка на стороне сервера по-прежнему отсутствует, поэтому она работает только при клонировании локальных репозиториев. Также обратите внимание, что крупные хосты Git, например GitHub, на самом деле не используют сервер Git, они используют свою собственную реализацию, поэтому даже если поддержка появляется на сервере Git, это не означает, что она автоматически работает на хостах Git. (OTOH, поскольку они не используют Git-сервер, они могли бы реализовать его быстрее в своих собственных реализациях, прежде чем он появится на Git-сервере.)

Нет, это невозможно в Git.

Внедрение чего-то подобного в Git было бы существенным усилием, и это означало бы, что целостность клиентского репозитория больше не может быть гарантирована. Если вам интересно, поищите обсуждения "sparse clone" и "sparse fetch" в списке рассылки git.

В целом, в сообществе Git единодушно то, что если у вас есть несколько каталогов, которые всегда извлекаются независимо, то это действительно два разных проекта, которые должны находиться в двух разных репозиториях. Вы можете склеить их вместе, используя Git Submodules.

Ответ 2

То, что вы пытаетесь сделать, называется разреженной проверкой, и эта функция была добавлена в git 1.7.0 (февраль 2012). Шаги, чтобы сделать разреженный клон, следующие:

mkdir <repo>
cd <repo>
git init
git remote add -f origin <url>

Это создает пустой репозиторий с вашим пультом и извлекает все объекты, но не проверяет их. Затем выполните:

git config core.sparseCheckout true

Теперь вам нужно определить, какие файлы/папки вы хотите проверить. Это делается путем перечисления их в .git/info/sparse-checkout, например:

echo "some/dir/" >> .git/info/sparse-checkout
echo "another/sub/tree" >> .git/info/sparse-checkout

И последнее, но не менее важное: обновите свое пустое репо с состоянием с пульта:

git pull origin master

Теперь у вас будут файлы "проверены" для some/dir и another/sub/tree в вашей файловой системе (с этими путями все еще), и никаких других путей нет.

Возможно, вам стоит взглянуть на расширенный учебник, и вы, вероятно, должны прочитать официальную документацию для разреженной проверки.

Как функция:

function git_sparse_clone() (
  rurl="$1" localdir="$2" && shift 2

  mkdir -p "$localdir"
  cd "$localdir"

  git init
  git remote add -f origin "$rurl"

  git config core.sparseCheckout true

  # Loops over remaining args
  for i; do
    echo "$i" >> .git/info/sparse-checkout
  done

  git pull origin master
)

Использование:

git_sparse_clone "http://github.com/tj/n" "./local/location" "/bin"

Обратите внимание, что это все равно будет загружать весь репозиторий с сервера - только размер заказа уменьшается. На данный момент невозможно клонировать только один каталог. Но если вам не нужна история репозитория, вы можете, по крайней мере, сэкономить на пропускной способности, создав мелкий клон. См udondan ответ ниже для получения информации о том, как совместить неглубокий клон и редкую проверку.

Ответ 3

Вы можете комбинировать редкую проверку и мелкие функции клонирования. Неглубокий клон отсекает историю, а редкая проверка только тянет файлы, соответствующие вашим шаблонам.

git init <repo>
cd <repo>
git remote add origin <url>
git config core.sparsecheckout true
echo "finisht/*" >> .git/info/sparse-checkout
git pull --depth=1 origin master

Для этого вам потребуется минимум git 1.9. Протестировал его сам только с 2.2.0 и 2.2.2.

Таким образом, вы сможете нажимать, что невозможно при использовании git archive.

Ответ 4

git clone --filter из Git 2.19

Эта опция фактически пропускает выборку ненужных объектов с сервера. Также, включая --filter=tree:0 из Git 2.20, мы получаем:

git clone \
  --depth 1 \
  --filter=blob:none \
  --filter=tree:0 \
  --no-checkout \
  "file://$(pwd)/server_repo" \
  local_repo \
;
cd local_repo
git checkout master -- mydir/

Сервер должен быть настроен с:

git config --local uploadpack.allowfilter 1
git config --local uploadpack.allowanysha1inwant 1

Было сделано расширение для удаленного протокола Git для поддержки этой функции в v2.19.0 и фактически пропускает выборку ненужных объектов, но в данный момент поддержка сервера отсутствует. Но это уже можно проверить на месте.

Распределение команд:

• --filter=blob:none пропускает все BLOB-объекты, но по-прежнему извлекает все объекты дерева
• --filter=tree:0 пропускает ненужные деревья: https://www.spinics.net/lists/git/msg342006.html
• --depth 1 уже подразумевает --single-branch, см. также: Как мне клонировать одну ветку в Git?
• file://$(path) требуется для преодоления махинаций с протоколом git clone: Как поверхностно клонировать локальный репозиторий git с относительным путем?

Формат --filter задокументирован в man git-rev-list.

Документы по дереву Git:

• https://github.com/git/git/blob/v2.19.0/Documentation/technical/partial-clone.txt
• https://github.com/git/git/blob/v2.19.0/Documentation/rev-list-options.txt#L720
• https://github.com/git/git/blob/v2.19.0/t/t5616-partial-clone.sh

Проверьте это

#!/usr/bin/env bash
set -eu

list-objects() (
  git rev-list --all --objects
  echo "master commit SHA: $(git log -1 --format="%H")"
  echo "mybranch commit SHA: $(git log -1 --format="%H")"
  git ls-tree master
  git ls-tree mybranch | grep mybranch
  git ls-tree master~ | grep root
)

# Reproducibility.
export GIT_COMMITTER_NAME='a'
export GIT_COMMITTER_EMAIL='a'
export GIT_AUTHOR_NAME='a'
export GIT_AUTHOR_EMAIL='a'
export GIT_COMMITTER_DATE='2000-01-01T00:00:00+0000'
export GIT_AUTHOR_DATE='2000-01-01T00:00:00+0000'

rm -rf server_repo local_repo
mkdir server_repo
cd server_repo

# Create repo.
git init --quiet
git config --local uploadpack.allowfilter 1
git config --local uploadpack.allowanysha1inwant 1

# First commit.
# Directories present in all branches.
mkdir d1 d2
printf 'd1/a' > ./d1/a
printf 'd1/b' > ./d1/b
printf 'd2/a' > ./d2/a
printf 'd2/b' > ./d2/b
# Present only in root.
mkdir 'root'
printf 'root' > ./root/root
git add .
git commit -m 'root' --quiet

# Second commit only on master.
git rm --quiet -r ./root
mkdir 'master'
printf 'master' > ./master/master
git add .
git commit -m 'master commit' --quiet

# Second commit only on mybranch.
git checkout -b mybranch --quiet master~
git rm --quiet -r ./root
mkdir 'mybranch'
printf 'mybranch' > ./mybranch/mybranch
git add .
git commit -m 'mybranch commit' --quiet

echo "# List and identify all objects"
list-objects
echo

# Restore master.
git checkout --quiet master
cd ..

# Clone. Don't checkout for now, only .git/ dir.
git clone --depth 1 --quiet --no-checkout --filter=blob:none "file://$(pwd)/server_repo" local_repo
cd local_repo

# List missing objects from master.
echo "# Missing objects after --no-checkout"
git rev-list --all --quiet --objects --missing=print
echo

echo "# Git checkout fails without internet"
mv ../server_repo ../server_repo.off
! git checkout master
echo

echo "# Git checkout fetches the missing directory from internet"
mv ../server_repo.off ../server_repo
git checkout master -- d1/
echo

echo "# Missing objects after checking out d1"
git rev-list --all --quiet --objects --missing=print

GitHub upstream.

Вывод в Git v2.19.0:

# List and identify all objects
c6fcdfaf2b1462f809aecdad83a186eeec00f9c1
fc5e97944480982cfc180a6d6634699921ee63ec
7251a83be9a03161acde7b71a8fda9be19f47128
62d67bce3c672fe2b9065f372726a11e57bade7e
b64bf435a3e54c5208a1b70b7bcb0fc627463a75 d1
308150e8fddde043f3dbbb8573abb6af1df96e63 d1/a
f70a17f51b7b30fec48a32e4f19ac15e261fd1a4 d1/b
84de03c312dc741d0f2a66df7b2f168d823e122a d2
0975df9b39e23c15f63db194df7f45c76528bccb d2/a
41484c13520fcbb6e7243a26fdb1fc9405c08520 d2/b
7d5230379e4652f1b1da7ed1e78e0b8253e03ba3 master
8b25206ff90e9432f6f1a8600f87a7bd695a24af master/master
ef29f15c9a7c5417944cc09711b6a9ee51b01d89
19f7a4ca4a038aff89d803f017f76d2b66063043 mybranch
1b671b190e293aa091239b8b5e8c149411d00523 mybranch/mybranch
c3760bb1a0ece87cdbaf9a563c77a45e30a4e30e
a0234da53ec608b54813b4271fbf00ba5318b99f root
93ca1422a8da0a9effc465eccbcb17e23015542d root/root
master commit SHA: fc5e97944480982cfc180a6d6634699921ee63ec
mybranch commit SHA: fc5e97944480982cfc180a6d6634699921ee63ec
040000 tree b64bf435a3e54c5208a1b70b7bcb0fc627463a75    d1
040000 tree 84de03c312dc741d0f2a66df7b2f168d823e122a    d2
040000 tree 7d5230379e4652f1b1da7ed1e78e0b8253e03ba3    master
040000 tree 19f7a4ca4a038aff89d803f017f76d2b66063043    mybranch
040000 tree a0234da53ec608b54813b4271fbf00ba5318b99f    root

# Missing objects after --no-checkout
?f70a17f51b7b30fec48a32e4f19ac15e261fd1a4
?8b25206ff90e9432f6f1a8600f87a7bd695a24af
?41484c13520fcbb6e7243a26fdb1fc9405c08520
?0975df9b39e23c15f63db194df7f45c76528bccb
?308150e8fddde043f3dbbb8573abb6af1df96e63

# Git checkout fails without internet
fatal: '/home/ciro/bak/git/test-git-web-interface/other-test-repos/partial-clone.tmp/server_repo' does not appear to be a git repository
fatal: Could not read from remote repository.

Please make sure you have the correct access rights
and the repository exists.

# Git checkout fetches the missing directory from internet
remote: Enumerating objects: 1, done.
remote: Counting objects: 100% (1/1), done.
remote: Total 1 (delta 0), reused 0 (delta 0)
Receiving objects: 100% (1/1), 45 bytes | 45.00 KiB/s, done.
remote: Enumerating objects: 1, done.
remote: Counting objects: 100% (1/1), done.
remote: Total 1 (delta 0), reused 0 (delta 0)
Receiving objects: 100% (1/1), 45 bytes | 45.00 KiB/s, done.

# Missing objects after checking out d1
?8b25206ff90e9432f6f1a8600f87a7bd695a24af
?41484c13520fcbb6e7243a26fdb1fc9405c08520
?0975df9b39e23c15f63db194df7f45c76528bccb

Выводы: все капли снаружи d1/ отсутствуют. Например. 0975df9b39e23c15f63db194df7f45c76528bccb, то есть d2/b, нет после проверки d1/a.

Обратите внимание, что root/root и mybranch/mybranch также отсутствуют, но --depth 1 скрывает это в списке отсутствующих файлов. Если вы удалите --depth 1, они появятся в списке отсутствующих файлов.

У меня есть мечта

Эта функция может революционизировать Git.

Представьте себе, что вся кодовая база вашего предприятия в одном репо без уродливых сторонних инструментов, таких как repo.

Представьте, что храните огромные капли прямо в репозитории без каких-либо уродливых сторонних расширений.

Представьте, что GitHub разрешит метаданным для файла/каталога, например, звездочек и разрешений, чтобы вы могли хранить все свои личные вещи в одном репо.

Представьте, что подмодули обрабатываются точно так же, как обычные каталоги: просто запросите дерево SHA, а DNS-подобный механизм разрешит ваш запрос, сначала посмотрев на ваш локальный ~/.git, затем сначала ближе к серверам (ваше корпоративное зеркало/кеш) и попадаем на GitHub.

Ответ 5

Для других пользователей, которые просто хотят загрузить файл/папку из github, просто используйте:

svn export <repo>/trunk/<folder>

например

svn export https://github.com/lodash/lodash.com/trunk/docs

(да, это svn здесь. Очевидно, в 2016 году вам все еще нужно svn, чтобы просто загрузить некоторые файлы github)

Предоставлено: загрузите одну папку или каталог из репозитория GitHub

Важно. Убедитесь, что вы обновили URL-адрес github и заменили /tree/master/ на "/trunk/".

Как скрипт bash:

git-download(){
    folder=${@/tree\/master/trunk}
    folder=${folder/blob\/master/trunk}
    svn export $folder
}

Примечание. Этот метод загружает папку, не клонирует/не проверяет ее. Вы не можете вносить изменения в репозиторий. С другой стороны - это приводит к меньшей загрузке по сравнению с редкой проверкой или мелкой проверкой.

Ответ 6

Если вы никогда не планируете взаимодействовать с репозиторием, с которого вы клонировали, вы можете сделать полный git клон и переписать репозиторий с помощью git filter-branch --subdirectory -filter. Таким образом, по крайней мере история сохранится.

Ответ 7

Git 1.7.0 имеет "редкие проверки". Видеть "core.sparseCheckout" в Git config manpage, "Редкая проверка" в Git странице руководства по чтению дерева и "Бит Skip-worktree" в Git man-странице обновления-индекса.

Интерфейс не так удобен, как SVN (например, нет способа сделать разреженную проверку во время начального клона), но теперь доступны базовые функции, на которых могут быть созданы более простые интерфейсы.

Ответ 8

Это выглядит намного проще:

git archive --remote=<repo_url> <branch> <path> | tar xvf -

Ответ 9

Невозможно клонировать подкаталог только с помощью Git, но ниже приведены несколько способов обхода.

Фильтрация фильтра

Возможно, вы захотите переписать репозиторий так, как будто trunk/public_html/ был его корнем проекта и отбросил всю историю (используя filter-branch), попробуйте на ветке проверки:

git filter-branch --subdirectory-filter trunk/public_html -- --all

^{Примечания. --, который отделяет параметры ветвления фильтра от параметров ревизии и --all, чтобы переписать все ветки и теги. Вся информация, включая исходное время фиксации или информацию о слиянии, будет сохранена. Эта команда отличает файл .git/info/grafts и refs в пространстве имен refs/replace/, поэтому, если у вас есть какие-либо трансплантаты или замена refs, выполнение этой команды сделает их постоянными.}

Внимание! Переписанная история будет иметь разные имена объектов для всех объектов и не будет сходиться с исходной ветвью. Вы не сможете легко нажимать и распространять переписанную ветку поверх исходной ветки. Пожалуйста, не используйте эту команду, если вы не знаете о всех последствиях, и избегайте ее использования в любом случае, если достаточно простой фиксации, чтобы исправить вашу проблему.

Редкая проверка

Ниже приведены простые шаги с подходом редкий checkout, который будет редко заполнять рабочий каталог, поэтому вы можете указать Git, какие папки или файлы в рабочем каталоге стоит проверить.

• Репозиторий клонов как обычно (--no-checkout не является обязательным):

  git clone --no-checkout [email protected]/bar.git
  cd bar
  

  ^{Вы можете пропустить этот шаг, если у вас уже клонирован ваш репозиторий.}

  Совет. Для больших репозиториев рассмотрите неглубокий клон (--depth 1) для проверки только последней версии или/и --single-branch.

• Включить опцию sparseCheckout:

  git config core.sparseCheckout true
  

• Укажите папку для разреженной проверки ( без в конце):

  echo "trunk/public_html/*"> .git/info/sparse-checkout
  

  или отредактировать .git/info/sparse-checkout.

• Проверьте ветку (например, master):

  git checkout master
  

Теперь вам нужно выбрать папки в вашем текущем каталоге.

Вы можете рассматривать символические ссылки, если у вас слишком много уровней каталогов или ветки фильтрации.

Ответ 10

Я только что написал скрипт для GitHub.

Использование:

python get_git_sub_dir.py path/to/sub/dir <RECURSIVE>

Ответ 11

Это клонирует конкретную папку и удаляет всю историю, не связанную с ней.

git clone --single-branch -b {branch} [email protected]:{user}/{repo}.git
git filter-branch --subdirectory-filter {path/to/folder} HEAD
git remote remove origin
git remote add origin [email protected]:{user}/{new-repo}.git
git push -u origin master

Ответ 12

Здесь сценарий оболочки, который я написал для случая использования одного подкаталога с разреженной проверкой

coSubDir.sh

localRepo=$1
remoteRepo=$2
subDir=$3


# Create local repository for subdirectory checkout, make it hidden to avoid having to drill down to the subfolder
mkdir ./.$localRepo
cd ./.$localRepo
git init
git remote add -f origin $remoteRepo
git config core.sparseCheckout true

# Add the subdirectory of interest to the sparse checkout.
echo $subDir >> .git/info/sparse-checkout

git pull origin master

# Create convenience symlink to the subdirectory of interest
cd ..
ln -s ./.$localRepo$subDir $localRepo

Ответ 13

Я написал .gitconfig [alias] для выполнения "разреженной проверки". Проверьте это (не каламбур):

В Windows запускайте в cmd.exe

git config --global alias.sparse-checkout "!f(){ [ $# -eq 2 ] && L=${1##*/} L=${L%.git} || L=$2; mkdir -p \"$L/.git/info\" && cd \"$L\" && git init --template= && git remote add origin \"$1\" && git config core.sparseCheckout 1; [ $# -eq 2 ] && echo \"$2\" >> .git/info/sparse-checkout || { shift 2; for i; do echo $i >> .git/info/sparse-checkout; done }; git pull --depth 1 origin master;};f"

Иначе:

git config --global alias.sparse-checkout '!f(){ [ $# -eq 2 ] && L=${1##*/} L=${L%.git} || L=$2; mkdir -p "$L/.git/info" && cd "$L" && git init --template= && git remote add origin "$1" && git config core.sparseCheckout 1; [ $# -eq 2 ] && echo "$2" >> .git/info/sparse-checkout || { shift 2; for i; do echo $i >> .git/info/sparse-checkout; done }; git pull --depth 1 origin master;};f'

Usage Использование:

# Makes a directory ForStackExchange with Plug checked out
git sparse-checkout https://github.com/YenForYang/ForStackExchange Plug

# To do more than 1 directory, you have to specify the local directory:
git sparse-checkout https://github.com/YenForYang/ForStackExchange ForStackExchange Plug Folder

Команды git config "минимизированы" для удобства и хранения, но здесь расширен псевдоним:

# Note the --template= is for disabling templates.
# Feel free to remove it if you don't have issues with them (like I did)
# 'mkdir' makes the .git/info directory ahead of time, as I've found it missing sometimes for some reason
f(){
    [ "$#" -eq 2 ] && L="${1##*/}" L=${L%.git} || L=$2;
    mkdir -p "$L/.git/info"
        && cd "$L"
        && git init --template=
        && git remote add origin "$1"
        && git config core.sparseCheckout 1;
    [ "$#" -eq 2 ]
        && echo "$2" >> .git/info/sparse-checkout
        || {
            shift 2;
            for i; do
                echo $i >> .git/info/sparse-checkout;
            done
        };
    git pull --depth 1 origin master;
};
f

Ответ 14

Почему не только следующее - после инициализации репо выполните: git checkout

Это работает для файлов и папок, я делаю это все время, когда хочу очистить чек.