Synology NAS: Run Fsck To Check and Repair a Linux File System

DS509+I own a Linux powered Synology dedicated Network Attached Storage (NAS) server for my home office use. How do I run fsck on Synology DiskStation that offers RAID storage using Linux command line options over an ssh session?

This server is powered by Linux operating system and comes with the e2fsck program that can be used to check the ext3/ext4 family of file systems.

Difficulty: Intermediate
Root privileges: Yes
Requirements: Synology server

First, you need to login using ssh interface. The syntax is as follows:

ssh root@nas01
ssh root@nas-server-ip-here

Once logged in you need to stop running services such as smb/nfs/pgsql and so. To see current volumes or mount point type the following command:

df

Sample outputs:

Filesystem           1K-blocks      Used Available Use% Mounted on
rootfs                 2451064    437412   1911252  19% /
/dev/root              2451064    437412   1911252  19% /
/tmp                    255700       272    255428   1% /tmp
/dev/vg1/volume_1    2879621632 176443652 2703075580   7% /volume1
/dev/vg1/volume_1    2879621632 176443652 2703075580   7% /opt

To see current services accessing the /volume1/ and /opt/, run:

lsof /opt/
lsof /volume1/

Sample outputs:

COMMAND   PID  USER   FD   TYPE DEVICE SIZE/OFF    NODE NAME
postgres 5052 admin  cwd    DIR  253,0     4096      18 /volume1/@database/pgsql
postgres 5057 admin  cwd    DIR  253,0     4096      18 /volume1/@database/pgsql
postgres 5057 admin   17u   REG  253,0 16777216 3539006 /volume1/@database/pgsql/pg_xlog/000000010000000000000006
postgres 5058 admin  cwd    DIR  253,0     4096      18 /volume1/@database/pgsql
lsof     8284  root  txt    REG  253,0   125544 4068473 /opt/sbin/lsof
lsof     8285  root  txt    REG  253,0   125544 4068473 /opt/sbin/lsof

You need to stop pgsql service, enter:

/usr/syno/etc/rc.d/S20pgsql.sh stop

Sample outputs:

Stopping PostgreSQL...

In short, you need to stop services that are running and accessing data shares such as SMB,NFS,pgsql,mysql and so on. You can use web interface to stop these services too. cd to /usr/syno/etc/rc.d/ and stop all file sharing services. Finally, unmount volumes as follows:

umount /volume1/
umount /opt

Verify that /opt and /volume1/ are unmounted:

df

Sample outputs:

Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/md0               2451064    437408   1911256  19% /
/tmp                    255700       264    255436   0% /tmp

Run fsck on ext4 file system:

fsck.ext4 -v /dev/vg1/volume_1

OR

e2fsck -p -y -f -v /dev/vg1/volume_1

Sample outputs:

e2fsck 1.41.12 (17-May-2010)
1.41.12-2198: is cleanly umounted, 474816/182845440 files, 55587266/731381760 blocks
 (check after next mount)

Reboot the server:

reboot

HTML codes — characters and symbols

w3c

Standard ASCII set, HTML Entity names, ISO 10646, ISO 8879, ISO 8859-1 Latin alphabet No. 1
Browser support: All browsers
ASCII HTML HTML
Dec Hex Symbol Number Name Description

32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
20
21
22
23
24
25
26
27
28
29
2A
2B
2C
2D
2E
2F
!
»
#
$
%
&

(
)
*
+
,

.
/
 
!
"
#
$
%
&
'
(
)
*
+
,
-
.
/
"& space
exclamation point
double quotes
number sign
dollar sign
percent sign
ampersand
single quote
opening parenthesis
closing parenthesis
asterisk
plus sign
comma
minus sign — hyphen
period
slash
ASCII HTML HTML
Dec Hex Symbol Number Name Description

48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
30
31
32
33
34
35
36
37
38
39
3A
3B
3C
3D
3E
3F
0
1
2
3
4
5
6
7
8
9
:
;
<
=
>
?
&#48;
&#49;
&#50;
&#51;
&#52;
&#53;
&#54;
&#55;
&#56;
&#57;
&#58;
&#59;
&#60;
&#61;
&#62;
&#63;
&lt;&gt; zero
one
two
three
four
five
six
seven
eight
nine
colon
semicolon
less than sign
equal sign
greater than sign
question mark
ASCII HTML HTML
Dec Hex Symbol Number Name Description

64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
40
41
42
43
44
45
46
47
48
49
4A
4B
4C
4D
4E
4F
@
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
&#64;
&#65;
&#66;
&#67;
&#68;
&#69;
&#70;
&#71;
&#72;
&#73;
&#74;
&#75;
&#76;
&#77;
&#78;
&#79;
at symbol
ASCII HTML HTML
Dec Hex Symbol Number Name Description

80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
50
51
52
53
54
55
56
57
58
59
5A
5B
5C
5D
5E
5F
P
Q
R
S
T
U
V
W
X
Y
Z
[
\
]
^
_
&#80;
&#81;
&#82;
&#83;
&#84;
&#85;
&#86;
&#87;
&#88;
&#89;
&#90;
&#91;
&#92;
&#93;
&#94;
&#95;
opening bracket
backslash
closing bracket
caret — circumflex
underscore
ASCII HTML HTML
Dec Hex Symbol Number Name Description

96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
60
61
62
63
64
65
66
67
68
69
6A
6B
6C
6D
6E
6F
`
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
&#96;
&#97;
&#98;
&#99;
&#100;
&#101;
&#102;
&#103;
&#104;
&#105;
&#106;
&#107;
&#108;
&#109;
&#110;
&#111;
grave accent
ASCII HTML HTML
Dec Hex Symbol Number Name Description

112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
70
71
72
73
74
75
76
77
78
79
7A
7B
7C
7D
7E
7F
p
q
r
s
t
u
v
w
x
y
z
{
|
}
~
&#112;
&#113;
&#114;
&#115;
&#116;
&#117;
&#118;
&#119;
&#120;
&#121;
&#122;
&#123;
&#124;
&#125;
&#126;
opening brace
vertical bar
closing brace
equivalency sign — tilde
(not defined in HTML 4 standard)
ASCII HTML HTML
Dec Hex Symbol Number Name Description

128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
80
81
82
83
84
85
86
87
88
89
8A
8B
8C
8D
8E
8F
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
ASCII HTML HTML
Dec Hex Symbol Number Name Description

144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
90
91
92
93
94
95
96
97
98
99
9A
9B
9C
9D
9E
9F
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
(not defined in HTML 4 standard)
ASCII HTML HTML
Dec Hex Symbol Number Name Description

160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
A0
A1
A2
A3
A4
A5
A6
A7
A8
A9
AA
AB
AC
AD
AE
AF
¡
¢
£
¤
¥
¦
§
¨
©
ª
«
¨
¯
&#160;
&#161;
&#162;
&#163;
&#164;
&#165;
&#166;
&#167;
&#168;
&#169;
&#170;
&#171;
&#172;
&#173;
&#174;
&#175;
&nbsp;
&iexcl;
&cent;
&pound;
&curren;
&yen;
&brvbar;
&sect;
&uml;
&copy;
&ordf;
&laquo;
&not;
&shy;
&reg;
&macr;
non-breaking space
inverted exclamation mark
cent sign
pound sign
currency sign
yen sign
broken vertical bar
section sign
spacing diaeresis — umlaut
copyright sign
feminine ordinal indicator
left double angle quotes
not sign
soft hyphen
registered trade mark sign
spacing macron — overline
ASCII HTML HTML
Dec Hex Symbol Number Name Description

176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
B0
B1
B2
B3
B4
B5
B6
B7
B8
B9
BA
BB
BC
BD
BE
BF
°
±
²
³
´
µ

·
¸
¹
º
»
¼
½
¾
¿
&#176;
&#177;
&#178;
&#179;
&#180;
&#181;
&#182;
&#183;
&#184;
&#185;
&#186;
&#187;
&#188;
&#189;
&#190;
&#191;
&deg;
&plusmn;
&sup2;
&sup3;
&acute;
&micro;
&para;
&middot;
&cedil;
&sup1;
&ordm;
&raquo;
&frac14;
&frac12;
&frac34;
&iquest;
degree sign
plus-or-minus sign
superscript two — squared
superscript three — cubed
acute accent — spacing acute
micro sign
pilcrow sign — paragraph sign
middle dot — Georgian comma
spacing cedilla
superscript one
masculine ordinal indicator
right double angle quotes
fraction one quarter
fraction one half
fraction three quarters
inverted question mark
ASCII HTML HTML
Dec Hex Symbol Number Name Description

192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
C0
C1
C2
C3
C4
C5
C6
C7
C8
C9
CA
CB
CC
CD
CE
CF
À
Á
Â
Ã
Ä
Å
Æ
Ç
È
É
Ê
Ë
Ì
Í
Î
Ï
&#192;
&#193;
&#194;
&#195;
&#196;
&#197;
&#198;
&#199;
&#200;
&#201;
&#202;
&#203;
&#204;
&#205;
&#206;
&#207;
&Agrave;
&Aacute;
&Acirc;
&Atilde;
&Auml;
&Aring;
&AElig;
&Ccedil;
&Egrave;
&Eacute;
&Ecirc;
&Euml;
&Igrave;
&Iacute;
&Icirc;
&Iuml;
latin capital letter A with grave
latin capital letter A with acute
latin capital letter A with circumflex
latin capital letter A with tilde
latin capital letter A with diaeresis
latin capital letter A with ring above
latin capital letter AE
latin capital letter C with cedilla
latin capital letter E with grave
latin capital letter E with acute
latin capital letter E with circumflex
latin capital letter E with diaeresis
latin capital letter I with grave
latin capital letter I with acute
latin capital letter I with circumflex
latin capital letter I with diaeresis
ASCII HTML HTML
Dec Hex Symbol Number Name Description

208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
D0
D1
D2
D3
D4
D5
D6
D7
D8
D9
DA
DB
DC
DD
DE
DF
Ð
Ñ
Ò
Ó
Ô
Õ
Ö
×
Ø
Ù
Ú
Û
Ü
Ý
Þ
ß
&#208;
&#209;
&#210;
&#211;
&#212;
&#213;
&#214;
&#215;
&#216;
&#217;
&#218;
&#219;
&#220;
&#221;
&#222;
&#223;
&ETH;
&Ntilde;
&Ograve;
&Oacute;
&Ocirc;
&Otilde;
&Ouml;
&times;
&Oslash;
&Ugrave;
&Uacute;
&Ucirc;
&Uuml;
&Yacute;
&THORN;
&szlig;
latin capital letter ETH
latin capital letter N with tilde
latin capital letter O with grave
latin capital letter O with acute
latin capital letter O with circumflex
latin capital letter O with tilde
latin capital letter O with diaeresis
multiplication sign
latin capital letter O with slash
latin capital letter U with grave
latin capital letter U with acute
latin capital letter U with circumflex
latin capital letter U with diaeresis
latin capital letter Y with acute
latin capital letter THORN
latin small letter sharp s — ess-zed
ASCII HTML HTML
Dec Hex Symbol Number Name Description

224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
E0
E1
E2
E3
E4
E5
E6
E7
E8
E9
EA
EB
EC
ED
EE
EF
à
á
â
ã
ä
å
æ
ç
è
é
ê
ë
ì
í
î
ï
&#224;
&#225;
&#226;
&#227;
&#228;
&#229;
&#230;
&#231;
&#232;
&#233;
&#234;
&#235;
&#236;
&#237;
&#238;
&#239;
&agrave;
&aacute;
&acirc;
&atilde;
&auml;
&aring;
&aelig;
&ccedil;
&egrave;
&eacute;
&ecirc;
&euml;
&igrave;
&iacute;
&icirc;
&iuml;
latin small letter a with grave
latin small letter a with acute
latin small letter a with circumflex
latin small letter a with tilde
latin small letter a with diaeresis
latin small letter a with ring above
latin small letter ae
latin small letter c with cedilla
latin small letter e with grave
latin small letter e with acute
latin small letter e with circumflex
latin small letter e with diaeresis
latin small letter i with grave
latin small letter i with acute
latin small letter i with circumflex
latin small letter i with diaeresis
ASCII HTML HTML
Dec Hex Symbol Number Name Description

240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
F0
F1
F2
F3
F4
F5
F6
F7
F8
F9
FA
FB
FC
FD
FE
FF
ð
ñ
ò
ó
ô
õ
ö
÷
ø
ù
ú
û
ü
ý
þ
ÿ
&#240;
&#241;
&#242;
&#243;
&#244;
&#245;
&#246;
&#247;
&#248;
&#249;
&#250;
&#251;
&#252;
&#253;
&#254;
&#255;
&eth;
&ntilde;
&ograve;
&oacute;
&ocirc;
&otilde;
&ouml;
&divide;
&oslash;
&ugrave;
&uacute;
&ucirc;
&uuml;
&yacute;
&thorn;
&yuml;
latin small letter eth
latin small letter n with tilde
latin small letter o with grave
latin small letter o with acute
latin small letter o with circumflex
latin small letter o with tilde
latin small letter o with diaeresis
division sign
latin small letter o with slash
latin small letter u with grave
latin small letter u with acute
latin small letter u with circumflex
latin small letter u with diaeresis
latin small letter y with acute
latin small letter thorn
latin small letter y with diaeresis
HTML 4.01, ISO 10646, ISO 8879, Latin extended A and B,
Browser support: Internet Explorer > 4, Netscape > 4
  HTML HTML
Dec Hex Symbol Number Name Description

338
339
352
353
376
402
152
153
160
161
178
192
Œ
œ
Š
š
Ÿ
ƒ
&#338;
&#339;
&#352;
&#353;
&#376;
&#402;
latin capital letter OE
latin small letter oe
latin capital letter S with caron
latin small letter s with caron
latin capital letter Y with diaeresis
latin small f with hook — function
  HTML HTML
Dec Hex Symbol Number Name Description

8211
8212
8216
8217
8218
8220
8221
8222
8224
8225
8226
8230
8240
8364
8482
2013
2014
2018
2019
201A
201C
201D
201E
2020
2021
2022
2026
2030
20AC
2122














&#8211;
&#8212;
&#8216;
&#8217;
&#8218;
&#8220;
&#8221;
&#8222;
&#8224;
&#8225;
&#8226;
&#8230;
&#8240;
&#8364;
&#8482;
&euro; en dash
em dash
left single quotation mark
right single quotation mark
single low-9 quotation mark
left double quotation mark
right double quotation mark
double low-9 quotation mark
dagger
double dagger
bullet
horizontal ellipsis
per thousand sign
euro sign
trade mark sign

Barracuda Green ST2000DL003

Seagate_Barracuda_GreenDrive specification
Formatted capacity (4096 bytes/sector)*: 2000GB
Guaranteed sectors: 3,907,029,168
Heads: 6
Disks: 3
Bytes per sector: 4096
Default sectors per track: 63
Default read/write heads: 16
Default cylinders: 16,383
Recording density (max): 1632kb/in
Track density (avg): 274 ktracks/in
Areal density (avg): 422Gb/in2
Spindle speed: 5900 RPM
Internal data transfer rate (max): 1928Mb/s
Sustained data transfer rate OD: 144MB/s
I/O data-transfer rate: 600MB/s
ATA data-transfer modes supported: PIO modes: 0 to 4, Multiword DMA modes: 0 to 2, Ultra DMA modes: 0 to 6
Cache buffer: 64MB
Height (max): 26.1mm / 1.028 in
Width (max): 101.85mm / 4.0 in (± 0.010 in)
Length (max): 147.00mm / 5.78 in
Weight (typical): 635g / 1.39 lb
Average latency: 4.16ms
Power-on to ready (max): <17s
Standby to ready (max): <17s
Track-to-track seek time (typical): <1.0ms read; <1.2ms write
Average seek (typical): <12ms read; <13ms write
Startup current (typical): 12V (peak) 2.1A
Voltage tolerance (including noise): 5V ±5% 12V ±10%
Ambient temperature: 0° to 60°C (operating), –40° to 70°C (nonoperating)
Temperature gradient (max): 20°C per hour (operating), 30°C per hour (nonoperating)
Relative humidity: 5% to 90% (operating), 5% to 95% (nonoperating)
Relative humidity gradient (max) 30% per hour 30% per hour
Wet bulb temperature (max): 37.7°C (operating), 40.0°C (nonoperating)
Altitude, operating: –304.8m to 3,048m (–1000 ft. to 10,000+ ft.)
Altitude, nonoperating (below mean sea level, max): –304.8m to 12,192m (–1000 ft. to 40,000+ ft.)
Operational Shock (max): 80 Gs at 2ms
Non-Operational Shock (max): 300 Gs at 2ms
Vibration, operating: 5Hz–22Hz: 0.25 Gs,
Limited displacement
22Hz–350Hz: 0.50 Gs
350Hz–500Hz: 0.25 Gs
Vibration, nonoperating 5Hz–22Hz: 3.0 Gs
22Hz–350Hz: 3.0 Gs
350Hz–500Hz: 3.0 Gs
Drive acoustics, sound power:
Idle**: 2.1 bels (typical), 2.3 bels (max)
Seek: 2.4 bels (typical), 2.5 bels (max)
Nonrecoverable read errors: 1 per 10^14 bits read
Annualized Failure Rate (AFR) 0.34% 0.34%
Load/Unload cycles: 300K at 25°C, 50% rel. humidity
Supports Hotplug operation per the Serial ATA Revision 3.0 specification: Yes

Viewsonic VP2650WB

77322_2254_draft_large«Основные характеристики»
Производитель ViewSonic
Модель VP2650WB |найти похожий монитор
Цвета, использованные в оформлении Черный
Диагональ 25.5″ (64.8 см)

«Матрица»
Тип LCD-матрицы TN
Подсветка LCD-матрицы Традиционная (CCFL)
Яркость матрицы 400 кд/м2 — типичная
Контрастность LCD-матрицы 1000:1 — типичная; 4000:1 — динамическая
Профили коррекции изображения Режим динамической контрастности
Поверхность экрана Матовая
Время отклика 3 мс GtG
Формат матрицы 16:10
Разрешение экрана 1920 x 1200
Угол обзора LCD-матрицы 160° по горизонтали, 160° по вертикали при CR>10

«Интерфейс, разъемы и выходы»
Интерфейс монитора DVI, VGA (15-пиновый коннектор D-sub) |Купить кабель
Поддержка HDCP Есть
USB-концентратор монитора 4 порта USB 2.0
Управление Механические кнопки

«Корпус и подставка»
Регулировка положения экрана Pivot/Высота/Поворот влево-вправо (swivel)
Поворот экрана на 90° Возможен поворот экрана на 90° (из landscape в portrait или наоборот)
Изменение высоты экрана 120 мм
Углы поворота относительно подставки ±60°
Блок питания монитора или телевизора Встроенный
Крепление монитора к стене VESA 100 x 100 мм; подставка снимается, кронштейн для крепления приобретается отдельно |крепеж к стене

«Комплект поставки и опции»
Комплект поставки Кабель питания, кабель VGA, кабель DVI, кабель USB, CD-диск |комплект №1

«Прочие характеристики»
TCO TCO’03
Потребление энергии 120 Вт — максимальное, 110 Вт — типичное
Размеры (ширина x высота x глубина) 595 x 468 x 388 мм
Вес 11.5 кг
Рабочая температура 0 ~ 40°C

«Логистика»
Размеры упаковки 68 x 55.5 x 48.5 см
Вес брутто 16.05 кг

«Внешние источники информации»
Горячая линия производителя 8-800-700-9979

virtualenv

На официальном сайте virtualenv в разделе «Installation» рекомендуется устанавливать virtualenv через менеджер Python-пакетов pip (командой «pip install virtualenv«). Однако далеко не всегда pip установлен в системе по-умолчанию. Я не стал исключением: команду pip система не понимает. Идем на официальный сайт и видим, что pip рекомендуется использовать в пределах виртуального окружения virtualenv. При установке virtualenv, pip устанавливается автоматически. Выходит, официальные сайты обеих программ рекомендуют устанавливать virtualenv через pip, а pip — через virtualenv.

Примечание: есть, конечно, множество других способов установки того и другого (через easy_install, скачивание deb-пакетов или python-установщиков) —  все эти способы также описаны на официальных сайтах или на чьих-то блогах. Но все-таки что-то тянет меня придерживаться рекомендуемых способов от официальных разработчиков.

Если следовать концепции виртуальных окружений — логично использовать pip в пределах virtualenv, а не глобально во всей системе. Тем более нахаляву, что и поставится он автоматически вместе с virtualenv. Значит, прежде всего нужно устанавливать virtualenv. Как?

Лучшее решение — установка из репозиториев (почему-то этот вариант не упоминается на официальном сайте virtualenv).

Python 2.x

1. Для установки virtualenv набираем в терминале:

sudo apt-get install python-virtualenv

2. Создаем папку, внутри которой будут храниться папки будущих виртуальных окружений. Лучше всего создать такую папку в пределах своей домашней директории, чтобы не было проблем с правами доступа. Пусть эта папка будет называться «projects«:

mkdir projects

3. Создаем виртуальное окружение внутри папки projects. Пусть наше первое виртуальное окружение будет называться «project_one«.

cd projects
virtualenv project_one

(Аналогично могут создаваться виртуальные окружения для каких-то других проектов).

В результате внутри папки /projects/project_one/ создастся маленькая рабочая среда с папками bin/, include/, lib/, local/, содержащими минимальный «набор джентльмена» для работы — python, менеджеры пакетов pip и easy_install. Сюда же могут доставляться все необходимые пакеты, фреймворки (в том числе Django) и утилиты. В пределах каждого виртуального окружения они будут изолированы друг от друга, не оказывая никакого взаимного «паразитного» влияния.

Примечание: во многих руководствах по работе с виртуальными окружениями рекомендуется выполнять команду virtualenv с ключом —no-site-packages. Применение этого ключа позволяет создавать виртуальное окружение, изолированное от системной питоновской папки site-packages, что повышает степень автономности. Так вот в новых версиях virtualenv указывать этот ключ не обязательно, поскольку в них эта опция включена по-умолчанию.

4. Для активации нужно виртуального окружения нужно зайти в его папку («cd project_one») и выполнить следующее:

source bin/activate

После активации командная строка изменится: перед именем пользователя появится название виртуального окружения в скобках «(project_one)имя_пользователя>@имя_компьютера ~«.

Теперь любые команды по установке пакетов (например, «pip install django«) или их удалению будут выполнятся только в пределах активированного окружения.

Для выхода из виртуального окружения и перехода в обычный режим достаточно набрать:

deactivate

 

Python 3.x

$ python3.4 -m venv --without-pip env
$ cd env
$ source ./bin/activate # virtualenv activated

$ wget https://bootstrap.pypa.io/get-pip.py # get installation script for pip
$ python3.4 get-pip.py
$ deactivate
$ source venvdir/bin/activate

$ pip list # just to check that pip works!

 

GIT: Создание новой ветки на сервере

Создание удаленной ветки дело не хитрое, но в первый раз не так просто сделать все правильно.

Весь процесс делиться на несколько этапов

  • создание удаленной ветки
  • создание аналогичной локальной ветки
  • переключение на созданную ветку

Процесс создания ветки на удаленном сервере

1. Создание удаленной ветки

git push origin origin:refs/heads/new_branch

Можно проверить, все ли верно

git pull origin

Проверяем, создана ли удаленная ветка

git branch -r

2. Создаем локальную ветку, и закрепляем ее за удаленной

git checkout --track -b new_branch origin/new_branch

Теперь pull будет закреплен за новой веткой

git pull origin new_branch

Если вы совершили ошибку, то удалить ветку на сервере можно вот так

git push origin :heads/new_branch

Очень похоже, но лучше не путать.

Для открытия и закрепление новой ветки с другого места нужно выполнить два шага

1. Открыть удаленные ветки

git branch -r

2. Сделать checkout

git checkout --track -b new_branch origin/new_branch

Старт проекта на Django

Прежде всего убедитесь, что у вас подключена услуга «Поддержка Python + Django». На время разработки вам также часто будет нужен доступ по SSH, поэтому перед созданием нового Django-проекта подключите и услугу «Поддержка SSH». Если в качестве базы данных вы будете использовать MySQL, соответствующая услуга также должна быть подключена.

  1. Подключитесь к серверу по SSH и создайте и активируйте виртуальное окружение Python (если вы создаете не первый проект и в качестве виртуального окружения хотите использовать уже существующее, пропустите этот и следующие два шага). Введите команды:
    virtualenv-2.7 virtualenv/MyEnv
    . virtualenv/MyEnv/bin/activate

    В результате будет создана папка virtualenv/MyEnv. Вместо MyEnv вы можете выбрать и любое другое имя виртуального окружения.

  2. В рамках виртуального окружения установите свежую версию Django:pip 
    install --upgrade django

    Можно установить и любую другую версию. Например, 1.0:

    pip install --upgrade django==1.0

    Таким же образом можно установить и любые другие модули Python.

  3. Создайте папку, где будут располагаться ваши проекты. Эта папка должна находиться вне DOCUMENT_ROOT, то есть вне папок вида domains/имя_домена. Лучшим вариантом будет создать папку django рядом с директорией domains:
    mkdir django
  4. Перейдите в папку с проектами и создайте новый проект:
    cd django
    django-admin.py startproject имя_проекта

    В результате будет создана папка имя_проекта со стандартным шаблоном Django-проекта.

  5. Откройте файл settings.py и измените в нем значения необходимых переменных. В качестве значения переменной STATIC_ROOT укажите
    os.path.join(os.path.expanduser('~'), 'domains/имя_домена/static/')

    добавив в самое начало файла строку

    import os

    Внимание! Если вы будете использовать команду syncdb через SSH, то при использовании MySQL в качестве движка баз данных в поле HOST словаря DATABASES[‘default’] обязательно нужно указать IP 127.0.0.1. Подробнее об этом здесь.

    Более подробную информацию о переменных, доступных для редактирования в settings.py, можно найти в документации Django.

  6. Если вы будете использовать mod_wsgi (предпочтительный вариант):

    В директории домена, на котором будет находиться ваш проект (domains/имя_домена) создайте файл django.wsgi и поместите в него такие строки:

    import os, sys
    virtual_env = os.path.expanduser('~/virtualenv/MyEnv')
    activate_this = os.path.join(virtual_env, 'bin/activate_this.py')
    execfile(activate_this, dict(__file__=activate_this))
    sys.path.insert(0, os.path.join(os.path.expanduser('~'), 'django/имя_проекта'))
    os.environ['DJANGO_SETTINGS_MODULE'] = 'имя_проекта.settings'
    import django.core.handlers.wsgi
    application = django.core.handlers.wsgi.WSGIHandler()

    Примечание. Обратите также внимание на пятую и шестую строки этого кода: если вы в своих проектах обычно не используете имя проекта внутри оператора import (например,«from имя_приложения.models import *», а не «from имя_проекта.имя_приложения.models import *» в файле views.py), то указывать имя проекта в пятой строке нужно два раза, а во второй, наоборот, не нужно:

    sys.path.insert(0, os.path.join(os.path.expanduser('~'), 'django/имя_проекта/имя_проекта'))
    os.environ['DJANGO_SETTINGS_MODULE'] = 'settings'

    Вернитесь к этому примечанию, если будете получать ошибки вида «ImportError: No module named…»

    Затем создайте в той же папке еще один файл — .htaccess — и поместите в него следующие директивы:

    AddHandler wsgi-script .wsgi
    RewriteEngine on
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteRule ^(.*)$ /django.wsgi/$1 [QSA,PT,L]
  7. Если вы будете использовать mod_python (не рекомендуется):

    В папке с проектами (django) создайте файл modpython_virtualenv.py с таким содержимым внутри:

    import os
    virtual_env = os.path.expanduser('~/virtualenv/MyEnv')
    activate_this = os.path.join(virtual_env, 'bin/activate_this.py')
    execfile(activate_this, dict(__file__=activate_this))
    from django.core.handlers.modpython import handler

    В директории домена, на котором будет находиться ваш проект (domains/имя_домена) создайте файл .htaccess и поместите в него такие строки:

    AddDefaultCharset utf-8
    SetHandler python-program
    PythonHandler modpython_virtualenv
    SetEnv DJANGO_SETTINGS_MODULE имя_проекта.settings
    PythonPath "['/home/usersX/первая_буква_логина/логин/django/имя_проекта'] + sys.path"
    PythonDebug On
    PythonAutoReload On

    Примечание. Здесь и далее X в имени директории usersX может быть целым числом (1, 2, …) или вообще отсутствовать. Точное значение для вашего аккаунта уточняйте в разделе «Техподдержка / Техническая информация» контрольной панели аккаунта (смотрите значение параметра «Домашняя директория»).

    Позже, когда проект будет запускаться в публичную эксплуатацию, не забудьте поменять значения директив PythonDebug и PythonAutoReload на Off — это предотвратит демонстрацию отладочной информации об ошибках всем посетителям и несколько ускорит работу сайта.

    Примечание. Обратите также внимание на директивы SetEnv и PythonPath: если вы в своих проектах обычно не используете имя проекта внутри оператора import (например,«from имя_приложения.models import *», а не «from имя_проекта.имя_приложения.models import *» в файле views.py), то указывать имя проекта в директиве SetEnv не нужно, а в PythonPath, наоборот, нужно два раза:

    SetEnv DJANGO_SETTINGS_MODULE settings
    PythonPath "['/home/usersX/первая_буква_логина/логин/django/имя_проекта/имя_проекта'] + sys.path"

    Кроме того, поместите файл modpython_virtualenv.py внутрь папки проекта.

    Вернитесь к этому примечанию, если будете получать ошибки вида «ImportError: No module named…»

    Далее, во всех папках в директории домена, в которых будут содержаться статические файлы (например, static), нужно также создать по файлу .htaccess с такой строкой внутри:

    SetHandler None

     

На этом установка проекта завершена. Теперь вы можете создавать приложения и приступать к разработке.

Если же в результате выполнения этих действий получаете в браузере ошибку 500, загляните в раздел «Статистика / Лог-файлы».

Основы работы с Git

Введение

Git (произн. «гит») — распределённая система управления версиями файлов. Проект был создан Линусом Торвальдсом для управления разработкой ядра Linux. На сегодняшний день поддерживается Джунио Хамано.

Система спроектирована как набор программ, специально разработанных с учётом их использования в скриптах. Это позволяет удобно создавать специализированные системы контроля версий на базе Git или пользовательские интерфейсы. Например, Cogito является именно таким примером фронтенда к репозиториям Git, а StGit использует Git для управления коллекцией патчей.

Git поддерживает быстрое разделение и слияние версий, включает инструменты для визуализации и навигации по нелинейной истории разработки. Как и Darcs, BitKeeper, Mercurial, SVK, Bazaar и Monotone, Git предоставляет каждому разработчику локальную копию всей истории разработки; изменения копируются из одного репозитория в другой.

Удалённый доступ к репозиториям Git обеспечивается git-daemon, gitosis, SSH- или HTTP-сервером. TCP-сервис git-daemon входит в дистрибутив Git и является наряду с SSH наиболее распространённым и надёжным методом доступа. Метод доступа по HTTP, несмотря на ряд ограничений, очень популярен в контролируемых сетях, потому что позволяет использовать существующие конфигурации сетевых фильтров.

Основы работы с удаленным репозитарием

git clone — создание копии (удаленного) репозитария

Для начала работы с центральным репозиторием, следует создать копию оригинального проекта со всей его историей локально.

Клонируем репозиторий, используя протокол http:

git clone http://user@somehost:port/~user/repository/project.git

Клонируем репозиторий с той же машины в директорию myrepo:

git clone /home/username/project myrepo

Клонируем репозитарий, используя безопасный протокол ssh:

git clone ssh://user@somehost:port/~user/repository

У git имеется и собственный протокол:

git clone git://user@somehost:port/~user/repository/project.git/

Импортируем svn репозитарий, используя протокол http:

git svn clone -s http://repo/location

-s – понимать стандартные папки SVN (trunk, branches, tags)

git fetch и git pull — забираем изменения из центрального репозитария

Для синхронизации текущей ветки с репозитарием используются команды git fetch и git pull.

git fetch — забрать изменения удаленной ветки из репозитария по умолчания, основной ветки; той, которая была использована при клонировании репозитария. Изменения обновят удаленную ветку (remote tracking branch), после чего надо будет провести слияние с локальной ветку командой git merge.

git fetch /home/username/project — забрать изменения из определенного репозитария.

Возможно также использовать синонимы для адресов, создаваемые командой git remote:

git remote add username-project /home/username/project

git fetch username-project — забрать изменения по адресу, определяемому синонимом.

Естественно, что после оценки изменений, например, командой git diff, надо создать коммит слияния с основной:

git merge username-project/master

Команда git pull сразу забирает изменения и проводит слияние с активной веткой.

Забрать из репозитория, для которого были созданы удаленные ветки по умолчанию:

git pull

Забрать изменения и метки из определенного репозитория:

git pull username-project --tags

Как правило, используется сразу команда git pull.

git push — вносим изменения в удаленный репозиторий

После проведения работы в экспериментальной ветке, слияния с основной, необходимо обновить удаленный репозиторий (удаленную ветку). Для этого используется команда git push.

Отправить свои изменения в удаленную ветку, созданную при клонировании по умолчанию:

git push

Отправить изменения из ветки master в ветку experimental удаленного репозитория:

git push ssh://yourserver.com/~you/proj.git master:experimental

В удаленном репозитории origin удалить ветку experimental:

git push origin :experimental

В удаленную ветку master репозитория origin (синоним репозитория по умолчанию) ветки локальной ветки master:

git push origin master:master

Отправить метки в удаленную ветку master репозитария origin:

git push origin master --tags

Изменить указатель для удаленной ветки master репозитория origin (master будет такой же как и develop)

git push origin origin/develop:master

Добавить ветку test в удаленный репозиторий origin, указывающую на коммит ветки develop:

git push origin origin/develop:refs/heads/test

Работа с локальным репозиторием

Базовые команды

git init — создание репозитория

Команда git init создает в директории пустой репозиторий в виде директории .git, где и будет в дальнейшем храниться вся информация об истории коммитов, тегах — о ходе разработки проекта:

mkdir project-dir
cd project-dir
git init

git add и git rm — индексация изменений

Следующее, что нужно знать — команда git add. Она позволяет внести в индекс — временное хранилище — изменения, которые затем войдут в коммит. Примеры использования:

индексация измененного файла, либо оповещение о создании нового:

git add EDITEDFILE

внести в индекс все изменения, включая новые файлы:

git add .

Из индекса и дерева проекта одновременно файл можно удалить командой git rm:

отдельные файлы:

git rm FILE1 FILE2

хороший пример удаления из документации к git, удаляются сразу все файлы txt из папки:

git rm Documentation/\*.txt

внести в индекс все удаленные файлы:

git rm -r --cached .

Сбросить весь индекс или удалить из него изменения определенного файла можно
командой git reset:

сбросить весь индекс:

git reset

удалить из индекса конкретный файл:

git reset — EDITEDFILE

Команда git reset используется не только для сбрасывания индекса, поэтому дальше ей будет уделено гораздо больше внимания.

git status — состояние проекта, измененные и не добавленные файлы, индексированные файлы

Команду git status, пожалуй, можно считать самой часто используемой наряду с
командами коммита и индексации. Она выводит информацию обо всех изменениях, внесенных в дерево директорий проекта по сравнению с последним коммитом рабочей ветки; отдельно выводятся внесенные в индекс и неиндексированные файлы. Использовать ее крайне просто:

git status

Кроме того, git status указывает на файлы с неразрешенными конфликтами слияния и файлы, игнорируемые git.

git commit — совершение коммита

Коммит — базовое понятие во всех системах контроля версий, поэтому совершаться
он должен легко и по возможности быстро. В простейшем случае достаточно
после индексации набрать:

git commit

Если индекс не пустой, то на его основе будет совершен коммит, после чего
пользователя попросят прокомментировать вносимые изменения вызовом команды edit. Сохраняемся, и вуаля! Коммит готов.

Есть несколько ключей, упрощающих работу с git commit:

git commit -a

совершит коммит, автоматически индексируя изменения в файлах проекта. Новые файлы при этом индексироваться не будут! Удаление же файлов будет учтено.

git commit -m «commit comment»

комментируем коммит прямо из командной строки вместо текстового редактора.

git commit FILENAME

внесет в индекс и создаст коммит на основе изменений единственного файла.

git reset — возврат к определенному коммиту, откат изменений, «жесткий» или «мягкий»

Помимо работы с индексом (см. выше), git reset позволяет сбросить состояние проекта до какого-либо коммита в истории. В git данное действие может быть двух видов: «мягкого»(soft reset) и «жесткого» (hard reset).

«Мягкий» (с ключом --soft) резет оставит нетронутыми ваши индекс и все дерево файлов и директорий проекта, вернется к работе с указанным коммитом. Иными словами, если вы обнаруживаете ошибку в только что совершенном коммите или комментарии к нему, то легко можно исправить ситуацию:

  1. git commit — некорректный коммит
  2. git reset —soft HEAD^ — переходим к работе над уже совершенным коммитом, сохраняя все состояние проекта и проиндексированные файлы
  3. edit WRONGFILE
  4. edit ANOTHERWRONGFILE
  5. git add .
  6. git commit -c ORIG_HEAD — вернуться к последнему коммиту, будет предложено редактировать его сообщение. Если сообщение оставить прежним, то достаточно изменить регистр ключа -с:
    git commit -C ORIG_HEAD

Обратите внимание на обозначение HEAD^, оно означает «обратиться к предку последнего коммита». Подробней описан синтаксис такой относительной адресации будет ниже, в разделе «Хэши, тэги, относительная адресация». Соответственно, HEAD — ссылка на последний коммит. Ссылка ORIG_HEAD после «мягкого» резета указывает на оригинальный коммит.

Естественно, можно вернуться и на большую глубину коммитов,

«Жесткий» резет (ключ --hard) — команда, которую следует использовать с
осторожностью. git reset --hard вернет дерево проекта и индекс в состояние,
соответствующее указанному коммиту, удалив изменения последующих коммитов:

git add .
git commit -m «destined to death»
git reset --hard HEAD~1 — больше никто и никогда не увидит этот позорный коммит...
git reset --hard HEAD~3 — ...вернее, три последних коммита. Никто. Никогда!

Если команда достигнет точки ветвления, удаления коммита не произойдет.

Для команд слияния или выкачивания последних изменений с удаленного репозитория
примеры резета будут приведены в соответствующих разделах.

git revert — отмена изменений, произведенных в прошлом отдельным коммитом

Возможна ситуация, в которой требуется отменить изменения, внесенные отдельным коммитом. git revert создает новый коммит, накладывающий обратные изменения.

Отменяем коммит, помеченный тегом:

git revert config-modify-tag

Отменяем коммит, используя его хэш:

git revert cgsjd2h

Для использования команды необходимо, чтобы состояние проекта не отличалось от состояния, зафиксированного последним коммитом.

git log — разнообразная информация о коммитах в целом

Иногда требуется получить информацию об истории коммитов; коммитах, изменивших отдельный файл; коммитах за определенный отрезок времени и так далее. Для этих целей используется команда git log.

Простейший пример использования, в котором приводится короткая справка по всем коммитам, коснувшимся активной в настоящий момент ветки (о ветках и ветвлении подробно узнать можно ниже, в разделе «Ветвления и слияния»):

git log

Получить подробную информацию о каждом в виде патчей по файлам из коммитов
можно, добавив ключ -p (или -u):

git log -p

Статистика изменения файлов, вроде числа измененных файлов, внесенных в них
строк, удаленных файлов вызывается ключом --stat:

git log --stat

За информацию по созданиям, переименованиям и правам доступа файлов отвечает ключ
--summary:

git log --summary

Чтобы просмотреть историю отдельного файла, достаточно указать в виде параметра его имя (кстати, в моей старой версии git этот способ не срабатывает,
обязательно добавлять » — » перед «README»):

git log README

или, если версия git не совсем свежая:

git log — README

Далее будет приводится только более современный вариант синтаксиса. Возможно
указывать время, начиная в определенного момента («weeks», «days», «hours», «s»
и так далее):

git log --since=«1 day 2 hours» README
git log --since=«2 hours» README

изменения, касающиеся отдельной папки:

git log --since=«2 hours» dir/

Можно отталкиваться от тегов.

Все коммиты, начиная с тега v1:

git log v1...

Все коммиты, включающие изменения файла README, начиная с тега v1:

git log v1... README

Все коммиты, включающие изменения файла README, начиная с тега v1 и заканчивая тегом v2:

git log v1..v2 README

Интересные возможности по формату вывода команды предоставляет ключ --pretty.

Вывести на каждый из коммитов по строчке, состоящей из хэша (здесь — уникального идентификатора каждого коммита, подробней — дальше):

git log --pretty=oneline

Лаконичная информация о коммитах, приводятся только автор и комментарий:

git log --pretty=short

Более полная информация о коммитах, с именем автора, комментарием, датой создания и внесения коммита:

git log --pretty=full/fuller

В принципе, формат вывода можно определить самостоятельно:

git log --pretty=format:'FORMAT'

Определение формата можно поискать в разделе по git log из Git Community Book
или справке. Красивый ASCII-граф коммитов выводится с использованием ключа
--graph.

git diff — отличия между деревьями проекта, коммитами и т.д.

Своего рода подмножеством команды git log можно считать команду git diff,
определяющую изменения между объектами в проекте — деревьями (файлов и
директорий).

Показать изменения, не внесенные в индекс:

git diff

Изменения, внесенные в индекс:

git diff --cached

Изменения в проекте по сравнению с последним коммитом:

git diff HEAD

Предпоследним коммитом:

git diff HEAD^

Можно сравнивать «головы» веток:

git diff master..experimental

или активную ветку с какой-либо:

git diff experimental

git show — показать изменения, внесенные отдельным коммитом

Посмотреть изменения, внесенные любым коммитом в истории, можно командой git show:

git show COMMIT_TAG

git blame и git annotate — команды, помогающие отслеживать изменения файлов

При работе в команде часто требуется выяснить, кто именно написал конкретный
код. Удобно использовать команду git blame, выводящую построчную информацию о последнем коммите, коснувшемся строки, имя автора и хэш коммита:

git blame README

Можно указать и конкретные строки для отображения:

git blame -L 2,+3 README — выведет информацию по трем строкам, 
начиная со второй.

Аналогично работает команда git annotate, выводящая и строки, и информацию о
коммитах, их коснувшихся:

git annotate README

git grep — поиск слов по проекту, состоянию проекта в прошлом

git grep, в целом, просто дублирует функционал знаменитой юниксовой
команды. Однако он позволяет слова и их сочетания искать в прошлом проекта, что бывает очень полезно.

Поиск слова tst в проекте:

git grep tst

Подсчитать число упоминаний tst в проекте:

git grep -с tst

Поиск в старой версии проекта:

git grep tst v1

Команда позволяет использовать логическое И и ИЛИ.

Найти строки, где упоминаются и первое слово, и второе:

git grep -e 'first' --and -e 'another'

Найти строки, где встречается хотя бы одно из слов:

git grep --all-match -e 'first' -e 'second'

Ветвление

git branch — создание, перечисление и удаление веток

Работа с ветками — очень легкая процедура в git, все необходимые механизмы сконцентрированы в одной команде:

Просто перечислить существующие ветки, отметив активную:

git branch

Создать новую ветку new-branch:

git branch new-branch

Удалить ветку, если та была залита (merged) с разрешением возможных конфликтов в текущую:

git branch -d new-branch

Удалить ветку в любом случае:

git branch -D new-branch

Переименовать ветку:

git branch -m new-name-branch

Показать те ветки, среди предков которых есть определенный коммит:

git branch --contains v1.2

git checkout — переключение между ветками, извлечение файлов

Команда git checkout позволяет переключаться между последними коммитами (если упрощенно) веток:

checkout some-other-branch

Создаст ветку, в которую и произойдет переключение

checkout -b some-other-new-branch

Если в текущей ветке были какие-то изменения по сравнению с последним коммитом в ветке(HEAD), то команда откажется производить переключение, дабы не потерять произведенную работу. Проигнорировать этот факт позволяет ключ -f:

checkout -f some-other-branch

В случае, когда изменения надо все же сохранить, следует использовать ключ -m. Тогда команда перед переключением попробует залить изменения в текущую ветку и, после разрешения возможных конфликтов, переключиться в новую:

checkout -m some-other-branch

Вернуть файл (или просто вытащить из прошлого коммита) позволяет команда вида:

Вернуть somefile к состоянию последнего коммита:

git checkout somefile

Вернуть somefile к состоянию на два коммита назад по ветке:

git checkout HEAD~2 somefile

git merge — слияние веток (разрешение возможных конфликтов)

Слияние веток, в отличие от обычной практики централизованных систем, в git происходит практически каждый день. Естественно, что имеется удобный интерфейс к популярной операции.

Попробовать объединить текующую ветку и ветку new-feature:

git merge new-feature

В случае возникновения конфликтов коммита не происходит, а по проблемным файлам расставляются специальные метки а-ля svn; сами же файлы отмечаются в индексе как «не соединенные» (unmerged). До тех пор пока проблемы не будут решены, коммит совершить будет нельзя.

Например, конфликт возник в файле TROUBLE, что можно увидеть в git status.

Произошла неудачная попытка слияния:

git merge experiment

Смотрим на проблемные места:

git status

Разрешаем проблемы:

edit TROUBLE

Индексируем наши изменения, тем самым снимая метки:

git add .

Совершаем коммит слияния:

git commit

Вот и все, ничего сложного. Если в процессе разрешения вы передумали разрешать конфликт, достаточно набрать (это вернёт обе ветки в исходные состояния):

git reset --hard HEAD

Если же коммит слияния был совершен, используем команду:

git reset --hard ORIG_HEAD

git rebase — построение ровной линии коммитов

Предположим, разработчик завел дополнительную ветку для разработки отдельной возможности и совершил в ней несколько коммитов. Одновременно по какой-либо причине в основной ветке также были совершены коммиты: например, в нее были залиты изменения с удаленного сервера, либо сам разработчик совершал в ней коммиты.

В принципе, можно обойтись обычным git merge. Но тогда усложняется сама линия разработки, что бывает нежелательно в слишком больших проектах, где участвует множество разработчиков.

Предположим, имеется две ветки, master и топик, в каждой из которых было совершенно несколько коммитов начиная с момента ветвления. Команда git rebase берет коммиты из ветки topic и накладывает их на последний коммит ветки master.

Вариант, в котором явно указывается, что и куда накладывается:

git-rebase master topic

на master накладывается активная в настоящий момент ветка:

git-rebase master

После использования команды история становится линейной. При возникновении конфликтов при поочередном накладывании коммитов работа команды будет останавливаться, а в проблемные местах файлов появятся соответствующие метки. После редактирования — разрешения конфликтов — файлы следует внести в индекс командой git add и продолжить наложение следующих коммитов командой git rebase --continue. Альтернативными выходами будут команды git rebase --skip (пропустить наложение коммита и перейти к следующему) или git rebase --abort (отмена работы команды и всех внесенных изменений).

С ключом -i (--interactive) команда будет работать в интерактивном режиме. Пользователю будет предоставлена возможность определить порядок внесения изменений, автоматически будет вызывать редактор для разрешения конфликтов и так далее.

git cherry-pick — применение к дереву проекта изменений, внесенных отдельным коммитом

Если ведется сложная история разработки, с несколькими длинными ветками разработками, может возникнуть необходимость в применении изменений, внесенных отдельным коммитом одной ветки, к дереву другой (активной в настоящий момент).

Изменения, внесенные указанным коммитом будут применены к дереву, автоматически проиндексированы и станут коммитом в активной ветке:

git cherry-pick BUG_FIX_TAG

Ключ -n показывает, что изменения надо просто применить к дереву проекта без индексации и создания коммита

git cherry-pick BUG_FIX_TAG -n

Прочие команды и необходимые возможности

Хэш — уникальная идентификация объектов

В git для идентификации любых объектов используется уникальный (то есть с огромной вероятностью уникальный) хэш из 40 символов, который определяется хэшируюшей функцией на основе содержимого объекта. Объекты — это все: коммиты, файлы, тэги, деревья. Поскольку хэш уникален для содержимого, например, файла, то и сравнивать такие файлы очень легко — достаточно просто сравнить две строки в сорок символов.

Больше всего нас интересует тот факт, что хэши идентифицируют коммиты. В этом смысле хэш — продвинутый аналог ревизий Subversion. Несколько примеров использования хэшей в качестве способа адресации:

найти разницу текущего состояния проекта и коммита за номером… сами видите, каким:

git diff f292ef5d2b2f6312bc45ae49c2dc14588eef8da2

То же самое, но оставляем только шесть первых символов. Git поймет, о каком коммите идет речь, если не существует другого коммита с таким началом хэша:

git diff f292ef5

Иногда хватает и четырех символов:

git diff f292

Читаем лог с коммита по коммит:

git log febc32...f292

Разумеется, человеку пользоваться хэшами не так удобно, как машине, именно поэтому были введены другие объекты — тэги.

git tag — тэги как способ пометить уникальный коммит

Тэг (tag) — это объект, связанный с коммитом; хранящий ссылку на сам коммит, имя автора, собственное имя и некоторый комментарий. Кроме того, разработчик может оставлять на таких тегах собственную цифровую подпись.

Кроме этого в git представленные так называемые «легковесные тэги» (lightweight tags), состоящие только из имени и ссылки на коммит. Такие тэги, как правило, используются для упрощения навигации по дереву истории; создать их очень легко.

Создать «легковесный» тэг, связанный с последним коммитом; если тэг уже есть, то еще один создан не будет:

git tag stable-1

Пометить определенный коммит:

git tag stable-2 f292ef5

Удалить тег:

git tag -d stable-2

Перечислить тэги:

git tag -l

Создать тэг для последнего коммита, заменить существующий, если таковой уже был:

git tag -f stable-1.1

После создания тэга его имя можно использовать вместо хэша в любых командах вроде git diffgit log и так далее:

git diff stable-1.1...stable-1

Обычные тэги имеет смысл использовать для приложения к коммиту какой-либо информации, вроде номера версии и комментария к нему. Иными словами, если в комментарии к коммиту пишешь «исправил такой-то баг», то в комментарии к тэгу по имени «v1.0» будет что-то вроде «стабильная версия, готовая к использованию».

Создать обычный тэг для последнего коммита; будет вызван текстовый редактор для составления комментария:

git tag -a stable

Создать обычный тэг, сразу указав в качестве аргумента комментарий:

git tag -a stable -m "production version"

Команды перечисления, удаления, перезаписи для обычных тэгов не отличаются от команд для «легковесных» тэгов.

Относительная адресация

Вместо ревизий и тэгов в качестве имени коммита можно опираться на еще один механизм — относительную адресацию. Например, можно обратиться прямо к предку последнего коммита ветки master:

git diff master^

Если после «птички» поставить цифру, то можно адресоваться по нескольким предкам коммитов слияния:

найти изменения по сравнению со вторым предком последнего коммита в master; HEAD здесь — указатель на последний коммит активной ветки:

git diff HEAD^2

Аналогично, тильдой можно просто указывать, насколько глубоко в историю ветки нужно погрузиться:

что привнес «дедушка» нынешнего коммита:

git diff master^^

То же самое:

git diff master~2

Обозначения можно объединять, чтобы добраться до нужного коммита:

git diff master~3^~2
git diff master~6

файл .gitignore — объясняем git, какие файлы следует игнорировать

Иногда по директориям проекта встречаются файлы, которые не хочется постоянно видеть в сводке git status. Например, вспомогательные файлы текстовых редакторов, временные файлы и прочий мусор.

Заставить git status игнорировать определенные файлы можно, создав в корне или глубже по дереву (если ограничения должны быть только в определенных директория) файл .gitignore. В этих файлах можно описывать шаблоны игнорируемых файлов определенного формата.

Пример содержимого такого файла:

#комментарий к файлу .gitignore
#игнорируем сам .gitignore
.gitignore
#все html-файлы...
*.html
#...кроме определенного
!special.html
#не нужны объектники и архивы
*.[ao]

Существуют и другие способы указания игнорируемых файлов, о которых можно узнать из справки git help gitignore.

Серверные команды репозитория

; git update-server-info : Команда создает вспомогательные файлы для dumb-сервера в $GIT_DIR/info и $GIT_OBJECT_DIRECTORY/info каталогах, чтобы помочь клиентам узнать, какие ссылки и пакеты есть на сервере.

; git count-objects : Проверка, сколько объектов будет потеряно и объём освобождаемого места при перепаковке репозитория.
; git gc : Переупаковка локального репозитория.

Рецепты

Создание пустого репозитория на сервере

repo="repo.git" 
mkdir $repo
cd $repo
git init --bare
chown git. -R ./
cd ../

Импорт svn репозитория на Git-сервер

repo="repo.svn" 
svnserver="http://svn.calculate.ru" 
git svn clone -s $svnserver/$repo $repo
mv $repo/.git/refs/remotes/tags $repo/.git/refs/tags
rm -rf $repo/.git/refs/remotes
rm -rf $repo/.git/svn
mv $repo/.git $repo.git
rm -rf $repo
cd $repo.git
chown git. -R ./
cd ../

Ссылки

Как я внедрял первое правило ведения бизнеса в России

«1. Держите сервера за границей»
(с) 9,5 правил ведения безопасного бизнеса в России 

Вводная часть.

Мы — маленькая компания из 10 сотрудников, половина из которых периодически работает удаленно.
Что мы имели изначально: сервер с Windows и терминальным доступом, который стоял в офисе. У всех пользователей были ноутбуки. Никакой особо конфиденциальной информации у нас нет, за исключением важной для бизнеса информации.
В один прекрасный момент меня окончательно «добила» паранойя и было принято решение вынести сервер за пределы офиса.

1) Мы арендовали два сервера: один в Германии, второй — в Нидерландах.
Конфигурации одинаковые: Intel Xeon Quad Core E3-1230 3.20 GHz / 8GB / 2x 1TB.
Обязательными условиями были: IP-KVM 24×7, гарантия ответа техподдержки до 4 часов круглосуточно, гарантия замены сервера на следующий рабочий день (NBD) и безлимитный трафик.
Дополнительные требования к ПО: Windows 2008 standard, Windows 2008 enterprise, терминальные лицензии и MS Office (Word, Excel, PowerPoint)
Эти пожелания и определили достаточно нескромный бюджет: 756 евро/мес.

Хостеров оставим неназванными. Могу только сказать, что из-за желания платить через Webmoney (т.е. не кредитными картами), пришлось обратиться к реселлерам.

2) Настройка обоих серверов на начальном этапе была полностью идентичной. После получения доступа к серверам, весь первый день был потрачен на апдейт ОС. После был установлен Hyper-V.
Сразу же была создана виртуалка на CentOS, которая и стала роутером: именно у неё был «белый» IP. Все остальные машины (в том числе хост-система) работали на «серых» адресах.
Для проведения этого фокуса с IP, нам пригодился постоянно подключенный IP-KVM. В данном случае — встроенный IPMI и iLo на каждом из серверов.
На роутере был поднят Open VPN-сервер, «снаружи» был доступен только он. Все остальные порты были закрыты.
Также на роутере поднят NAT и proxy-сервер.

3) На первом сервере на всю доступную память была создана виртуалка с Windows 2008 Standard, которая стала нашим новым офисным сервером.
7 ГБ для одновременной работы 10 человек в терминале – более чем комфортные условия. Интернет пользователям офисного сервера доступен только через прокси.
Работает Dr.Web, лицензии на который нам достались по подписке от сети, к которой подключен наш офис.
Стандартный набор офисного софта: MS Office, Acrobat Reader, PDF Creator, WinRAR, InfranView, KeePass, Chrome, Firefox.
Чтобы пользователи не путались, всем в автозагрузку был вложен файл Bginfo, который меняет цвет рабочего стола и пишет на нем, что это за сервер.

4) На втором сервере все немного интересней.
На хост-сервере стоит Windows 2008 Enterprise, которая позволяет бесплатно установить до 4-х виртуалок с Windows 2008 Standard.
Таким образом, это, по сути, сервер для бухгалтера: тут работают четыре виртуалки — CRM/биллинг, 1C8 (на нее переходим), 1C7 (с ней работаем), клиент-банк.
Все четыре сервера отделены друг от друга: они находятся в разных виртуальных сетях Hyper-V, которые не могут видеть друг друга.
Так сделано для того, чтобы в ситуации, когда какая-то из машин подхватит какую-то заразу, заражение не распространилось дальше неё.
С этих же машин отправляем отчеты в налоговую через MeDOC и “Податкову звiтнiсть”. Налоговая видит, что отчеты приходят из IP нашего офиса а не из Европы, так как трафик с «бухгалтерских» серверов маршрутизируется через VPN-туннель в офис.
Так же, как и на офисной виртуалке, на серверах с 1С, интернет доступен через прокси, работают Dr.Web’ы и стандартный софт.
В 1С 7ой ключ работает через Usb-over-network, с 1С 8 используем программный ключ.
На сервере клиент-банка интернет отключен: доступ есть только к серверам банков. Банк также видит наш офисный IP а не реальный IP сервера.

5) Все эти серверы доступны через удаленный рабочий стол (RDP) после авторизации на Open VPN-сервере (любом из двух).
И еще один плод моей паранойи: при подключении к Open VPN-серверу невозможно увидеть ни один сервер в своей сети.
По RDP на серверы можно зайти только через нестандартный порт, который «прокидывается» (DNAT) на RDP-порт соответствующей виртуалки.

6) В офисе у нас стоит Wi-Fi роутер D Link DIR-320. Мы перепрошили его, после чего настроили на нем OpenVPN-клиент.
В DIR-320 включен USB-принтер, на который через туннель могут печатать все виртуалки.
Сотрудники из офиса могут работать, ничего не меняя на своих ноутбуках.
Сотрудникам, которые хотят поработать удаленно, выдали ключи Open VPN и следующие инструкции: как настроить туннель на MacOS/Windows, как зайти на удаленный рабочий стол, как печатать на офисный принтер, как печатать на домашний принтер и тому подобное.

7) Самое важное — бекап.
Так как на хост-системах ничего кроме Hyper-V нет, их не бекапим.
В пятницу днем всем сотрудникам приходит рассылка (напоминание о событии от Google Calendar) с просьбой не забыть закрыть все приложения и сохранить все документы.
В ночь с пятницы на субботу Power Shell–скрипт выключает все виртуалки, копирует их VHD-образы в отдельную папку, а откуда копирует на дублирующий сервер через VPN-туннель + на мой сервер в Украине.
Но это только половина дела.
Каждый день на всех виртуалках запускается скрипт, который архивирует изменившиеся за сутки данные; а каждую неделю – архивирует все данные пользователей (действительно все – от документов до 1С-баз).
Архивация происходит по мотивам этой инструкции:habrahabr.ru/blogs/personal/82185/, но архивы мы делаем запароленными, многотомными и с добавлением информации для восстановления. Архивы складываются в премиум-аккаунты DropBox и Google Drive и через эти сервисы попадают на оба сервера (+ директору на ноутбук).

Что имеем в итоге:
— По запросу я могу восстановить любой документ за любой день.
— Все архивы под паролем из сотни случайных символов. Даже если DropBox кому-то опять покажет все свои файлы, мой архив вскрыть будет крайне непросто.
— При каком-либо форс-мажоре с одним из ДЦ, я, чуть меньше чем за час, смогу запустить копию сервера недельной давности на другом сервере в другой стране + накатить изменения из архивов.

Все описанное работает у нас уже почти год. Особых нареканий нет, разве что апдейт ПО на четырех серверах занимает вчетверо больше времени :).
Данные из бекапных архивов пару раз восстанавливал по требованию – работает как часы.
Для теста имитировал несколько раз отключение ДЦ: поднимал все серверы из бекапа на одном из серверов. Все работает, разве что для 1С8 с программным ключом важно сделать полностью аналогичную конфигурацию на новом сервере.
У бухгалтера однажды “слетел” ноутбук, – работу восстановили за пол часа, просто выдав новый и настроив ярлыки для подключения к серверам.
Дата-центры были недоступны несколько раз на пол-часа из-за апгрейда маршрутизаторов, но в рабочее время подобного ни разу не было.
Также однажды была атака на ДЦ в Нидерландах: все «лагало» около часа в рабочее время.
Теоретически можно было бы еще наворотить шифрованные ФС и разнести серверы по разным континентам, но в нашем случае я не вижу в этом никакого смысла.

Надеюсь, эта информация была интересной. Буду рад если она кому-то пригодится.
Если решите повторить такую конфигурацию, не стесняйтесь спрашивать: я с удовольствием помогу советом и раскрою какие-либо неочевидные подробности.

http://habrahabr.ru/post/157899/#habracut

Cisco K9

Применение шифрования при организации локальной сети несет в себе цель защиты сети, которая включает в себя обеспечение безопасности самого сетевого устройства, защиту передаваемой им информации от неавторизованного доступа или искажения. Для защиты компьютерных сетей применяются различные алгоритмы шифрования, которые могут быть стойкими и нестойкими к расшифровке. Часть алгоритмов поддается дешифровке, часть — практически не подлежит, ввиду отсутствия достаточной производительности и вычислительной мощности имеющихся на сегодня компьютеров. Протоколы шифрования обеспечивают реализацию следующих функций:

  • защита файла конфигурации сетевого устройства
  • защиту управляющего канала сетевого устройства
  • обеспечение защиты сетевого подключения от перехвата информации

Приставка K9 в артикуле любого устройства Cisco говорит о НАЛИЧИИ в этом устройстве ЛЮБЫХ алгоритмов шифрования, без конкретизации их стойкости. Именно поэтому, почти во всех устройствах Cisco в артикуле присутствует окончание K9. IP телефоны Cisco используют криптографию для безопасного подключения через публичную IP сеть к IP АТС и защите от перехвата речевой информации.WI-FI точки доступа с помощью протокола WPA обеспечивают установление защищенного беспроводного подключения . В маршрутизаторах Cisco и в межсетевых экранах Cisco ASA заложена функция создания шифрованного соединения через IP сети – IPSec VPN. Использование IPSec VPN в содружестве со стойким алгоритмом шифрования информации 3DES обеспечивает достаточно серьезную защиту сети на публичных каналах связи. Продукция Cisco имеющая в себе 3DES шифрование запрещена к ввозу на территорию Российской Федерации без лицензии. Поэтому любой маршрутизатор Cisco c является криптографическим средством, имея в арсенале протокол 3DES, наличие которого приравнивает его к шифровальному средству. Ввоз, обслуживание, реализация шифровальных средств на территории России — лицензируемая деятельность. Чтобы обеспечить пользователям свободный доступ к сетевым технологиям и современным решениям по защите сети компания Cisco выпустила модель К8. Это технически и физически то же самое устройство, но с вырезанными функциями 3DES из операционной системы устройства IOS. Для создания защищенного соединения и удаленного доступа в устройствах, поставляемых российским потребителям, присутствует только DES или AES шифрование.

Что такое Cisco PCI? Маршрутизаторы Cisco K9 как средство защиты информации в банковских сетях

Запрет к открытой поставке в Россию таких устройств сетевой защиты как маршрутизаторы и межсетевые экраны Cisco с 3DES шифрованием вызвал значительный резонанс. Подобные сетевые устройства защиты в большинстве своем использовались не частными лицами, а бизнес структурами, финансовыми и производственными предприятиями. Наибольшая потребность в надежных VPN устройствах у финансовых организаций – банков. Применение стойких алгоритмов защиты в банковских сетях гарантирует сохранение ценной информации – финансовых данных и личных данных клиентов. Нехватка сетевых средств защиты информации в продаже со вступлением новых законов в силу приостановила рост и развитие финансовых институтов, ввиду отсутствия необходимых устройств защиты сети на российском рынке. В значительной степени это было связано с расширением сети банкоматов — выросло потребление маршрутизаторов младшей серии СISCO881-K9, СISCO861-K9, которые в большинстве использовались банками для организации безопасного подключения мобильного терминала (банкомата) к банковской сети. Понимая сложность ситуации правительство пошло на помощь. Устройства, специально разработанные для защиты финансовой информации платежных систем имеют в артикуле сокращение PCI – Payment Card Industry, означающее, что данное устройство сертифицировано MasterCard, Visa, Amex, JCB для организации доступа к платежным системам. Именно поэтому устройства PCI-K9 поставляются на российский рынок, продаются, НО, приобрести подобные устройства имеет право только финансовое учреждение с лицензией, а продавать – организация имеющая лицензию на распространение криптографических средств.

Таким образом, подводя итог анализа средств Cisco K9 и Cisco K8 для защиты сети:

1. Все устройства Cisco с артикулом K9 в окончании на официальном рынке России –имеют криптографию, разрешенную ко ввозу на территорию России без лицензии и разрешены к открытой продаже.

2. Сетевые устройства Cisco, имеющие в артикуле K8 – устройства, с усеченными функциями по криптографии, которые в большинстве касаются отсутствием поддержки протокола 3DES, но при этому поддерживают IPSEC VPN на уровне AES, DES.

3. Устройства PCI – имеют стойкую криптографию (3DES), но продаются только банкам, только организациями, имеющими на это право (имеющими лицензию ФСБ на распространение криптографических средств).